🔬 optica

Seeing Why: Exact Evidence Maps for Quantum and Optical Image Classifiers

Dit artikel introduceert Born Evidence Maps (BEM), een exacte, benaderingsvrije methode voor het interpreteren van lineaire kwantum- en alle-optische beeldclassificatoren door klasse-waarschijnlijkheden te deconstrueren in meetbare amplitudecontributies, waarbij de effectiviteit ervan wordt aangetoond bij het identificeren van kritieke kenmerken en het onthullen van datashortcuts over zowel gesimuleerde als echte IBM kwantumhardware-experimenten.

Oorspronkelijke auteur: Teerawat Tongloy, Rangsan Jomtarak

Gepubliceerd 2026-11-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteur: Teerawat Tongloy, Rangsan Jomtarak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wanneer een computer naar een foto kijkt en beslist wat hij ziet, is de redenering achter die keuze meestal een mysterie. Zelfs de meest geavanceerde systemen werken als zwarte dozen: ze nemen een afbeelding in en spugen een label uit, maar het pad tussen die twee is verborgen binnen lagen van complexe berekeningen. Wetenschappers hebben methoden ontwikkeld om te raden welk deel van een afbeelding het belangrijkst was, maar deze gissingen zijn vaak benaderingen die niet optellen tot de uiteindelijke beslissing. Dit gebrek aan transparantie is een aanzienlijke hindernis, vooral nu onderzoekers beginnen met het bouwen van classificatiesystemen met behulp van licht of kwantumdeeltjes in plaats van traditionele siliciumchips. Als deze nieuwe machines vertrouwd moeten kunnen worden, moeten we precies weten waarom ze een keuze hebben gemaakt, niet alleen een gok. De uitdaging is om een manier te vinden om de redenering binnen de machine te zien, om de beslissing terug te leiden naar de specifien pixels die de drijfveer waren, zonder nauwkeurigheid te verliezen of te vertrouwen op grove schattingen.

Een team van onderzoekers heeft nu een systeem gebouwd dat dit probleem oplost voor zowel optische als kwantum beeldclassificatie. Ze creëerden een machine die een plaatje kan bekijken en tegelijkertijd een kaart kan produceren die laat zien welke delen van die afbeelding bijdroegen aan het antwoord. In tegenstelling tot eerdere methoden die slechts een schatting bieden, levert dit systeem een exacte verantwoording. Elk stukje bewijs dat de machine verzamelt, telt perfect op bij de uiteindelijke waarschijnlijkheid van zijn beslissing. De onderzoekers demonstreerden dit op twee zeer verschillende soorten hardware: een kwantumcomputerchip en een gesimuleerde optische opstelling bestaande uit lenzen en licht. In beide gevallen konden ze wijzen naar de specifieke pixels die de machine ervan overtuigden dat het een boot, een luipaard of een auto was, en ze konden bewijzen dat deze pixels de werkelijke reden voor de beslissing waren.

De kern van dit werk is een nieuwe manier om afbeeldingen te coderen, zodat de machine donkere en heldere kenmerken gelijk behandelt. In veel systemen domineren heldere gebieden van een foto de analyse, waardoor de machine donkere maar belangrijke details negeert. De onderzoekers losten dit op door de afbeelding te verschuiven zodat de gemiddelde helderheid een neutraal referentiepunt wordt. Hierdoor kan een donkere schaduw op de romp van een boot evenveel gewicht dragen als een helder stuk lucht. Zodra de afbeelding op deze manier is voorbereid, gaat deze door een reeks filters. In de optische versie reist licht door een reeks glasplaten die de straal buigen en vormen. In de kwantumversie wordt de afbeelding vertaald naar de toestand van enkele kwantumbits, die vervolgens worden gemanipuleerd door een specifieke reeks operaties. Beide paden leiden tot een uiteindelijke meting die de klasse van het object bepaalt.

Wat dit werk uniek maakt, is de mogelijkheid om de beslissing terug te ontleden. De onderzoekers toonden aan dat de wiskunde achter deze lineaire systemen hen in staat stelt om de uiteindelijke waarschijnlijkheid op te splitsen in bijdragen van elke afzonderlijke pixel. Ze noemen deze "Born-bewijskaarten" (Born evidence maps). Deze kaarten fungeren als een hittekaart die de delen van de afbeelding markeert die de machine in de richting van een specifiek antwoord duwden en die de delen lieten zien die de machine wegtrokken van dat antwoord. Omdat de wiskunde exact is, komt de som van al deze pixelbijdragen overeen met het vertrouwen van de machine in zijn antwoord. Er is geen sprake van benadering; de uitleg is even precies als de beslissing zelf. Dit is een aanzienlijke afwijking van andere methoden, die vaak vereisen dat de afbeelding duizenden keren door het systeem wordt gehaald met verschillende delen geblokkeerd om te raden wat belangrijk was. Hier komt de uitleg rechtstreeks voort uit de enkele uitvoering van de afbeelding.

Om te testen of deze kaarten daadwerkelijk nuttig waren, voerden de onderzoekers een rigoureus experiment uit. Ze namen een reeks testafbeeldingen en verwijderden systematisch de pixels die de kaart als meest belangrijk aangaf. Toen ze slechts vijf procent van de pixels met de hoogste bewijslast verwijderden, stortte de nauwkeurigheid van de machine van drieënzeventig procent naar negen procent. Dit bewees dat de kaart de kritieke kenmerken correct identificeerde. In contrast hiermee, toen ze pixels verwijderden op basis van oudere, minder precieze methoden, daalde de nauwkeurigheid van de machine nauwelijks. De kaarten onthulden ook een verborgen fout in de gebruikte data. Het systeem merkte dat foto's van luipaarden in hun trainingsset vaak een donkere strook aan de uiterste bovenrand hadden, een eigenaardigheid van hoe de foto's waren bijgesneden. De machine had geleerd om deze donkere strook te gebruiken als een afkorting om luipaarden te identificeren, in plaats van naar het dier zelf te kijken. De onderzoekers gebruikten de kaarten om dit gedrag op te sporen, verwijderden de donkere stroken uit de afbeeldingen en trainden het systeem opnieuw. Het resultaat was een machine die eindelijk leerde om het lichaam en de vlekken van de luipaard te herkennen, in plaats van de lege ruimte erboven.

De onderzoekers namen vervolgens hun optische ontwerp en draaiden het op een echte kwantumcomputer, specifiek de IBM ibm_kingston chip. Ze laadden driehonderd testafbeeldingen op de chip en vroegen de machine deze te classificeren. De machine behaalde een nauwkeurigheid van drieëndertig komma zeven procent, wat bijna vier keer beter is dan willekeurig gokken. Belangrijker nog, ze maten de bewijskaarten direct op de chip voor een selectie van afbeeldingen. Deze real-world metingen kwamen overeen met de exacte theoretische kaarten met een correlatie van nul komma zeven zeven. Dit bevestigde dat de kwantumhardware niet alleen beslissingen nam, maar ook exact dezelfde interne redenering produceerde als de theorie voorspelde. Hoewel de kwantumchip beperkt werd door de moeilijkheid om de afbeeldingen in het geheugen te laden, toonde de optische simulatie aan dat een fysieke opstelling van lenzen en spiegels een nauwkeurigheid van tweeënzeventig komma drie procent kon bereiken op dezelfde set kleurenfoto's.

De studie stelde ook de fysieke vereisten vast voor het bouwen van een dergelijke optische machine. De onderzoekers simuleerden de effecten van imperfecties in de echte wereld, zoals lichte uitlijningsfouten van de glasplaten of fluctuaties in het laservermogen. Ze ontdekten dat het systeem verrassend robuust is; het kan kleine fouten in uitlijning tolereren en nog steeds goed presteren. Echter, de uitlijning moet nauwkeurig zijn tot ongeveer een micron, en het laservermogen moet stabiel blijven tijdens de meting. Deze bevindingen bieden een duidelijk blauwdruk voor ingenieurs die dergelijke apparaten willen bouwen. Het werk demonstreert dat het mogelijk is om beeldclassificatiesystemen te creëren die niet alleen nauwkeurig, maar ook volledig transparant zijn. Door licht of kwantumdeeltjes te gebruiken, en door het systeem lineair te ontwerpen, hebben de onderzoekers de mysterie rond het besluitvormingsproces weggenomen. De machine geeft niet langer alleen een antwoord; hij laat zijn werk zien, pixel voor pixel, waarmee bewezen wordt dat de weg naar begrip van hoe deze nieuwe technologieën denken, nu openligt.

Technische Samenvatting: Seeing Why: Exact Evidence Maps voor Quantum en Optische Beeldclassificaties

Probleemstelling
Huidige verklaringen voor beeldclassificaties, zoals gradiënten, class activation maps, Integrated Gradients en Shapley-waarden, zijn doorgaans benaderingen. Ze schieten vaak tekort omdat ze niet exact optellen tot de beslissing die ze verklaren, of ze vereisen numerieke schattingen via padintegralen of feature-coalities. Dit probleem blijft bestaan bij quantum- en optische classificaties, die vaak vertrouwen op hybride architecturen met getrainde klassieke netwerken of numerieke schattingen van attributies vereisen. De auteurs adresseren de behoefte aan een beeldclassificatie-architectuur waarbij de bijdrage van elke input-amplitude aan elke klassenkans exact kan worden gedecomposeerd, zonder benadering, en waarbij deze verklaringen direct gemeten kunnen worden op de hardware die de classificatie uitvoert.

Methodologie
Het artikel stelt een verenigde architectuur voor voor zowel qubit-gebaseerde als volledig optische classificaties, die lineair opereert op amplitude-gecodeerde beelden tot aan de uiteindelijke meting, zonder een getraind klassiek netwerk vóór of na de quantum/optische transformatie.

Encoding (Het Gemiddelde Vlak): Om ervoor te zorgen dat donkere kenmerken evenveel signaal dragen als heldere kenmerken, verwijderen de auteurs het kanaalgemiddelde van elk beeld uit de kleurvlakken. Deze gemiddelden worden naar een specifiek "gemiddelde vlak" (het vierde vlak) verplaatst, geschaald om 50% van de energie van het beeld te dragen. Dit maakt het mogelijk dat donkere afwijkingen grote negatieve amplitudes worden met een gelijke energie als positieve amplitudes.
Fourier-vlak Masker: Voordat de hoofdverwerking plaatsvindt, gaat elk kleurvlak door een geleerd complex masker in zijn ruimtelijke frequentiedomein. Op een optische opstelling (lens bench) is dit een 4f-systeem met een ruimtelijke lichtmodulator; op qubits is dit een Quantum Fourier Transform (QFT) met een post-selectie masker. Dit filter is shift-equivariant en fungeert als een convolutie met een reëel kernel.
Hoofdverwerking:
- Qubits: Een "brickwall"-circuit van diepte 11 op 12 qubits, bestaande uit single-qubit rotaties en naburige CNOT-poorten.
- Optica: Vier faseplaten gescheiden door 3,2 mm, waarbij licht wordt gepropageerd via Fresnel-diffractie.
Readout (Born Headroom): Het systeem gebruikt een "Born Headroom Readout" (BHR). In plaats van een standaard softmax, berekent het de "headroom" ( $u_g$ ) voor elke klasse $g$ , gedefinieerd als de gemeten waarschijnlijkheid ( $P_g$ ) minus het "geen-informatie-deel" van de klasse ( $b_g$ , de massa die een maximaal gemengde input zou ontvangen), genormaliseerd door de resterende ruimte ( $1-b_g$ ). Deze headrooms worden omgezet naar waarschijnlijkheden via een vaste LeakyReLU en softmax met een vooraf ingestelde schaalparameter $\phi$ , waarbij geen trainbare parameters in de readout-laag nodig zijn.
Born Evidence Maps (BEM): De kern van de theoretische bijdrage is de afleiding van een exacte additieve decompositie van de klassenkans boven het geen-informatie-deel ( $P_g - b_g$ ). Voor een lineaire kaart $A$ en projectie $\Pi_g$ wordt de evidentie van een amplitude $x$ gegeven door $e_g(x) = a(x) \text{Re}[\langle Mg \rangle(x)] / Z$ , waarbij $M_g = A^\dagger(\Pi_g - b_g)A$ . Deze decompositie is een algebraïsche identiteit, equivalent aan Integrated Gradients met een nul-baseline voor de onderliggende kwadratische vorm, en telt exact op tot $P_g - b_g$ .

Belangrijkste Bijdragen

Exacte Decompositie: Het artikel biedt een gesloten vorm, een exacte decompositie van klassenkansen voor lineaire amplitude-gecodeerde classificaties. In tegen tegenstelling tot eerdere methoden sommeren deze kaarten exact op tot de klassenkans boven de baseline, waardoor numerieke benadering wordt vermeden.
Hardware-meetbare Kaarten: De auteurs demonstreren dat deze evidence maps direct geschat kunnen worden vanuit hardwaremetingen.
- Op qubits worden de kaarten afgeleid van klassenkansen met behulp van de polarisatie-identiteit van kwadratische vormen, wat alleen forward en adjoint passes vereist (geen Hadamard-tests).
- Op een optische opstelling worden de kaarten uitsluitend afgeleid van camera-intensiteiten door het licht te meten voor het volledige beeld, het beeld met een gemaskeerd blok, en het beeld met het behouden blok.
Mean Plane Encoding: De introductie van de "mean plane" encoding wordt getoond als de meest significante architecturale verbetering, die de focus van de verklaring verschuift van de achtergrond naar het object zelf.
Verenigde Architectuur: Een enkel ontwerp (Fourier-masker + lineaire transformatie + BHR) dient zowel quantum (brickwall) als optische (faseplaten) hardware, getraind op datasets variërend van MNIST tot gekleurde Caltech-10.
Ontdekking van Data Shortcuts: De kaarten werden gebruikt om een "data shortcut" te identificeren en te verwijderen (een donker frame op luipaard-afbeeldingen in de ongetrimde dataset), wat het nut van exacte verklaringen bij het debuggen van data aantoont.

Resultaten

Prestaties: Op Caltech-10 (kleur, 32x32) bereikte het volledige optische model (vier faseplaten) een nauwkeurigheid van 72,3%. Het qubit-model (diepte 11 brickwall) bereikte in simulatie 54,9%.
Hardware Executie: Op de ibm_kingston quantum chip van IBM bereikte het qubit-model een nauwkeurigheid van 37,7% op 300 testbeelden (3,8 keer de kans), vergeleken met 56,3% in exacte simulatie. De daling in nauwkeurigheid werd voornamelijk toegeschreven aan het state-loading circuit (fidelity ~0,77) in plaats van chipruis.
Kwaliteit van Verklaringen:
- Deletion Tests: Het verwijderen van de top 5% pixels op basis van evidentie verlaagde de nauwkeurigheid van 73% naar 9% (optisch) en van 56% naar 5% (qubit), wat overeenkomt met de prestaties van occlusion-methoden, maar met veel minder runs.
- Correlatie: Op de quantum chip correleerden 2x2 block evidence maps voor 10 correct geclassificeerde afbeeldingen met exacte kaarten met r = 0,77.
- Objectfocus: Met het gemiddelde vlak concentreerde de evidentie zich op het object (1,32–1,37 keer het aandeel in oppervlakte), terwijl plain amplitude encoding de evidentie gelijkmatig verspreidde.
Toleranties: Simulaties van een fysieke optische opstelling laten zien dat het systeem robuust is voor 8-bit modulatoren, maar precieze uitlijning vereist (plaatverschuiving < 0,8 µm, rotatie < 0,25°) en een stabiel laservermogen (< 0,1% drift per frame).

Betekenis en Claims
Het artikel claimt de eerste optische beeldclassificator te bieden waarvan de klassenkansen exact gedecomposeerd kunnen worden in bijdragen van gecodeerde amplitudes, en een quantumclassificator zonder getraind klassiek netwerk waarvan de verklaringen gemeten zijn op een echte quantumcomputer.

De auteurs zijn bescheiden over de resultaten en stellen expliciet:

Het volledig optische model is een lineair diffractief netwerk; er wordt geen quantumvoordeel geclaimd, en klassiek licht volstaat.
De nauwkeurigheden (bijv. 72,3% op Caltech-10) liggen onder die van kleine elektronische convolutionele netwerken (85,4%) of grote diffractieve ensembles.
De decompositie is exact voor de gecodeerde amplitudes, niet de ruwe pixels, vanwege de mean-subtraction encoding.
De hardwareresultaten worden beperkt door de huidige staat van quantum state loading, niet noodzakelijkerwijs door de classifier-architectuur zelf.
De gevonden "shortcut" in de data werd geïdentificeerd met de testset, wat betekent dat de resultaten op de getrimde set exploratief zijn en geen volledig onafhankelijke holdout missen.

De primaire betekenis ligt in de interpreteerbaarheid van het systeem: het vermogen om direct op de hardware exact te meten waarom een lineaire quantum of optische classifier een beslissing heeft genomen, zonder benadering, en om deze kaarten te gebruiken om te valideren dat het model steunt op het object in plaats van op achtergrondartefacten.

Meer zoals dit