🤖 machine learning

Towards interpretable AI with quantum annealing feature selection

Dit artikel stelt een nieuwe methode voor voor het interpreteren van Convolutional Neural Networks in beeldclassificatie door de selectie van feature maps te formuleren als een quantum-beperkt optimalisatieprobleem dat wordt opgelost via quantum-annealing, wat presteert beter dan state-of-the-art-technieken zoals GradCAM bij het ontkoppelen van klassen en het vergroten van transparantie, terwijl het tevens theoretische inzichten biedt in het computationele gedrag van het algoritme.

Oorspronkelijke auteurs: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar mysterieuze chef hebt (een Deep Learning-model) die perfect kan identificeren of een afbeelding een kat of een vrachtwagen voorstelt. Deze chef legt echter nooit uit waarom ze die keuze heeft gemaakt. Ze zeggen gewoon: "Het is een kat," en gaan verder. In de wereld van Kunstmatige Intelligentie noemen we dit een "black box". Als de chef een fout maakt, hebben we geen idee of ze naar de snorharen, de oren of misschien gewoon de achtergrondkleur keek.

Dit artikel introduceert een nieuwe manier om een kijkje te nemen in het hoofd van de chef om precies te zien welke ingrediënten (kenmerken) ze gebruikten om hun beslissing te nemen. Maar in plaats van een standaard keukengereedschap te gebruiken, maakten de auteurs gebruik van een zeer speciale, futuristische oven genaamd een Quantum Annealer.

Hier is de uiteenzetting van hun methode met eenvoudige analogieën:

1. Het Probleem: Te Veel Ingrediënten

Wanneer een computer een afbeelding bekijkt, breekt hij deze op in duizenden kleine "feature maps". Denk hierbij aan duizenden verschillende filters of lenzen. Een lens kan "gebogen lijnen" benadrukken, een andere "groene texturen" en weer een andere "scherpe randen".

Standaardmethoden (zoals GradCAM) proberen de beslissing te verklaren door alle deze lenzen samen te mengen tot één wazige afbeelding. Het is alsof je probeert een lied te begrijpen door te luisteren naar het hele orkest dat tegelijk speelt. Je hoort de muziek, maar je kunt niet vertellen welk specifiek instrument de melodie speelt.

2. De Oplossing: De Quantum "Best-of" Lijst

De auteurs wilden de kleine, perfecte groep lenzen vinden die het werk daadwerkelijk deden. Ze vroegen zich af: "Welke 10 lenzen van de 500 zijn echt verantwoordelijk voor het identificeren van dit 'Vliegtuig'?"

Dit is een enorm raadsel. Als je 500 lenzen hebt, is het aantal mogelijke combinaties zo groot dat een gewone computer eeuwen zou nodig hebben om ze allemaal te controleren. Het is alsof je probeert het perfecte team van 10 spelers te vinden uit een pool van 500 door elke mogelijke combinatie uit te proberen.

3. Het Magische Gereedschap: Quantum Annealing

Om dit raadsel op te lossen, maakten de auteurs gebruik van Quantum Annealing.

De Analogie: Stel je voor dat je je bevindt in een donker, bergachtig dal met een bal. Je doel is om het laagste punt van het dal te vinden (de beste oplossing). Een gewone computer is als een wandelaar die stap voor stap moet lopen, elke heuvel controleert en hoopt niet vast te komen te zitten in een kleine kuiltje.
De Quantum Manier: Quantum Annealing is als een magische bal die door de heuvels kan "tunnelen" of op vele plaatsen tegelijk kan bestaan. Het kan het hele dal snel verkennen en het absoluut laagste punt (de beste set lenzen) veel sneller vinden dan de wandelaar.

4. Hoe Ze Het Spel Opzetten

Ze veranderden het probleem in een spel met twee regels:

De "Belangrijke" Regel: Kies lenzen die sterk hielpen bij het zeggen van het model: "Ja, dit is een vliegtuig!" (Hoge belangrijkheid).
De "Unieke" Regel: Kies geen lenzen die in feite hetzelfde doen. Als Lens A en Lens B allebei "gebogen lijnen" benadrukken, kies dan maar één. Ze willen een divers team, geen team van klonen.

De Quantum Annealer zocht naar de perfecte mix van lenzen die beide regels tegelijkertijd vervulde.

5. De Resultaten: Duidelijker Visie

Toen ze dit testten op een dataset van afbeeldingen (zoals vliegtuigen, vogels en vrachtwagens), vonden ze:

Minder Verwarring: Hun methode creëerde een veel duidelijker beeld van waar het model naar keek. Het scheidde de "Vliegtuig"-kenmerken beter van de "Schip"-kenmerken dan de standaardmethoden.
Betere Nauwkeurigheid: Toen ze de delen van de afbeelding verwijderden die hun methode niet had geselecteerd, daalde het vertrouwen van het model niet zo sterk als bij standaardmethoden. Dit bewijst dat hun geselecteerde lenzen de echt belangrijke waren.
Fysica Check: Ze analyseerden ook de "energie" van hun quantum-systeem (zoals het controleren van de temperatuur van de oven). Ze ontdekten dat het systeem stabiel was en de meeste van de tijd succesvol de beste oplossingen vond.

Samenvatting

Kortom, dit artikel zegt: "Deep learning-modellen zijn slim maar moeilijk te begrijpen. We hebben een nieuw gereedschap gebouwd met behulp van quantumfysica dat fungeert als een 'feature selector'. In plaats van je een wazige mix van alles te tonen, pikt het de specifieke, unieke delen van een afbeelding eruit waar het model echt om geeft. Dit maakt het redeneren van de AI veel duidelijker en makkelijker te vertrouwen."

Ze demonstreerden dit op een standaard afbeeldingsdataset (STL-10) met behulp van een ResNet-18-model, en toonden aan dat hun quantum-aanpak het denken van het model beter kon ontwarren dan de huidige standaardtechnieken.

1. Probleemstelling

Deep Learning (DL) modellen, met name Convolutional Neural Networks (CNN's), worden veel gebruikt in kritieke toepassingen maar functioneren vaak als "black boxes". Hoewel er Technieken voor Verklaarbare AI (XAI) zoals Grad-CAM en Grad-CAM++ bestaan om te visualiseren welke beeldregio's voorspellingen beïnvloeden, lijden ze aan aanzienlijke beperkingen:

Aggregatie: Ze combineren bijdragen van alle feature maps (FMs) tot één enkele salientiekaart, waardoor het niet lukt om de specifieke rollen van individuele FMs te ontwarren.
Redundantie: Ze filteren geen redundante of gecorreleerde representaties eruit, waardoor het moeilijk is om de specifieke geleerde patronen te begrijpen die een beslissing drijven.
Combinatorische Complexiteit: Het selecteren van de optimale subset van FMs om een voorspelling te verklaren is een combinatorisch optimalisatieprobleem dat exponentieel ( $2^N$ ) schaalt met het aantal kenmerken, waardoor het computationeel onhandelbaar is voor klassieke exhaustieve zoekopdrachten.

De auteurs stellen dat Feature Selection (FS) toegepast op interne geleerde representaties (in plaats van ruwe invoerpixels) een krachtig maar onderbenut hulpmiddel is voor XAI. Het efficiënt oplossen van dit FS-probleem vereist echter een nieuwe aanpak.

2. Methodologie

Het artikel stelt een nieuwe aanpak voor op basis van Quantum Annealing (QA) om de meest relevante en niet-redundante feature maps te selecteren voor een gegeven beeldvoorspelling.

A. Feature Map Filtering

Gradientenanalyse: De auteurs berekenen de globale gemiddelde pooling van de gradienten met betrekking tot de feature maps van de laatste convolutielaag ( $f^{(a)}_{ij}$ ).
$\alpha_a = \frac{1}{H_f W_f} \sum_{i,j} \frac{\partial z}{\partial f^{(a)}_{ij}}$
waarbij $\alpha_a$ de belangrijkheid van feature map $a$ voorstelt.
Positieve Selectie: Alleen feature maps met een positieve gradientbijdrage ( $\alpha_a > 0$ ) worden behouden, aangezien deze de voorspelde klasse bevestigen. Dit creëert een gefilterde set $\{\tilde{f}\}$ .

B. QUBO Formulering

Het selectieprobleem wordt gecodeerd in een Quadratic Unconstrained Binary Optimization (QUBO) probleem (of equivalent, een Ising-model).

Variabelen: Binaire variabelen (qubits) stellen de opname ($1$) of uitsluiting ($0$) van elke gefilterde feature map voor.
Doelfunctie (Hamiltoniaan): Het doel is om de belangrijkheid van geselecteerde maps te maximaliseren terwijl redundantie (geometrische gelijkenis) wordt geminimaliseerd.
$\hat{H}_{QUBO} = (1 - \beta) \frac{1}{2} \sum_{p,q} J_{pq} \hat{n}_p \hat{n}_q + \beta \sum_{p} h_p \hat{n}_p$
- Lineaire Term ( $h_p$ ): Stelt de genormaliseerde belangrijkheid van feature map $p$ voor (afgeleid van $\alpha_p$ ).
- Kwadratische Term ( $J_{pq}$ ): Stelt de absolute cosinusgelijkenis tussen feature maps $p$ en $q$ voor. Hoge gelijkenis impliceert redundantie; de term straft het selecteren van beide af.
- Hyperparameter ( $\beta$ ): Regelt de afweging tussen het selecteren van hoog-belangrijke kenmerken en het minimaliseren van redundantie.

C. Quantum Annealing Protocol

Initialisatie: Het systeem start in een superpositie van alle mogelijke feature subsets (grondtoestand van een driver Hamiltoniaan $\hat{H}_D = -\sum \hat{\sigma}_x$ ).
Evolutie: Het systeem evolueert via een tijdsafhankelijke Hamiltoniaan $\hat{H}(s) = A(s)\hat{H}_D + B(s)\hat{H}_{QUBO}$ , waarbij $s$ van 0 naar 1 gaat.
Sampling: De eindtoestand wordt gesampled om een bit-string te verkrijgen die de optimale subset van feature maps voorstelt. Deze subset vormt de "verklaringskaart".

3. Belangrijkste Bijdragen

Nieuw XAI Framework: De eerste toepassing van Quantum Annealing specifiek voor het selecteren van interne feature maps (latente representaties) van CNN's, in plaats van invoerpixels.
Ontwarren: In tegenstelling tot Grad-CAM, dat alle maps aggregeert, isoleert deze methode een schaarse, niet-redundante subset van FMs, waardoor een duidelijker beeld ontstaat van de specifieke patronen die het model gebruikt.
Fysiek-gedreven Analyse: De auteurs analyseren het computationele gedrag van het algoritme met behulp van kwantumfysische metrieken, zoals de minimale energiekloof ( $\Delta_{min}$ ) en fideliteit, om uit te leggen waarom de methode werkt en wat de schaalbaarheidslimieten zijn.
Hybride Aanpak: Het werk toont aan hoe NISQ (Noisy Intermediate-Scale Quantum) concepten kunnen worden gesimuleerd om hoog-dimensionale FS-problemen op te lossen die moeilijk zijn voor klassieke heuristieken.

4. Resultaten

De methode werd geëvalueerd op het STL-10 dataset met behulp van een ResNet-18 architectuur.

Klasse-ontwarren:
- De auteurs genereerden klasse-klasse correlatiemaps met behulp van de Bhattacharyya-coëfficiënt.
- De op QA gebaseerde methode (met $N_f=16$ ) toonde aanzienlijk beter ontwarren (meer diagonale matrix) in vergelijking met het volledige ResNet-18 model, wat aangeeft dat de geselecteerde FMs specifieker zijn voor individuele klassen.
Kwantitatieve Prestaties (Average Drop %):
- Meting: De "Average Drop %" meet hoeveel het vertrouwen van het model daalt wanneer pixels die niet in de verklaringskaart zitten, worden gemaskeerd. Een lagere daling duidt op een betere verklaring (de kaart bevat de kritieke informatie).
- Vondsten: De QA-fGradCAM methode behaalde een lagere Average Drop % (betere prestaties) dan zowel Grad-CAM als Grad-CAM++ voor de meeste klassen bij gebruik van een gereduceerde feature set ( $N_f=16$ ).
- Schaalbaarheidsopmerking: Bij schaling naar het volledige ResNet-18 ( $N_f=512$ ) met behulp van Simulated Annealing (SA) degradeerde de prestatie. De auteurs schrijven dit toe aan de moeilijkheid om het globale minimum te vinden in grotere QUBO-instanties en de agressieve onderdrukking van kenmerken door de redundantieterm zonder zorgvuldige afstelling van $\beta$ .
Fysische Analyse:
- Energiekloof: De minimale energiekloof ( $\Delta_{min}$ ) bleek relatief groot (rond $10^{-1}$ ), wat suggereert dat het probleemlandschap niet het "moeilijkste" voorbeeld is van het Sherrington-Kirkpatrick-model en hanteerbaar is.
- Fideliteit: Voor annealing-tijden $\tau > 50$ bereikte het algoritme hoge fideliteit (convergentie naar de grondtoestand), wat de robuustheid van het protocol bevestigt.

5. Betekenis en Conclusie

Interpreteerbaarheid: De methode verhoogt de transparantie van DL-modellen door de specifieke, niet-redundante filters te identificeren die verantwoordelijk zijn voor een beslissing, en gaat voorbij aan grove warmtekaarten.
Potentieel voor Quantum Voordeel: Hoewel de huidige hardware beperkt is, bewijst de studie dat het formuleren van XAI als een QUBO-probleem de efficiënte exploratie van exponentieel grote oplossingsruimtes mogelijk maakt. Het suggereert dat toekomstige kwantumhardware deze interpreteerbaarheidsproblemen sneller en accurater kan oplossen dan klassieke heuristieken.
Toekomstige Richtingen: De auteurs suggereren dat het afstellen van de hyperparameter $\beta$ en het mogelijk toevoegen van kardinaliteitsbeperkingen de resultaten verder kunnen verbeteren. Het framework is agnostisch en kan worden toegepast op andere architecturen (bijv. Vision Transformers) of generatieve modellen.

Kortom, dit artikel overbrugt de kloof tussen Quantum Computing en Verklaarbare AI, en demonstreert dat quantum annealing het combinatorische probleem van feature selectie in diepe netwerken effectief kan oplossen, wat leidt tot meer onderscheidende, betrouwbare en interpreteerbare modelverklaringen.