🤖 machine learning

Towards interpretable AI with quantum annealing feature selection

Dieser Artikel schlägt eine neuartige Methode zur Interpretation von Convolutional Neural Networks bei der Bildklassifizierung vor, indem die Auswahl von Feature Maps als quantenmechanisches, eingeschränktes Optimierungsproblem formuliert wird, das durch Quanten-Annealing gelöst wird und dabei den Stand der Technik wie GradCAM in Bezug auf die Entflechtung von Klassen und die Transparenz übertrifft, während gleichzeitig theoretische Einblicke in das rechnerische Verhalten des Algorithmus gewonnen werden.

Ursprüngliche Autoren: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber mysteriösen Koch (ein Deep-Learning-Modell), der ein Bild einer Katze oder eines Lastwagens perfekt identifizieren kann. Dieser Koch erklärt jedoch niemals, warum er diese Entscheidung getroffen hat. Er sagt einfach: „Es ist eine Katze", und geht weiter. In der Welt der Künstlichen Intelligenz nennt man dies eine „Blackbox". Wenn der Koch einen Fehler macht, haben wir keine Ahnung, ob er auf die Schnurrhaare, die Ohren oder vielleicht nur auf die Hintergrundfarbe geschaut hat.

Dieser Artikel stellt eine neue Methode vor, um einen Blick in den Kopf des Kochs zu werfen und genau zu sehen, welche Zutaten (Merkmale) er zur Entscheidungsfindung verwendet hat. Anstatt jedoch ein Standard-Küchenwerkzeug zu verwenden, nutzten die Autoren einen sehr speziellen, futuristischen Ofen, der als Quanten-Annealer bezeichnet wird.

Hier ist die Aufschlüsselung ihrer Methode unter Verwendung einfacher Analogien:

1. Das Problem: Zu viele Zutaten

Wenn ein Computer ein Bild betrachtet, zerlegt er es in Tausende winziger „Feature-Maps". Stellen Sie sich diese als Tausende verschiedener Filter oder Linsen vor. Eine Linse könnte „gekrümmte Linien" hervorheben, eine andere „grüne Texturen" und eine weitere „scharfe Kanten".

Standardmethoden (wie GradCAM) versuchen, die Entscheidung zu erklären, indem sie alle diese Linsen zu einem unscharfen Bild mischen. Es ist, als würde man versuchen, ein Lied zu verstehen, indem man das gesamte Orchester gleichzeitig hört. Man hört die Musik, kann aber nicht erkennen, welches spezifische Instrument die Melodie spielt.

2. Die Lösung: Die Quanten-„Best-of"-Liste

Die Autoren wollten die kleine, perfekte Gruppe von Linsen finden, die tatsächlich die Arbeit geleistet haben. Sie fragten: „Welche 10 Linsen von den 500 sind wirklich für die Identifizierung dieses 'Flugzeugs' verantwortlich?"

Dies ist ein riesiges Rätsel. Wenn man 500 Linsen hat, ist die Anzahl der möglichen Kombinationen so enorm, dass ein herkömmlicher Computer ewig brauchen würde, um sie alle zu überprüfen. Es ist, als würde man versuchen, das perfekte Team von 10 Spielern aus einem Pool von 500 zu finden, indem man jede einzelne Kombination durchspielt.

3. Das magische Werkzeug: Quanten-Annealing

Um dieses Rätsel zu lösen, verwendeten die Autoren Quanten-Annealing.

Die Analogie: Stellen Sie sich vor, Sie befinden sich in einem dunklen, bergigen Tal mit einem Ball. Ihr Ziel ist es, den tiefsten Punkt des Tals (die beste Lösung) zu finden. Ein herkömmlicher Computer ist wie ein Wanderer, der schrittweise gehen muss, jeden Hügel überprüft und hofft, nicht in einer kleinen Senke stecken zu bleiben.
Der Quanten-Weg: Quanten-Annealing ist wie ein magischer Ball, der durch die Hügel „tunneln" oder an vielen Orten gleichzeitig existieren kann. Er kann das gesamte Tal schnell erkunden und den absolut tiefsten Punkt (die beste Linsengruppe) viel schneller finden als der Wanderer.

4. Wie sie das Spiel aufzogen

Sie verwandelten das Problem in ein Spiel mit zwei Regeln:

Die „Wichtige"-Regel: Wählen Sie Linsen aus, die dem Modell stark geholfen haben, zu sagen: „Ja, das ist ein Flugzeug!" (Hohe Wichtigkeit).
Die „Einzigartige"-Regel: Wählen Sie keine Linsen aus, die im Wesentlichen dasselbe tun. Wenn Linse A und Linse B beide „gekrümmte Linien" hervorheben, wählen Sie nur eine aus. Sie wollen ein diverses Team, kein Team von Klons.

Der Quanten-Annealer suchte nach der perfekten Mischung von Linsen, die beide Regeln gleichzeitig erfüllte.

5. Die Ergebnisse: Klareres Sehen

Als sie dies an einem Datensatz von Bildern (wie Flugzeuge, Vögel und Lastwagen) testeten, stellten sie fest:

Weniger Verwirrung: Ihre Methode erzeugte ein viel klareres Bild davon, worauf das Modell schaute. Sie trennte die „Flugzeug"-Merkmale besser von den „Schiff"-Merkmale als die Standardmethoden.
Bessere Genauigkeit: Als sie die Teile des Bildes entfernten, die ihre Methode nicht ausgewählt hatte, sank das Vertrauen des Modells nicht so stark wie bei Standardmethoden. Dies beweist, dass ihre ausgewählten Linsen die wirklich wichtigen waren.
Physik-Check: Sie analysierten auch die „Energie" ihres Quantensystems (wie das Überprüfen der Ofentemperatur). Sie stellten fest, dass das System stabil war und die besten Lösungen die meiste Zeit erfolgreich fand.

Zusammenfassung

Kurz gesagt sagt dieser Artikel: „Deep-Learning-Modelle sind intelligent, aber schwer zu verstehen. Wir haben ein neues Werkzeug entwickelt, das Quantenphysik nutzt, um als 'Merkmalsauswähler' zu fungieren. Anstatt Ihnen eine unscharfe Mischung von allem zu zeigen, wählt es die spezifischen, einzigartigen Teile eines Bildes aus, die dem Modell tatsächlich wichtig sind. Dies macht die Schlussfolgerungen der KI viel klarer und vertrauenswürdiger."

Sie demonstrierten dies an einem Standard-Bilddatensatz (STL-10) unter Verwendung eines ResNet-18-Modells und zeigten, dass ihr quantenphysikalischer Ansatz das Denken des Modells besser entwirren konnte als aktuelle Standardtechniken.

1. Problemstellung

Deep-Learning-Modelle (DL), insbesondere Convolutional Neural Networks (CNNs), werden zwar in kritischen Anwendungen weit verbreitet eingesetzt, funktionieren jedoch oft als „Black Boxes". Zwar existieren Techniken für Erklärbare KI (XAI) wie Grad-CAM und Grad-CAM++, um zu visualisieren, welche Bildregionen die Vorhersagen beeinflussen, doch leiden sie unter erheblichen Einschränkungen:

Aggregation: Sie kombinieren Beiträge aller Feature-Maps (FMs) zu einer einzigen Saliency-Karte und versagen dabei, die spezifischen Rollen einzelner FMs zu entwirren.
Redundanz: Sie filtern redundante oder korrelierte Darstellungen nicht heraus, was das Verständnis der spezifischen gelernten Muster, die eine Entscheidung antreiben, erschwert.
Kombinatorische Komplexität: Die Auswahl der optimalen Teilmenge von FMs zur Erklärung einer Vorhersage ist ein kombinatorisches Optimierungsproblem, das exponentiell mit der Anzahl der Merkmale skaliert ( $2^N$ ) und für eine klassische erschöpfende Suche rechnerisch unlösbar macht.

Die Autoren schlagen vor, dass Feature Selection (FS), angewendet auf interne gelernte Darstellungen (statt auf rohe Eingabepixel), ein mächtiges, aber untergenutztes Werkzeug für XAI ist. Die effiziente Lösung dieses FS-Problems erfordert jedoch einen neuen Ansatz.

2. Methodik

Das Paper schlägt einen neuartigen, auf Quanten-Annealing (QA) basierenden Ansatz vor, um die relevantesten und nicht-redundantesten Feature-Maps für eine gegebene Bildvorhersage auszuwählen.

A. Filterung der Feature-Maps

Gradientenanalyse: Die Autoren berechnen das globale Average Pooling der Gradienten bezüglich der Feature-Maps der letzten Faltungsschicht ( $f^{(a)}_{ij}$ ).
$\alpha_a = \frac{1}{H_f W_f} \sum_{i,j} \frac{\partial z}{\partial f^{(a)}_{ij}}$
wobei $\alpha_a$ die Bedeutung der Feature-Map $a$ darstellt.
Positive Selektion: Nur Feature-Maps mit einem positiven Gradientenbeitrag ( $\alpha_a > 0$ ) werden beibehalten, da diese die vorhergesagte Klasse bestätigen. Dies erzeugt einen gefilterten Satz $\{\tilde{f}\}$ .

B. QUBO-Formulierung

Das Auswahlproblem wird in ein Quadratic Unconstrained Binary Optimization (QUBO)-Problem (oder äquivalent ein Ising-Modell) kodiert.

Variablen: Binäre Variablen (Qubits) repräsentieren die Einbeziehung ($1$) oder den Ausschluss ($0$) jeder gefilterten Feature-Map.
Zielfunktion (Hamiltonoperator): Das Ziel ist es, die Bedeutung der ausgewählten Karten zu maximieren und gleichzeitig Redundanz (geometrische Ähnlichkeit) zu minimieren.
$\hat{H}_{QUBO} = (1 - \beta) \frac{1}{2} \sum_{p,q} J_{pq} \hat{n}_p \hat{n}_q + \beta \sum_{p} h_p \hat{n}_p$
- Linearer Term ( $h_p$ ): Repräsentiert die normalisierte Bedeutung der Feature-Map $p$ (abgeleitet aus $\alpha_p$ ).
- Quadratischer Term ( $J_{pq}$ ): Repräsentiert die absolute Kosinusähnlichkeit zwischen den Feature-Maps $p$ und $q$ . Hohe Ähnlichkeit impliziert Redundanz; der Term bestraft die gleichzeitige Auswahl beider.
- Hyperparameter ( $\beta$ ): Steuert den Kompromiss zwischen der Auswahl hochbedeutsamer Merkmale und der Minimierung von Redundanz.

C. Quanten-Annealing-Protokoll

Initialisierung: Das System startet in einer Superposition aller möglichen Feature-Teilmengen (Grundzustand eines Driver-Hamiltonoperators $\hat{H}_D = -\sum \hat{\sigma}_x$ ).
Evolution: Das System entwickelt sich über einen zeitabhängigen Hamiltonoperator $\hat{H}(s) = A(s)\hat{H}_D + B(s)\hat{H}_{QUBO}$ , wobei $s$ von 0 bis 1 läuft.
Sampling: Der Endzustand wird gesampelt, um eine Bitfolge zu erhalten, die die optimale Teilmenge der Feature-Maps darstellt. Diese Teilmenge bildet die „Erklärungskarte".

3. Hauptbeiträge

Neues XAI-Framework: Die erste Anwendung von Quanten-Annealing speziell zur Auswahl interner Feature-Maps (latenter Darstellungen) von CNNs, anstatt von Eingabepixeln.
Entwirrung: Im Gegensatz zu Grad-CAM, das alle Karten aggregiert, isoliert diese Methode eine sparse, nicht-redundante Teilmenge von FMs und bietet einen klareren Einblick in die spezifischen Muster, die das Modell verwendet.
Physikgetriebene Analyse: Die Autoren analysieren das rechnerische Verhalten des Algorithmus unter Verwendung von Quantenphysik-Metriken, wie der minimalen Energilücke ( $\Delta_{min}$ ) und der Fidelity, um zu erklären, warum die Methode funktioniert und wo ihre Skalierbarkeitsgrenzen liegen.
Hybrider Ansatz: Die Arbeit zeigt auf, wie NISQ-Konzepte (Noisy Intermediate-Scale Quantum) simuliert werden können, um hochdimensionale FS-Probleme zu lösen, die für klassische Heuristiken schwierig sind.

4. Ergebnisse

Die Methode wurde auf dem STL-10-Datensatz unter Verwendung einer ResNet-18-Architektur evaluiert.

Klassen-Entwirrung:
- Die Autoren generierten Klassen-Klassen-Korrelationskarten unter Verwendung des Bhattacharyya-Koeffizienten.
- Die QA-basierte Methode (mit $N_f=16$ ) zeigte eine signifikant bessere Entwirrung (mehr diagonale Matrix) im Vergleich zum vollständigen ResNet-18-Modell, was darauf hindeutet, dass die ausgewählten FMs spezifischer für einzelne Klassen sind.
Quantitative Leistung (Average Drop %):
- Metrik: Der „Average Drop %" misst, wie stark das Vertrauen des Modells sinkt, wenn Pixel, die nicht in der Erklärungskarte enthalten sind, maskiert werden. Ein geringerer Abfall deutet auf eine bessere Erklärung hin (die Karte enthält die kritischen Informationen).
- Ergebnisse: Die QA-fGradCAM-Methode erzielte einen niedrigeren Average Drop % (bessere Leistung) als sowohl Grad-CAM als auch Grad-CAM++ über die meisten Klassen hinweg, wenn eine reduzierte Merkmalsmenge ( $N_f=16$ ) verwendet wurde.
- Hinweis zur Skalierbarkeit: Beim Skalieren auf das vollständige ResNet-18 ( $N_f=512$ ) unter Verwendung von Simulated Annealing (SA) verschlechterte sich die Leistung. Die Autoren führen dies auf die Schwierigkeit zurück, das globale Minimum in größeren QUBO-Instanzen zu finden, sowie auf die aggressive Unterdrückung von Merkmalen durch den Redundanzterm ohne sorgfältige Abstimmung von $\beta$ .
Physikalische Analyse:
- Energilücke: Die minimale Energilücke ( $\Delta_{min}$ ) wurde als relativ groß (ca. $10^{-1}$ ) befunden, was darauf hindeutet, dass die Problemlandschaft nicht die „schwierigste" Instanz des Sherrington-Kirkpatrick-Modells ist und lösbar ist.
- Fidelity: Für Annealing-Zeiten $\tau > 50$ erreichte der Algorithmus eine hohe Fidelity (Konvergenz zum Grundzustand), was die Robustheit des Protokolls bestätigt.

5. Bedeutung und Fazit

Interpretierbarkeit: Die Methode erhöht die Transparenz von DL-Modellen, indem sie die spezifischen, nicht-redundanten Filter identifiziert, die für eine Entscheidung verantwortlich sind, und damit über grobe Heatmaps hinausgeht.
Potenzial für Quantenvorteil: Obwohl die aktuelle Hardware begrenzt ist, beweist die Studie, dass die Formulierung von XAI als QUBO-Problem die effiziente Erkundung exponentiell großer Lösungsräume ermöglicht. Es wird nahegelegt, dass zukünftige Quantenhardware diese Interpretierbarkeitsprobleme schneller und genauer lösen könnte als klassische Heuristiken.
Zukünftige Richtungen: Die Autoren schlagen vor, dass die Abstimmung des Hyperparameters $\beta$ und möglicherweise das Hinzufügen von Kardinalitätsbeschränkungen die Ergebnisse weiter verbessern könnten. Das Framework ist agnostisch und könnte auf andere Architekturen (z. B. Vision Transformers) oder generative Modelle angewendet werden.

Zusammenfassend schließt dieses Paper die Lücke zwischen Quantencomputing und Erklärbarer KI und zeigt, dass Quanten-Annealing das kombinatorische Problem der Merkmalsauswahl in tiefen Netzwerken effektiv lösen kann, was zu klareren, zuverlässigeren und interpretierbareren Modellerklärungen führt.