Metonymy in vision models undermines attention-based interpretability
Dieser Artikel zeigt, dass moderne vortrainierte Vision-Transformer die Lokalitätsannahme verletzen, indem sie „Intra-Objekt-Leckage" (visuelle Metonymie) aufweisen, was die Zuverlässigkeit von auf Aufmerksamkeit basierenden Interpretationsmethoden für die teilbasierte Schlussfolgerung untergräbt, und belegt, dass ein zweistufiger Ansatz dieses Problem wirksam mildern kann, um die entdeckung attributgetriebener Teile zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „betrügende" Detektiv
Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, einen Vogel zu erkennen, indem Sie auf seine Teile schauen. Sie wollen, dass der Computer sagt: „Ich weiß, dass dies ein Blauhäher ist, weil ich einen blauen Flügel sehe", oder: „Dies ist ein Rotkehlchen, weil ich eine rote Brust sehe."
Um dies zu ermöglichen, verwenden Forscher ein spezielles Werkzeug namens Aufmerksamkeitsmechanismus (Attention Mechanism). Denken Sie daran wie an eine Lupe eines Detektivs. Wenn der Computer einen Vogel betrachtet, hebt die Lupe den spezifischen Teil hervor, auf den sie schaut (wie den Flügel), und ignoriert den Rest des Vogels. Die Idee ist: Wenn sich der Computer auf den Flügel konzentriert, sollte er nur Informationen aus dem Flügel verwenden, um seine Entscheidung zu treffen.
Die Entdeckung des Papiers:
Die Autoren stellten fest, dass moderne KI-Modelle „betrügen". Selbst wenn die Lupe streng auf den Flügel fokussiert ist, „riecht" der Computer tatsächlich durch die Wände hindurch den Rest des Vogels.
In der Linguistik nennt man dies Metonymie. Es ist wie zu sagen: „Das Weiße Haus gab eine Erklärung ab", wenn man eigentlich meint: „Der Präsident gab eine Erklärung ab". Der Teil (das Gebäude) steht für das Ganze (die Verwaltung).
In diesen KI-Modellen enthält der „Flügel"-Teil nicht nur Informationen über Federn; er enthält heimlich Informationen über den „Kopf", die „Beine" und den „Schnabel".
- Die Analogie: Stellen Sie sich vor, Sie versuchen, das Lieblingsessen einer Person zu erraten, indem Sie nur auf ihre linke Hand schauen. In einer normalen Welt sagt Ihnen Ihre Hand nichts über ihren Magen. Aber in diesen KI-Modellen ist die Hand magisch mit dem Magen verbunden. Wenn die Person Pizza mag, leuchtet ihre linke Hand mit „Pizza-Energie", obwohl Sie nicht auf ihren Mund schauen.
Warum dies wichtig ist: Die „treue" Lüge
Das Papier argumentiert, dass dies aktuelle „interpretierbare" KI unzuverlässig macht.
Viele Forscher glauben, ihre Modelle seien „interpretierbar", weil sie Ihnen eine Heatmap (eine leuchtende Karte) zeigen können, die sagt: „Schauen Sie, ich schaue auf den Schnabel!"
- Die Realität: Das Modell schaut auf den Schnabel, trifft seine Entscheidung aber auf Basis der Beine, weil die „Schnabel"-Darstellung mit „Bein"-Informationen kontaminiert ist.
- Das Ergebnis: Die Erklärung sieht ehrlich aus, aber die Begründung ist eine Lüge. Das Modell denkt tatsächlich nicht über den Teil nach, auf den es zeigt; es nutzt einen Shortcut.
Die Lösung: Der „schalldichte Raum"
Die Autoren schlagen eine neue Art vor, diese Modelle zu bauen, um das Betrügen zu stoppen. Sie nennen es einen Zweistufigen Ansatz.
Stufe 1: Der Detektiv findet die Räume.
Zuerst betrachtet das Modell den ganzen Vogel und zeichnet Umrisse um die verschiedenen Teile (Kopf, Flügel, Bein). Es ist wie ein Immobilienmakler, der die Räume in einem Haus identifiziert.
Stufe 2: Die schalldichten Räume.
Anstatt das ganze Haus auf einmal zu betrachten, setzt das Modell jeden Raum in eine separate, schalldichte Box.
- Es nimmt die „Flügel"-Box und stellt sie in einen Raum, in den kein Geräusch von „Kopf" oder „Bein" hineinkommen kann.
- Es zwingt den Computer, eine Vermutung über den Flügel zu machen, unter Verwendung nur der Informationen innerhalb dieser schalldichten Box.
Die Analogie:
Stellen Sie sich ein Gruppenprojekt vor, bei dem alle im selben Raum sind. Wenn Sie den „Flügel"-Schüler nach seiner Meinung fragen, wiederholt er vielleicht nur, was der „Kopf"-Schüler gesagt hat, weil er ihn hören kann.
Die Lösung der Autoren besteht darin, jeden Schüler in eine separate, schalldichte Kabine zu setzen. Jetzt, wenn Sie den „Flügel"-Schüler fragen, muss er eine Antwort finden, die nur auf dem basiert, was er über Flügel weiß. Er kann nicht betrügen, indem er den anderen zuhört.
Die Ergebnisse: Funktioniert es?
Die Autoren testeten dies an drei verschiedenen Arten von „Objekten":
- Vögel (CUB-Datensatz): Überprüfung, ob das Modell Flügel-Farben oder Schnabelformen identifizieren konnte.
- Gesichter (CelebA-Datensatz): Überprüfung, ob das Modell Augenfarbe identifizieren oder erkennen konnte, ob jemand einen Hut trug.
- Brust-Röntgenbilder (CheXpert-Datensatz): Überprüfung, ob das Modell Lungenprobleme erkennen konnte.
Was sie fanden:
- Alter Weg (Late Masking): Der „Flügel"-Schüler konnte leicht die „Bein"-Farbe erraten. Das Modell war verwirrt und untreu.
- Neuer Weg (Zweistufig/Schalldicht): Der „Flügel"-Schüler konnte nur Flügel-Dinge erraten. Das Modell wurde viel besser darin, tatsächlich die spezifischen Teile zu verstehen.
- Der Kompromiss: Der Bau dieser schalldichten Räume erfordert mehr Rechenleistung (etwa das Doppelte), macht aber die Begründung des Modells ehrlich und genau.
Das Fazit
Das Papier kommt zu dem Schluss, dass Sie, wenn Sie eine KI wollen, die erklärt, warum sie eine Entscheidung basierend auf einem bestimmten Teil eines Bildes getroffen hat, keine Standardmodelle verwenden können. Diese sind zu „laut" und lassen Informationen aus anderen Teilen durchsickern. Sie müssen sie mit architektonischer Isolation (den schalldichten Räumen) bauen, um sicherzustellen, dass, wenn die KI auf einen Teil zeigt, sie tatsächlich über diesen Teil nachdenkt und nicht nur basierend auf dem gesamten Objekt rät.
Kurz gesagt: Das Papier beweist, dass aktuelle KI-Modelle über das, worauf sie schauen, lügen, und bietet eine „schalldichte" Bauweise an, um sie zu zwingen, die Wahrheit zu sagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.