💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

Dieses Paper führt eine Methode ein, um pro-Bild-Attributionskarten mittels Clustering-Techniken in wiederkehrende räumliche Shortcut-Muster zu gruppieren, was die Identifizierung spezifischer Bilduntergruppen mit hohen Fehlerraten sowie die Entwicklung gezielter Interventionen ermöglicht, die Leistungsunterschiede in Vision-Modellen reduzieren.

Ursprüngliche Autoren: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Veröffentlicht 2026-08-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Kind bei, verschiedene Tierarten zu erkennen. Sie zeigen ihm ein Bild einer Kuh auf einer grünen Wiese, und es lernt, dass „Kuh“ bedeutet: „Tier mit Flecken auf einer Wiese“. Dann zeigen Sie ihm eine Kuh in einem verschneiten Stall, und das Kind wird verwirrt sein, weil der Teil mit der „Wiese“ fehlt. Genau das passiert mit einigen Modellen der Künstlichen Intelligenz (KI). Sie sind unglaublich intelligent darin, Muster zu erkennen, aber manchmal werden sie „faul“. Anstatt die echten Merkmale des Objekts zu lernen, das sie identifizieren sollen (wie die Form einer Kuh), krallen sie sich an leichte, zufällige Hinweise (wie das grüne Gras), die zufällig in ihren Trainingsfotos vorkommen. In der Welt der Informatik nennt man das „Shortcut Learning“ (Abkürzungslernen). Es ist wie ein Schüler, der die Schriftart des Lösungsschlüssels auswendig lernt, anstatt tatsächlich Mathe zu büffeln. Das Problem ist: Diese Abkürzungen funktionieren großartig, bis sich der Test ändert – etwa wenn die Kuh plötzlich in einem Stall erscheint. Wenn das passiert, versagt die KI, und wenn diese Fehler häufiger bei bestimmten Gruppen von Menschen auftreten (wie etwa Patienten aus einem bestimmten Krankenhaus), wird die KI unfair oder voreingenommen.

In dieser Arbeit geht es um einen neuen Weg, um diese faulen Abkürzungen zu entlarven, bevor sie Probleme verursachen. Die Forscher haben ein Werkzeug entwickelt, das wie ein „räumlicher Detektiv“ für die KI fungiert. Anstatt nur auf das Endergebnis zu schauen, werfen sie einen Blick in das „Gehirn“ des Modells, um genau zu sehen, wohin die KI im Bild schaut. Sie fanden heraus, dass KI-Modelle oft mehrere, unterschiedliche „Abkürzungen“ nutzen, die für verschiedene Bilder gelten. Bei einigen Bildern könnte ein Shortcut-Muster durch den Hintergrund ausgelöst werden, während andere auf ein seltsames Artefakt der Kamera zurückgreifen. Durch das Gruppieren dieser verschiedenen Shortcut-Muster können die Forscher genau erkennen, welche Bilder am wahrscheinlichsten fehlerhaft sind, und das Modell sogar direkt vor Ort korrigieren, indem sie ihm sagen, dass es die Abkürzungen ignorieren und sich stattd-dessen auf die echten Merkmale konzentrieren soll.

Die Detektivarbeit: Die Abkürzungen finden

Das Team von King's College London wollte ein spezifisches Rätsel lösen: Bestehende Methoden konnten zwar sagen, dass eine KI Abkürzungen nutzt, aber sie konnten nicht sagen, wie und wo sie Abkürzungen nutzt, um gezielt bestimmte Fehlermuster zu beheben. Stellen Sie sich vor, Sie versuchen, einen Dieb in einer Stadt zu finden, indem Sie eine verschwommene, gemittelte Karte aller Verbrechen betrachten. Sie wüssten zwar, dass Verbrechen geschehen, aber Sie wüssten nicht, ob der Dieb ein Taschendieb im Park oder ein Einbrecher in den Vororten ist. Die alten Methoden waren wie diese verschwommene Karte; sie haben alle Bilder zusammengeschoben und dadurch verborgen, dass verschiedene Bilder unterschiedliche Arten von Abkürzungen aufweisen.

Das Team entwickelte eine Methode, um dies aufzuschlüsseln. Zuerst betrachteten sie drei verschiedene „Ansichten“ des Bildes für jedes einzelne Foto, das die KI sah:

Die Aufgaben-Ansicht (Task View): Was die KI für wichtig hält, um die Aufgabe zu erfüllen (z. B. das Identifizieren eines Tumors).
Die Shortcut-Ansicht (Shortcut View): Was die KI für ein wichtiges Merkmal eines sensiblen Attributs hält (z. B. das Krankenhaus, aus dem das Foto stammt, oder das Geschlecht der Person).
Die faire Ansicht (Fair View): Ein Referenzmodell, das darauf trainiert wurde, fair zu sein, indem es sensible Attribute ignoriert.

Durch den Vergleich dieser Ansichten erstellten sie eine „Beitragskarte“ (Contribution Map) für jedes einzelne Bild. Diese Karte hebt die spezifischen Pixel hervor, die die KI für ihre Entscheidung genutzt hat. Wenn die KI Abkürzungen verwendete, würde die Karte im Hintergrund oder auf einem spezifischen Artefakt aufleuchten, anstatt auf dem eigentlichen Objekt.

Das Gruppieren der Muster

Hier geschieht die Magie. Die Forscher nahmen diese tausenden einzelnen Karten und nutzten ein mathematisches Sortierverfahren (genannt K-Means und Non-negative Matrix Factorization), um sie in „Shortcut-Gruppen“ zu sortieren. Denken Sie an das Sortieren eines riesigen Haufens gemischter Puzzleteile in verschiedene Boxen, basierend auf den Mustern auf den Teilen.

Sie entdeckten, dass die Abkürzungen nicht einfach ein einziger großer Klumpen schlechten Verhaltens waren. Stattdessen gab es mehrere distinkte „Persönlichkeiten“ von Abkürzungen. Bei einem Datensatz von Vogelbildern fanden sie beispielsweise eine Gruppe von Abkürzungen, bei denen die KI auf den Wasserhintergrund achtete, und eine andere Gruppe, bei der sie auf den Landhintergrund achtete. Auf einem Datensatz von Thorax-Röntgenbildern fanden sie Abkürzungen, die sich auf den Brustschatten oder die unteren Teile der Lunge konzentrierten, während die „guten“, aufgabenbezogenen Bereiche direkt in der Mitte der Lungen lagen.

Diese Gruppen waren unglaublich nützlich. Die Forscher fanden heraus, dass sie, wenn sie sich nur die obersten 20 % der Bilder ansah, die zu den „Hochrisiko“-Shortcut-Gruppen gehörten, einen massiven Teil der gesamten Fehler des Modells finden konnten. In einigen Fällen, wie beim Vogel-Datensatz, enthielt diese kleine Gruppe fast 74 % aller Fehler, die das Modell machte. Das bedeutet, dass Auditoren nicht jedes einzelne Bild prüfen müssen; sie können einfach die spezifischen „Shortcut-Gruppen“ kontrollieren, um die Probleme schnell zu finden.

Der „Do-Over“-Knopf: Das Modell reparieren

Der spannendste Teil der Arbeit ist, dass sie die Probleme nicht nur gefunden, sondern auch versucht haben, sie in Echtzeit zu beheben, ohne das gesamte Modell neu trainieren zu müssen. Sie testeten zwei Arten von „Interventionen“ an den Bildern:

Input Masking (Eingabe-Maskierung): Sie deckten buchstäblich die Teile des Bildes ab, die die KI als Abkürzung verwendete.
Feature Space Intervention (Intervention im Merkmalsraum): Sie gingen in die interne Verarbeitung des Modells und sagten ihm, die „Lautstärke“ der Shortcut-Signale zu senken und die „Lautstärke“ der echten Aufgaben-Signale zu erhöhen.

Die Ergebnisse waren faszinierend. Wenn sie die „Shortcut“-Bereiche maskierten, blieb die Leistung des Modells oft gleich oder verbesserte sich sogar leicht, was bewies, dass diese Bereiche für die Aufgabe gar nicht notwendig waren. Wenn sie jedoch die „Aufgaben“-Bereiche (die echten Hinweise) maskierten, brach die Leistung des Modells zusammen, was bestätigte, dass dies die wichtigen Teile waren.

Der eigentliche Erfolg lag in einem kombinierten Ansatz: Die Unterdrückung der Abkürzungen bei gleichzeitiger Verstärkung der echten Aufgabe. Wenn sie dies taten, verringerte sich der Leistungsunterschied zwischen verschiedenen Gruppen (wie verschiedenen Geschlechtern oder Krankenhäusern) erheblich. Beispielsweise reduzierte diese Methode auf dem CelebA-Gesichtsdatensatz die Leistungsdifferenz um etwa 7,8 Prozentpunkte. Auf dem CheXpert-Thorax-Röntgen-Datensatz reduzierte sie die Differenz sogar um beachtliche 20,3 Prozentpunkte.

Was das bedeutet

Die Arbeit legt nahe, dass wir durch das Gruppieren dieser räumlichen Abkürzungen ein viel klareres Bild davon bekommen können, wo KI-Modelle scheitern. Es geht nicht nur darum zu sagen: „Dieses Modell ist voreingenommen“; es geht darum zu sagen: „Dieses Modell nutzt Abkürzungen, indem es in diesen acht spezifischen Mustern auf den Hintergrund schaut.“

Die Forscher zeigten, dass diese Gruppen stabil und zuverlässig sind. Selbst wenn sie die Hilfsmodelle, die zur Erkennung der Abkürzungen verwendet wurden, neu trainierten, blieben die Gruppen konsistent. Sie testeten dies auch auf verschiedenen KI-Architekturen (wie ResNet und ViT) und verschiedenen Datensätzen (von Hautläsionen bis hin zu Vogelbildern), und die Methode funktionierte überall.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. In einigen komplexen medizinischen Fällen, wie etwa bei histopathologischen Schnitten, bei denen die „Abkürzung“ ein subtiler Färbeunterschied aus einem bestimmten Labor ist, reichte das bloße Unterdrücken des räumlichen Bereichs nicht aus, um die Voreingenommenheit zu beheben. Aber für viele andere Fälle bietet diese Methode, die räumlichen Abkürzungen zu finden, zu gruppieren und zu unterdrücken, einen leistungsstarken neuen Weg, um KI zu prüfen und zu verbessern, was sie fairer und zuverlässiger macht, ohne bei Null anfangen zu müssen. Sie verwandelt die verschwommene Karte der KI-Voreingenommenheit in einen detaillierten, handlungsorientierten Leitfaden zur Behebung von Fehlern.

Technisches Resümee: Entdeckung und räumliche Charakterisierung multipler Shortcut-Gruppen zur Prüfung von Bias in Vision-Modellen

Problemstellung

Deep-Learning-Modelle erreichen oft eine hohe durchschnittliche Genauigkeit, indem sie sich auf „Shortcut“-Merkmale verlassen – dies sind Scheinkorrelationen, die in der Trainingsverteilung vorhanden sind, sich aber zur Testzeit nicht verallgemeinern lassen, insbesondere innerhalb spezifischer Subpopulationen. Während Out-of-Distribution-Tests Leistungsunterschiede aufzeigen können, versagen sie dabei, die spezifischen Bildregionen zu lokalisieren, die mit diesen Shortcuts assoziiert sind. Bestehende Methoden zur Auditierung basierend auf Attribution, wie OSCAR, aggregieren Attributionskarten typischerweise über den gesamten Datensatz, um eine einzige datensatzweite Beitrags-Karte zu erzeugen. Diese Aggregation setzt eine räumliche Konsistenz von Shortcut-Merkmalen über alle Bilder hinweg voraus, was potenziell wiederkehrende räumliche Muster maskiert, die nur in Teilmengen von Bildern auftreten oder in verschiedenen Subgruppen unterschiedlich mit aufgabenrelevanten Merkmalen interagieren. Folglich fehlt Auditoren die handlungsorientierte räumliche Evidenz, um Hochrisiko-Bild-Teilmengen zu identifizieren oder die spezifische Art der Shortcut-Abhängigkeit in fest trainierten Modellen zu verstehen.

Methodik

Das vorgeschlagene Framework, Spatial Shortcut Group Discovery, adressiert diese Einschränkungen, indem es bildspezifische Beitrags-Karten berechnet und diese gruppiert, um wiederkehrende räumliche Muster offenzulegen. Die Methode verläuft in vier Hauptschritten:

Bildspezifische Attribution und Ranking:
Es werden drei Modelle verwendet: das auditierte Aufgabenmodell ( $f_{TS}$ ), ein Bias-reduziertes Baseline-Modell ( $f_{BA}$ ), das auf einem attribut-balancierten Datensatz trainiert wurde, und ein Modell für sensible Attribute ( $f_{SA}$ ). Attributionskarten (z. B. LRP, AttnLRP) werden für jedes Modell generiert, in ein Gitter aus $R$ disjunkten Regionen unterteilt und in niedrig auflösende räumliche Vektoren umgewandelt. Entscheidend ist, dass diese Vektoren innerhalb jedes Bildes gerankt werden, um die Variation zwischen den Bildern zu bewahren.
Konditionale Ausrichtung und Beitrags-Karten:
Unter Verwendung partieller Korrelation berechnet die Methode bildspezifische Ausrichtungswerte (Alignment Scores):
- Shortcut-Ausrichtung ( $\rho_{sc}$ ): Misst die Ausrichtung zwischen $f_{TS}$ und $f_{SA}$ nach Entfernung des linearen Effekts von $f_{BA}$ . Hohe Werte zeigen an, dass das Aufgabenmodell Regionen nutzt, die mit dem sensiblen Attribut assoziiert sind.
- Aufgaben-Ausrichtung ( $\rho_{task}$ ): Misst die Ausrichtung zwischen $f_{TS}$ und $f_{BA}$ nach Entfernung des Effekts von $f_{SA}$ .
  Regionsebene Beitrags-Karten ( $m_{sc}$ und $m_{task}$ ) werden durch Dekomposition dieser Ausrichtungswerte abgeleitet, wobei nur positive Beiträge beibehalten werden, die die jeweiligen Ausrichtungen stützen.
Gruppierung räumlicher Muster:
Die gemeinsamen Shortcut- und Aufgaben-Beitrags-Karten für jedes Bild werden konkateniert und normalisiert. Diese Repräsentationen werden dann mithilfe zweier Ansätze in wiederkehrende räumliche Muster gruppiert:
- K-Means: Weist jedes Bild einer einzelnen „Shortcut-Gruppe“ zu.
- Nicht-negative Matrixfaktorisierung (NMF): Ermöglicht es Bildern, mehrere Muster gleichzeitig auszudrücken, wodurch Soft-Membership-Gewichte entstehen.
  Das Ergebnis ist eine Menge von Shortcut-Gruppen-Prototypen (gewichtete Mittelwerte der Zugehörigkeit) und repräsentativen Beispielbildern für jede Gruppe.
Räumliche Interventionen zur Testzeit:
Um den Nutzen dieser Karten zu validieren, verwendet das Paper Input-Maskierung und interne Interventionen im Feature-Raum.
- Input-Maskierung: Okklusion von Regionen mit hohen Aufgaben- oder Shortcut-Beiträgen, um die Leistungsdegradation zu beobachten.
- Interventionen im Feature-Raum: Vorschlag von Shortcut-Suppression (Entfernen der Aufgaben-Komponenten aus den Shortcut-Karten vor der Suppression) und Aufgaben-Amplifikation (Entfernen der Shortcut-Komponenten aus den Aufgaben-Karten vor der Amplifikation). Ein kombinierter Ansatz wendet beides gleichzeitig an, um Disparitäten zwischen Subgruppen zu reduzieren und gleichzeitig die Genauigkeit zu bewahren.

Zentrale Beiträge

Entdeckung räumlicher Shortcut-Muster: Das Paper führt eine Methode zur Berechnung bildspezifischer Shortcut- und Aufgaben-Beitrags-Karten sowie deren Gruppierung mittels K-Means und NMF ein. Dies zeigt auf, dass innerhalb eines einzelnen Datensatzes mehrere kohärente räumliche Shortcut-Muster mit unterschiedlichen Subgruppen-Zusammensetzungen und Fehlerraten koexistieren können – eine Nuance, die bei der datensatzweiten Aggregation verloren geht.
Gezielte Fehler-Auditierung: Das Framework demonstriert, dass die Zugehörigkeit zu Shortcut-Gruppen genutzt werden kann, um Risiko-Scores zu konstruieren, die Teilmengen von Bildern identifizieren, die einen unverhältnismäßig großen Anteil der gesamten Testfehler enthalten. Dies ermöglicht es Auditoren, ihre Inspektionsbemühungen auf Hochrisiko-Teilmengen statt auf Zufallsstichproben zu konzentrieren.
Handlungsorientierte Interventionen zur Testzeit: Die Studie validiert, dass die identifizierten räumlichen Karten handlungsfähige Evidenz enthalten. Das Maskieren von Aufgaben-Beitrags-Regionen führt zu einem Leistungsabfall, während das Maskieren von Shortcut-Regionen variable Effekte hat und oft die Genauigkeit beibehält oder sogar leicht verbessert, was darauf hindeutet, dass diese Cues nicht essenziell oder eher spuriös sind. Die kombinierte Intervention aus Shortcut-Suppression und Aufgaben-Amplifikation reduziert die Leistungsdisparitäten (gemessen als Largest Performance Gap, LPG) über verschiedene Datensätze und Architekturen hinweg.

Experimentelle Ergebnisse

Die Methode wurde über fünf Datensätze (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) und zwei Architekturen (ResNet50, ViT-B/16) evaluiert.

Muster-Entdeckung: Die visuelle Inspektion der Shortcut-Gruppen-Prototypen enthüllte distinkte räumliche Strukturen. Beispielsweise zeigten in Celeb-A einige Gruppen eine Konzentration der Shortcut-Abhängigkeit in Haar-Regionen (aufgabenrelevant), während andere sich auf Hintergrund/Kleidung konzentrierten. In CheXpert hoben Shortcut-Gruppen Nicht-Lungen-Regionen (z. B. Brustschatten) hervor, während Aufgaben-Gruppen auf Lungen-Regionen fokussierten.
Risiko-Identifikation: Durch Shortcut-Gruppen basierende Risiko-Scores identifizierten erfolgreich Teilmengen, die signifikant mehr Fehler aufweisen als Random-Baselines. Beispielsweise enthielten beim CelebA ViT-Modell die obersten 20 % der nach Risiko-Score geordneten Bilder etwa 63,5 % der gesamten gehaltenen Fehler (im Vergleich zu den 20 %, die durch Zufall zu erwarten wären). Die NMF-basierte Gruppierung übertraf K-Means im Hinblick auf die Fehlererfassung und Stabilität über unabhängig trainierte Modelle hinweg im Allgemeinen.
Effektivität der Interventionen:
- Input-Maskierung: Das Maskieren von Regionen mit hohem Aufgaben-Beitrag verursachte starke Leistungsabfälle, was bestätigt, dass diese Regionen kritisch für die Vorhersage sind. Das Maskieren von Shortcut-Regionen hatte variable Effekte und bewahrte oft die Genauigkeit oder verbesserte sie leicht, was darauf hindeutet, dass diese Cues nicht essenziell oder spuriös sind.
- Feature-Interventionen: Die kombinierte Anwendung von Shortcut-Suppression und Aufgaben-Amplifikation reduzierte den Largest Performance Gap (LPG) konsistent über die meisten Datensätze hinweg. Beispielsweise reduzierte die kombinierte Intervention bei CheXpert mit ViT den LPG um 12,8 Prozentpunkte bei gleichzeitiger Beibehaltung oder leichter Verbesserung der Genauigkeit.
- Iterative Interventionen: Die wiederholte Anwendung der Interventionen reduzierte die Shortcut-Ausrichtung und die Subgruppen-Disparitäten weiter, was den Nutzen der Karten demonstriert.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Entdeckung räumlicher Shortcut-Gruppen die Lücke zwischen visueller Inspektion, gezielter Auditierung und Intervention zur Testzeit schließt. Durch den Verzicht auf die datensatzweite Aggregation bietet das Framework eine kompakte, inspizierbare Zusammenfassung darüber, wie die Shortcut-Abhängigkeit über Bilder und Subgruppen hinweg variiert.

Die Autoren betonen, dass ihr Ansatz kein Retraining des Modells erfordert, was ihn für fest installierte, produktiv eingesetzte Vision-Systeme anwendbar macht. Die resultierenden Prototypen und Risiko-Scores bieten einen praktischen Workflow für Auditoren, um:

Wiederkehrende räumliche Muster von Bias zu visualisieren, die andernfalls verborgen blieben.
Teilmengen von Daten basierend auf hohen Fehlerraten für eine manuelle Überprüfung zu priorisieren.
Zur Testzeit zu intervenieren, um Disparitäten durch die Unterdrückung spurieller Cues und die Verstärkung relevanter Aufgaben-Evidenz zu mildern.

Das Paper bleibt hinsichtlich der Generalisierung bescheiden und merkt an, dass die Methode zwar einzelne sensible Attribute effektiv handhabt, reale Szenarien jedoch mehrere interagierende Attribute beinhalten können. Zudem setzt die gitterbasierte Partitionierung eine gewisse räumliche Ausrichtung voraus, was die Anwendbarkeit auf Datensätze mit hoher räumlicher Variabilität ohne weitere Anpassung einschränken könnte. Die Arbeit legt ein Fundament für die Nutzung räumlicher Beitragsmuster zur Steuerung einer handlungsfähigen Interpretierbarkeit in Vision-Modellen.