Beyond Attribution: Unified Concept-Level Explanations

Das Paper stellt UnCLE vor, ein allgemeines Framework, das bestehende modellunabhängige Erklärungsmethoden durch die Nutzung großer vortrainierter Modelle erweitert, um einheitliche konzeptbasierte Erklärungen in Form von Attributen, hinreichenden Bedingungen und kontrafaktischen Szenarien für verschiedene Text-, Bild- und Multimodalmodelle bereitzustellen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber störrischen Koch (das KI-Modell), der Ihnen ein Gericht serviert. Wenn Sie ihn fragen: „Warum schmeckt das so gut?", antwortet er oft nur mit einer Liste von Zutaten: „Weil 0,3 Gramm Salz, 0,1 Gramm Pfeffer und ein bisschen Zwiebel enthalten waren."

Das ist für uns Menschen schwer zu verstehen. Wir wollen keine chemische Analyse, wir wollen wissen: „Weil das Fleisch saftig war" oder „Weil die Soße perfekt gewürzt war." Das sind Konzepte – die großen Ideen hinter den Details.

Bisher gab es zwei Probleme:

1. Die meisten Erklärungs-Tools für KI sprachen nur die „Zutaten-Ebene" an (zu technisch).
2. Die wenigen Tools, die auf „Konzepten" sprachen, konnten nur eine Art von Frage beantworten: „Was hat zum Ergebnis beigetragen?" (Attribution). Sie konnten aber nicht sagen: „Was müsste ich ändern, damit das Ergebnis anders wird?" (Gegenbeispiele) oder „Welche Zutaten reichen aus, damit es immer gut schmeckt?" (Ausreichende Bedingungen).

Hier kommt UnCLE ins Spiel.

Was ist UnCLE?

UnCLE ist wie ein universeller Dolmetscher, der die KI-Sprache in menschliche Konzepte übersetzt. Es ist ein „Rahmenwerk" (ein Werkzeugkasten), das bestehende KI-Erklärungs-Tools nimmt und sie einfach „aufwertet".

Stellen Sie sich vor, Sie haben eine alte Kamera (ein bestehendes KI-Erklärungs-Tool wie LIME oder Anchors). Normalerweise macht diese Kamera nur scharfe, aber langweilige Schwarz-Weiß-Fotos von einzelnen Pixeln. UnCLE ist wie ein neuer Objektiv-Aufsatz, der diese Kamera befähigt, bunte, verständliche Fotos von ganzen Objekten zu machen.

Wie funktioniert das? (Die Magie hinter den Kulissen)

Das Geheimnis von UnCLE ist die Nutzung von großen, vortrainierten Modellen (wie moderne Sprach- oder Bild-KIs, die wir alle kennen).

1. Das Verstehen: UnCLE schaut sich das Bild oder den Text an und fragt die große KI: „Was ist hier eigentlich zu sehen?" Statt zu sagen „Pixel 10 bis 20 sind rot", sagt sie: „Das ist ein Hund" oder „Das ist ein trauriger Satz".
2. Das Experimentieren (Der Clou): Früher haben Erklärungs-Tools einfach Teile des Bildes schwarz übermalt (wie ein Zensor). Das sieht unschön aus und ist oft nicht logisch.
   • UnCLE macht es anders: Es sagt der großen KI: „Mach mir bitte ein Bild, auf dem der Hund fehlt, aber der Rest gleich bleibt." Oder: „Erzähl mir eine Geschichte, in der die Stimmung positiv ist, aber das Wort 'schön' fehlt."
   • Die große KI generiert diese neuen Szenen. Das ist wie ein Schauspieler, der eine Szene neu spielt, aber eine bestimmte Eigenschaft ändert.
3. Die Erklärung: Da UnCLE nun mit ganzen Konzepten (Hund, Stimmung) statt mit Pixeln arbeitet, kann es dem Nutzer viel klarere Antworten geben:
   • Beiträge (Attribution): „Der 'Hund' war der Hauptgrund für die Klassifizierung."
   • Ausreichende Bedingungen: „Solange ein 'Hund' im Bild ist, wird das Modell immer 'Hund' sagen."
   • Gegenbeispiele (Counterfactuals): „Wenn du den 'Hund' durch eine 'Katze' ersetzt, ändert sich die Antwort."

Warum ist das so toll?

• Ein Werkzeug für alle Fragen: Früher brauchten Sie ein Werkzeug für „Warum?" und ein anderes für „Was wäre wenn?". UnCLE ist wie ein Schweizer Taschenmesser, das beides kann. Sie müssen nur den gewünschten Modus wählen.
• Besser für den Menschen: Es ist viel einfacher, über „einen Hund" zu diskutieren als über „Pixel 45 bis 60". Die Erklärungen sind treuer (faithful), weil sie sich auf das konzentrieren, was Menschen wirklich verstehen.
• Flexibel: Es funktioniert bei Texten, Bildern und sogar bei Kombinationen aus beidem (Multimodal).

Zusammenfassung in einem Satz

UnCLE nimmt die trockene, technische KI-Erklärung und verwandelt sie in eine lebendige Geschichte über Konzepte (wie Objekte oder Themen), indem es moderne KI-Modelle als „Kreativ-Assistenten" nutzt, um Szenarien zu simulieren, anstatt nur Daten zu analysieren.

Es ist der Unterschied zwischen einem Koch, der Ihnen eine Liste von Chemikalien gibt, und einem Koch, der Ihnen sagt: „Das Gericht schmeckt so gut, weil wir frische Tomaten verwendet haben – und wenn wir Zitronen nehmen würden, wäre es sauer."

Technische Zusammenfassung

1. Problemstellung

Mit der zunehmenden Verbreitung komplexer und oft geschlossener Machine-Learning-Modelle (z. B. GPT-4, Gemini) wächst die Nachfrage nach modellagnostischen Erklärungsmethoden. Diese Methoden behandeln das Zielmodell als „Blackbox" und benötigen keinen Zugriff auf interne Parameter.

Zwei Hauptansätze existieren derzeit, haben aber jeweils gravierende Einschränkungen:

• Attributionsbasierte Methoden (Feature-Level): Methoden wie LIME oder SHAP erklären Modelle über die Wichtigkeit einzelner Merkmale (z. B. Pixel oder Wörter). Sie sind modellagnostisch, aber oft schwer für Endnutzer zu interpretieren, da sie auf niedrigstuigen, fragmentierten Features basieren.
• Konzeptbasierte Methoden: Diese nutzen hochstuige Konzepte (z. B. „Objekte" in Bildern oder „Themen" in Texten), die für Menschen verständlicher und vertrauenswürdiger (faithful) sind. Derzeitige konzeptbasierte Ansätze sind jedoch stark eingeschränkt:
  1. Sie konzentrieren sich fast ausschließlich auf Attributions-Formen (Wichtigkeit von Konzepten).
  2. Sie unterstützen selten andere, nützliche Erklärungsformen wie hinreichende Bedingungen (Sufficient Conditions) oder Gegenbeispiele (Counterfactuals).
  3. Viele erfordern spezifische Anpassungen an das Modell oder neue Architekturen, was sie nicht allgemein anwendbar macht.

Das Ziel: Eine Brücke zu schlagen, um existierende modellagnostische Methoden auf das Konzept-Level zu heben, ohne deren Kernalgorithmen zu ändern, und dabei diverse Erklärungsformen bereitzustellen.

2. Methodik: Das UnCLE-Framework

Die Autoren stellen UnCLE (Unified Concept-Level Explanations) vor, ein allgemeines und leichtgewichtiges Framework. Der Kerngedanke ist, dass lokale modellagnostische Methoden nicht neu entwickelt, sondern durch eine konzeptbasierte Störung (Perturbation) erweitert werden können.

Der Workflow von UnCLE besteht aus drei Schritten:

1. Erstellung von Konzept-Prädikaten (Concept-Level Predicate Producing):

   • Anstelle von rohen Features (z. B. Superpixeln oder einzelnen Wörtern) werden hochstuige Konzepte aus den Eingabedaten extrahiert (z. B. mittels SAM für Bilder oder spezialisierten Modellen für Text).
   • Es wird eine Menge von Konzept-Prädikaten $P_c$ definiert, die binär angeben, ob ein Eingabe-Beispiel ein bestimmtes Konzept erfüllt.

2. Konzept-Level-Störung (Concept-Level Perturbation):

   • Dies ist der innovativste Schritt. Herkömmliche Methoden maskieren oder verändern Features zufällig. UnCLE verändert jedoch direkt die Konzepte.
   • Um von der abstrakten Konzept-Ebene zurück in den Merkmalsraum (z. B. ein Bild oder einen Text) zu gelangen, nutzt UnCLE große vortrainierte Modelle (Large Pre-trained Models, LLMs/LDMs) als „Mapping-Modell".
   • Beispiel: Wenn ein Konzept „Kind im Bild" auf „Nein" gesetzt wird, generiert das LLM ein neues Bild, das dem Original ähnelt, aber kein Kind enthält. Dies geschieht über strukturierte Prompts.
   • Dies ermöglicht realistische und semantisch sinnvolle Störungen, im Gegensatz zum einfachen Maskieren von Pixeln.

3. Erstellung der Erklärung (Explanation Generation):

   • Die generierten Stichproben (mit ihren Konzept-Prädikaten und den Ausgaben des Zielmodells) werden an den vorhandenen Lernalgorithmus der ursprünglichen Methode (z. B. LIME, Anchors, LORE, Kernel SHAP) übergeben.
   • Da die Algorithmen unverändert bleiben, können sie nun Erklärungen auf Konzept-Ebene generieren.

Unterstützte Erklärungsformen:
UnCLE erweitert bestehende Methoden, um drei Formen bereitzustellen:

• Attributions: Wichtigkeit von Konzepten für die Vorhersage.
• Hinreichende Bedingungen (Sufficient Conditions): Minimale Mengen von Konzepten, die garantieren, dass das Modell die gleiche Vorhersage trifft (basierend auf Anchors/LORE).
• Gegenbeispiele (Counterfactuals): Wie sich die Vorhersage ändert, wenn bestimmte Konzepte entfernt oder hinzugefügt werden (basierend auf LORE).

3. Hauptbeiträge

• Einheitliches Framework: UnCLE ist ein generisches Framework, das lokale modellagnostische Methoden (LIME, SHAP, Anchors, LORE) mit minimalem Aufwand auf das Konzept-Level hebt.
• Nutzung von Generativen Modellen: Die Autoren schlagen vor, große vortrainierte Modelle als Mapping-Modell für die Konzept-Störung zu nutzen, um semantisch kohärente Stichproben zu erzeugen.
• Vielfalt der Erklärungen: Im Gegensatz zu bisherigen Konzept-Methoden, die meist nur Attributions liefern, bietet UnCLE ein einheitliches Interface für Attributions, hinreichende Bedingungen und Gegenbeispiele.
• Flexibilität: Das Framework ist nicht an spezifische Konzept-Extraktoren gebunden und kann mit verschiedenen Konzepttypen (Objekte, Attribute, hierarchische Konzepte) arbeiten.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte an Text-, Bild- und Multimodal-Modellen (z. B. BERT, YOLOv8, ViT, Qwen2.5-VL).

• Fidelity (Treue):

  • UnCLE verbessert die Treue (Fidelity) bestehender Methoden signifikant. Im Durchschnitt erhöhte sich die Treue von Anchors, LIME, LORE und Kernel SHAP um 56,8 %.
  • UnCLE-Methoden übertreffen state-of-the-art (SOTA) konzeptbasierte Methoden, die speziell für Text (TBM, LACOAT) oder Bilder (EAC, ConceptLIME) entwickelt wurden.
  • Bei Textaufgaben erreichte UnCLE eine Genauigkeit von bis zu 92,6 % (verglichen mit ~87 % bei SOTA-Methoden).

• Störungsgenauigkeit (Perturbation Fidelity):

  • Die Nutzung von LLMs (z. B. DeepSeek-V3, Qwen2.5) zur Generierung von Störungsbeispielen erwies sich als hochzuverlässig (ca. 96,8 % Genauigkeit bei der Einhaltung der Konzept-Vorgaben).

• Human Evaluation (Menschliche Bewertung):

  • In einer Studie mit 18 Teilnehmern zeigte sich, dass UnCLE-Erklärungen Nutzern helfen, das Modellverhalten besser vorherzusagen.
  • Für hinreichende Bedingungen und Gegenbeispiele lagen UnCLE-Erklärungen in Bezug auf Coverage (Abdeckung) und Precision (Präzision) deutlich über den SOTA-Konzept-Methoden (z. B. +8,1 % Precision bei hinreichenden Bedingungen).

• Effizienz:

  • Zwar verursacht die Nutzung von Generativen Modellen einen zusätzlichen Rechenaufwand (ca. 5-10 Sekunden pro Erklärung im Vergleich zu 2-3 Sekunden bei reinen Feature-Methoden), ist dieser Aufwand jedoch als akzeptabel eingestuft, besonders da keine kommerziellen APIs benötigt werden (lokale GPU-Laufzeit möglich).

5. Bedeutung und Fazit

Das Paper zeigt, dass es nicht notwendig ist, konzeptbasierte Erklärungsmethoden von Grund auf neu zu entwerfen. Stattdessen können bestehende, bewährte modellagnostische Algorithmen durch die Integration von Konzept-Extraktion und generativen Störungen massiv verbessert werden.

Wesentliche Implikationen:

• Vertrauenswürdigkeit: Erklärungen werden für Endnutzer verständlicher, da sie auf semantischen Konzepten basieren und nicht auf abstrakten Pixeln oder Wörtern.
• Vielseitigkeit: Nutzer können je nach Bedarf zwischen verschiedenen Erklärungsformen (Warum? Was muss passieren? Was ändert sich?) wählen, ohne das Framework wechseln zu müssen.
• Zukunftsfähigkeit: Der Ansatz ist besonders relevant für den Einsatz bei großen, geschlossenen Modellen (LLMs), bei denen kein Zugriff auf interne Gradienten oder Gewichte möglich ist.

UnCLE stellt somit einen wichtigen Schritt hin zu einer einheitlichen, nutzerzentrierten und hochgenauen Erklärung von KI-Modellen dar.