💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Dieses Paper führt „Probe Prompting“ ein, eine transparente, regelbasierte Pipeline, die Merkmale in Attributionsgraphen mithilfe von Cross-Prompt Activation Signatures in konzeptorientierte Supernodes gruppiert und deren kausales Steuerungsverhalten über faktische Domänen hinweg mit minimalem Rechenaufwand erfolgreich validiert.

Ursprüngliche Autoren: Giuseppe Birardi, Gonçalo Paulo

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Giuseppe Birardi, Gonçalo Paulo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, geschäftige Stadt mit Millionen von Arbeitern (Neuronen) vor, die sich gegenseitig Notizen zu einer Frage übergeben. Wir wissen genau, wie diese Notizen übergeben werden (die Mathematik), aber die Stadt ist so groß und die Notizen so komplex, dass es für einen Menschen unmöglich ist, auf den Stadtplan zu schauen und zu sagen: „Ah, diese spezifische Gruppe von Arbeitern ist dafür verantwortlich, dass die Hauptstadt von Texas Austin ist.“

Dieses Paper stellt eine neue Methode vor, um diese Stadt abzubilden, genannt Probe Prompting. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Eine Stadt, die zu groß zum Lesen ist

Früher versuchten Forscher, das Modell zu verstehen, indem sie „Attributionsgraphen“ betrachteten. Dies sind wie Blaupausen, die zeigen, welche Arbeiter die endgültige Antwort beeinflusst haben.

Das Problem: Selbst für eine einfache Frage wie „Was ist die Hauptstadt von Texas?“ hat die Blaupause Tausende von Linien und Knoten. Es ist, als würde man versuchen, einen Roman zu lesen, indem man jedes einzelne Zeichen betrachtet. Es dauert Stunden, nur einen einzigen Pfad nachzuverfolgen, und dies für Tausende von Fragen zu tun, ist unmöglich.
Der alte Weg: Einige Forscher versuchten, eine KI zu bitten, diese Arbeiter zu benennen („Dieser hier ist für ‚Texas‘ zuständig“). Aber oft hat die KI nur geraten, was der Arbeiter normalerweise tut, nicht was er in diesem speziellen Moment tatsächlich getan hat.

2. Die Lösung: Der „Probe“-Detektiv

Die Autoren entwickelten ein transparentes, regelbasiertes System namens Probe Prompting. Anstatt zu raten, behandeln sie das Modell wie einen Verdächtigen in einem Detektivspiel.

Das Setup: Sie nehmen eine spezifische Frage (z. B. „Die Hauptstadt von Texas ist...“) und generieren eine kleine Menge an „Probe“-Fragen, die fast identisch sind, aber die Details austauschen (z. B. „Die Hauptstadt von Florida ist...“, „Die Hauptstadt von New York ist...“).
Der Test: Sie beobachten, wie bestimmte Arbeiter (Features) auf diese Probes reagieren.
- Analogie: Stellen Sie sich vor, Sie haben einen Sicherheitswachmann in einem Gebäude. Um zu sehen, was er tut, beobachten Sie ihn nicht nur einmal. Sie fragen ihn: „Was machst du, wenn eine Person namens ‚John‘ reinkommt?“ Dann: „Und was bei ‚Mary‘?“ Dann: „Und was bei ‚Bob‘?“
- Wenn der Wachmann nur reagiert, wenn „John“ reinkommt, ist er ein „John-Detektor“.
- Wenn er auf jeden Namen reagiert, ist er ein „Namens-Detektor“.
- Wenn er reagiert, wenn jemand „ist“ oder „der/die/das“ sagt, ist er ein „Grammatik-Helfer“.

3. Das Gruppieren der Arbeiter: „Supernodes“

Basierend auf diesen Reaktionen gruppiert das System tausende einzelne Arbeiter in Supernodes.

Die Magie: Anstatt auf 5.000 einzelne Arbeiter zu schauen, sagt das System: „Okay, diese 50 Arbeiter verhalten sich alle wie ‚Texas-Detektoren‘, also nennen wir sie ein großes Team: Team Texas.“
Das Ergebnis: Die massive, verwirrende Stadtkarte wird nun in ein einfaches, lesbares Diagramm mit nur wenigen benannten Teams komprimiert (z. B. Team Texas, Team Austin, Team „Hauptstadt“).

4. Der Beweis: Das „Swap“-Experiment

Woher wissen wir, dass diese Labels echt sind und nicht nur ein glücklicher Tipp? Die Autoren führen einen Causal Swap durch.

Das Experiment: Sie nehmen eine Frage über Dallas (wo die Antwort eigentlich Austin sein sollte) und versuchen, das Modell dazu zu bringen, Minnesota (wo die Antwort St. Paul ist) zu antworten.
Die Methode: Sie „drehen die Lautstärke leiser“ bei den Arbeitern, die als Team Dallas gelabelt sind, und „drehen die Lautstärke lauter“ bei den Arbeitern, die als Team Minnesota gelabelt sind.
Das Ergebnis:
- Als sie ihre Probe Prompting-Labels verwendeten, konnte das Modell seine Antwort erfolgreich von Dallas zu Minnesota ändern, und zwar in etwa 73 % der Fälle.
- Als sie eine Random Control verwendeten (zufällige Arbeiter auswählten, ohne die Labels zu beachten), änderte das Modell die Antwort fast nie korrekt.
- Als sie eine Influence Control verwendeten (die „lautesten“ Arbeiter auswählten, ungeachtet dessen, was sie tun), scheiterte das Modell ebenfalls beim korrekten Ändern der Antwort.

5. Wichtigste Erkenntnisse in einfachem Deutsch

Es funktioniert: Das System hat erfolgreich identifiziert, welche Arbeiter tatsächlich bestimmte Fakten kontrollieren. Durch das Gruppieren haben sie das „Gehirn“ des Modells lesbar gemacht.
Weniger ist mehr: Manchmal führt der Versuch, jeden Teil des Satzes zu kontrollieren (den Städtenamen, den Bundesstaatenamen und die Hauptstadt), tatsächlich zur Verwirrung des Modells. Es funktioniert besser, wenn man nur die spezifischen Teile anpasst, die mit der Antwort zusammenhängen (den Staat und die Hauptstadt).
Es ist transparent: Im Gegensatz zu einigen KI-Methoden, die „Black Boxes“ sind, verwendet dieses System klare, menschenlesbare Regeln. Wenn ein Forscher die Arbeit überprüfen möchte, kann er genau sehen, warum ein Arbeiter mit einem bestimmten Team gruppiert wurde.

Zusammenfassung

Das Paper präsentiert ein Werkzeug, das eine chaotische, unlesbare Karte des Gehirns eines Sprachmodells in ein sauberes, beschriftetes Diagramm verwandelt. Dies geschieht, indem getestet wird, wie die Teile des Modells auf leicht abgewandelte Fragen reagieren, ähnliche Teile zusammengefasst werden und bewiesen wird, dass diese Gruppen tatsächlich das Verhalten des Modells steuern, indem die Antworten in einem kontrollierten Experiment erfolgreich ausgetauscht wurden.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies für jede KI-Aufgabe (wie das Schreiben von Code oder das Führen eines Gesprächs) funktioniert; es wurde speziell auf faktische Fragen (wie Hauptstädte, Buchautoren und Firmengründer) getestet.
Es behauptet nicht, das Modell zu reparieren oder intelligenter zu machen; es hilft Menschen lediglich dabei, zu verstehen, wie es funktioniert.
Es behauptet nicht, dass es auf alle Sprachen oder alle Modellgrößen anwendbar ist; die Tests wurden mit einem spezifischen englischen Modell (Gemma-2-2B) durchgeführt.

Technisches Resümee: Automatische Interpretation von Attributionsgraphen mittels Probe Prompting

Problemstellung
Obwohl die computationalen Pfade vom Input zum Output in Large Language Models (LLMs) theoretisch bekannt sind, macht die schiere Dichte dieser Berechnungen sie für die menschliche Interpretation opak. Bestehende Methoden der mechanistischen Interpretierbarkeit, wie Sparse Autoencoder (SAEs) und Cross-Layer Transcoder (CLTs), zerlegen die dichten Modellaktivierungen erfolgreich in spärliche Features. Die resultierenden Attributionsgraphen bleiben jedoch zu groß für eine manuelle Analyse; ein einzener kurzer faktischer Prompt kann Graphen mit 600–5.000 Knoten erzeugen. Aktuelle automatisierte Interpretationstechniken, die oft auf dem Scoring von Korpus-Aktivierungen durch LLMs basieren, liefern keine kausale Validierung oder Erkenntnisse über Interaktionen auf Schaltkreisebene (Circuit-Level). Es besteht ein kritischer Bedarf an automatisierten, verhaltensgebundenen Gruppierungsmethoden, die von Einzelfallstudien auf große Kataloge von Schaltkreisen skalieren können, ohne eine manuelle Rückverfolgung zu erfordern.

Methodik: Probe Prompting
Das Paper führt Probe Prompting ein, eine transparente, regelbasierte Pipeline, die darauf ausgelegt ist, komplexe Attributionsgraphen in eine kompakte Menge konzept-ausgerichteter „Superknoten“ umzuwandeln. Die Methodik verläuft über vier distinkte Phasen:

Generierung des Attributionsgraphen: Unter Verwendung von Neuronpedia und CLT-Wörterbüchern generiert das System Attributionsgraphen für Seed-Prompts (z. B. „The capital of the state containing Dallas is“).
Generierung von Probe Prompts: Für jeden Seed generiert ein LLM eine kleine Menge konzept-zielgerichteter Probe-Prompts. Diese Probes bewahren die syntaktische Struktur des Seeds (Präpositionen, Antwortposition), variieren jedoch die Inhaltsentitäten.
Cross-Prompt Activation Signatures (CPAS): Das System misst die Feature-Aktivierungen über den Probe-Satz hinweg. Anstatt sich auf einen einzelnen Prompt-Peak zu verlassen (der mehrdeutig ist), aggregiert es Metriken wie Peak-Konsistenz, Sparsity und Kosinus-Ähnlichkeit relativ zum Seed. Diese Aggregation bildet ein CPAS für jedes Feature.
Regelbasierte Superknoten-Bildung: Ein deterministischer Entscheidungsbaum bildet die CPAS-Metriken einer von vier funktionalen Rollen zu:
- Semantic-Dictionary (SEM-DICT): Features, die konsistent auf einem einzelnen semantischen Token peaken (z. B. „Texas“).
- Semantic-Concept (SEM-CONC): Features, die auf eine Familie verwandter Token peaken (z. B. Künstlernamen).
- Relationship (REL): Features mit diffusen Aktivierungsmustern, die Relationen statt Entitäten kodieren.
- Say-X (SAY-X): Features, die auf funktionale Token (z. B. „is“, „the“) in vorhersehbaren Positionen relativ zu einem semantischen Ziel peaken und somit den Output fördern.
  Features, die dieselbe Rolle und denselben Namen teilen, werden zu einem Superknoten zusammengeführt.

Kausales Validierungsprotokoll
Um den Nutzen dieser Superknoten zu validieren, verwenden die Autoren ein kausales Interventionsprotokoll unter Verwendung von Entity-Swap-Experimenten. Für ein Quell-Ziel-Paar (z. B. Dallas $\to$ Austin) werden die mit der Quelle assoziierten Features abgelat (ablated) und die mit dem Ziel assoziierten Features verstärkt (amplified). Der Erfolg wird daran gemessen, ob die Vorhersage des Modells zur Zielentität umgeleitet wird.

Entscheidend ist, dass das Paper zwei rigorose Baselines einführt, um sicherzustellen, dass die Ergebnisse keine Artefakte der Feature-Anzahl oder des Graph-Einflusses sind:

Matched-Random Control: Ein zufälliger Satz von Features mit der gleichen Anzahl und Layer-Verteilung wie der gelabelte Satz, der außerhalb der konzept-ausgerichteten Superknoten gezogen wurde.
Influence-Matched Top-K Control: Eine Baseline, die die Top- $K$ Features nach Graph-Einfluss auswählt, um das kumulative Einfluss-Budget der gelabelten Intervention anzugleichen.

Wichtigste Ergebnisse
Die Methode wurde über vier faktische Domänen (US-Bundesstaaten und deren Hauptstädte, Buchcharaktere, Firmengründer und Maler) evaluiert, unter Verwendung des Gemma-2-2B Modells mit einem öffentlichen CLT-Wörterbuch, was insgesamt 44.596 Interventionsläufe ergab.

Überlegenheit gegenüber Baselines: Die gelabelten Superknoten übertrafen sowohl die zufälligen als auch die einfluss-angepassten Baselines signifikant. Im USA-Bereich erreichte der gelabelte Ansatz eine Hit%-Rate von 72,8 % (erfolgreiche Umleitung) im Vergleich zu 0,7 % für Matched-Random und 4,2 % für die Einfluss-angepasste Top-K Baseline.
Effizienz vs. menschliche Annotation: In einer Fallstudie, die die automatisierte Pipeline mit einem menschlich kuratierten Graphen für den Dallas/Austin-Prompt verglich, erreichte die automatisierte Methode vergleichbare Erfolgsraten (40/4
Feld-Additivität: Die Studie fand heraus, dass „weniger mehr ist“. Interventionen, die sich auf die mittleren und Antwort-Felder konzentrierten (z. B. der Bundesstaat und die Hauptstadt), waren signifikant effektiver als die Einbeziehung des Input-Feldes (die Stadt), welches oft das kodiert, was das Modell liest, statt dessen, was es produzieren soll.
Steuerungsstärke (Steering Strength): Der optimale Verstärkungsmultiplikator ( $M$ ) wurde als bimodal identifiziert (mit Spitzen bei $M \approx 2,4$ und $M \approx 6,9$ ), was den Standard-Default von $M=20$ für Single-Feature-Steering infrage stellt.

Bedeutung und Ansprüche
Das Paper behauptet, dass Probe Prompting zeigt, dass die Interpretierbarkeit auf Schaltkreisebene teilweise über eine transparente, regelbasierte Pipeline automatisiert werden kann. Seine primären Beiträge sind:

Automatisierung der Schaltkreis-Gruppierung: Es bietet eine skalierbare Methode, um tausende Features ohne manuelles Eingreifen in konzept-ausgerichtete Superknoten zu gruppieren.
Kausales Validierungs-Framework: Es etabliert ein robustes, methoden-agnostisches Harness zur Bewertung der Gruppierungsqualität durch Matched-Random- und Influence-Matched-Controls, was die Kritik adressiert, dass Interpretations-Scores auch durch zufällig initialisierte Modelle erreicht werden könnten.
Operationale Nützlichkeit: Die resultierenden Labels sind nicht nur deskriptiv, sondern auch operational nützlich für die Durchführung von Entity Swaps und dienen als schneller Test dafür, ob Features durch ihr tatsächliches Verhalten im computationalen Graphen korrekt gruppiert wurden.

Die Autoren merken bescheiden an, dass ihre Ansprüche derzeit die Level 1 und 2 der kausalen Abstraktion abdecken (Identifizierung von Features und deren funktionalen Rollen), aber noch nicht Level 3 beanspruchen (vollständige mechanistische Identifizierung latenter Variablen). Sie räumen Einschränkungen ein, darunter die aktuelle Beschränkung auf Two-Hop-Faktenabruf, das Einfrieren der Attention während der Graph-Generierung (jedoch nicht während der Intervention) und die Abhängigkeit von englischen funktionalen Token-Vokabularien. Die Arbeit wird als wiederverwendbares Harness zur Kalibrierung zukünftiger Gruppierungsmethoden gegen kausale Interventionen präsentiert.