🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

Dieses Paper führt „Query Circuits“ ein, eine Methode zur Rückverfolgung des einsatzspezifischen Informationsflusses innerhalb von Sprachmodellen, um treue, spärliche und rechnerisch zugängliche Erklärungen für einzelne Ausgaben zu liefern, die durch eine neue Metrik namens Normalized Deviation Faithfulness (NDF) validiert und über mehrere Benchmarks hinweg demonstriert werden.

Ursprüngliche Autoren: Tung-Yu Wu, Fazl Barez

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tung-Yu Wu, Fazl Barez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie eine riesige, belebte Stadt mit Millionen von Straßen, Kreuzungen und Ampeln vor. Wenn Sie dem Modell eine Frage stellen (einen „Prompt“), ist das so, als würde man einen Lieferwagen durch diese Stadt schicken, um eine Antwort abzuliefern.

Lange Zeit haben Forscher versucht zu verstehen, wie diese Stadt funktioniert, indem sie allgemeine Verkehrsmuster kartiert haben. Sie wissen zum Beispiel, dass „Route A“ immer genutzt wird, wenn die Stadt ein verborgenes Objekt finden muss, oder dass „Route B“ für Matheaufgaben verwendet wird. Dies sind sogenannte Fähigkeits-Schaltkreise (Capability Circuits).

Doch zu wissen, welche allgemeine Route genutzt wird, erklärt nicht, warum der Lieferwagen heute für Ihre spezifische Lieferung genau diesen Pfad genommen hat. Vielleicht gab es eine Baustelle, eine plötzliche Umleitung oder eine einzigartige Ampel, die nur für diese eine Fahrt wichtig war.

Dieses Paper führt eine neue Art vor, die Stadt zu betrachten ein: Abfrage-Schaltkreise (Query Circuits). Anstatt die allgemeine Karte zu betrachten, wollen die Autoren den exakten, winzigen Pfad nachverfolgen, den der Lieferwagen für I Ihre spezifische Frage genommen hat.

Hier ist eine Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Das Problem: Die „Surrogat“-Karte war falsch

Früher versuchten Forscher, um eine spezifische Fahrt zu verstehen, ein winziges, vereinfachtes Modell der Stadt (ein „Surrogat“) zu bauen und den Pfad dort nachzuverfolgen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen komplexen Stau in New York City zu verstehen, indem Sie ein Spielzeugmodell der Stadt aus LEGO-Steinen bauen. Sie zeichnen den Pfad auf den LEGOs nach, in der Hoffnung, dass er der echten Stadt entspricht.
Das Problem: Das Paper argumentiert, dass diese LEGO-Modelle oft nicht perfekt zur echten Stadt passen. Sie lassen Details aus, und sie zu bauen ist langsam und teuer. Die Autoren wollten den Pfad direkt in der echten Stadt (dem tatsächlichen Modell) nachverfolgen, ohne eine Spielzeugversion zu benötigen.

2. Die Lösung: Das „Best-of-N“-Lotterieprinzip

Die Autoren fanden heraus, dass es überraschend schwer ist, den exakten Pfad für eine einzige spezifische Frage zu finden. Wenn man sich nur die Ampeln für eine einzige Frage ansieht, sind die Daten oft „verrauscht“ (wie Rauschen im Radio), was es schwierig macht, den wahren Pfad zu erkennen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Gewinnlos zu finden, aber die Lottozahlen sind leicht verschwommen. Wenn Sie versuchen, den Gewinner basierend auf nur einem einzigen Los auszuwählen, wählen Sie vielleicht das falsche.
Die Lösung: Die Autoren schlagen eine Methode namens Best-of-N (BoN) vor.
1. Nehmen Sie Ihre ursprüngliche Frage.
2. Stellen Sie dem Modell dieselbe Frage, aber formulieren Sie sie auf 9 verschiedene Arten um (Paraphrasen). Es ist so, als würde man fragen: „Welche Farbe hat der Himmel?“ vs. „Beschreibe die Farbe des Himmels an einem klaren Tag.“
3. Verfolgen Sie den Pfad für alle 10 Versionen.
4. Wählen Sie den Gewinner: Wählen Sie den Pfad, der am besten funktioniert hat.
Das Ergebnis: Selbst wenn die ursprüngliche Frage „verschwommen“ war, war eine der umformulierten Versionen klar genug, um den wahren, verborgenen Pfad offenzulegen. Durch die Überprüfung mehrerer Versionen fanden sie ein „Gewinnlos“, das genau erklärt, wie das Modell geantwortet hat.

3. Die neue Bewertung: NDF

Um zu wissen, ob sie den richtigen Pfad gefunden haben, brauchten sie eine Möglichkeit, den Erfolg zu messen. Die alte Bewertung (genannt NFS) war für komplexe Fragen fehlerhaft; sie lieferte Werte wie „200 %“ oder „-50 %“, was keinen Sinn ergab.

Die Analogie: Es ist wie ein Tachometer, der manchmal anzeigt, dass man mit 100 mph rückwärts oder mit 500 mph vorwärts fährt, obwohl man eigentlich mit 60 fährt.
Die Lösung: Sie haben einen neuen Score erfunden, den NDF (Normalized Deviation Faithfulness). Dies ist ein zuverlässiger Tachometer, der immer zwischen 0 und 1 bleibt.
- 1,0 bedeutet, dass der gefundene Pfad perfekt ist (er erklärt die Antwort des Modells exakt).
- 0,0 bedeutet, dass der Pfad nutzlos ist.
- Diese neue Bewertung ermöglicht es ihnen, ihren Erkenntnissen zu vertrauen, selbst bei schwierigen Themen wie medizinischen Prüfungen oder Astronomie.

4. Die große Überraschung: Die Stadt ist größtenteils leer

Die spannendste Erkenntnis ist, dass das Modell für eine einzelne Frage nicht die ganze Stadt nutzt. Es nutzt nur ein winziges, spezifisches Viertel.

Die Analogie: Man könnte denken, dass ein Lieferwagen 50 % der Straßen der Stadt nutzen muss, um von Punkt A nach Punkt B zu kommen. Aber die Autoren fanden heraus, dass der Wagen für eine spezifische Frage nur etwa 1,3 % der Straßen nutzt.
Der Beweis: Sie zeigten, dass sie 98,7 % der Stadt blockieren und den Wagen nur diesen winzigen Pfad von 1,3 % nutzen lassen können, und er kann die Frage immer noch in etwa 60 % der Fälle korrekt beantworten. Dies beweist, dass das „Gehirn“ des Modells für einzelne Aufgaben unglaublich spärlich (sparse) und effizient ist.

Zusammenfassung

Das Paper führt ein neues Werkzeug ein, um zu erklären, genau wie eine KI eine spezifische Frage beantwortet.

Sie hörten auf, „Spielzeugmodelle“ zu verwenden, und blickten direkt in die echte KI.
Sie erkannten, dass es hilft, dieselbe Frage auf verschiedene Arten zu stellen, um die verborgene „Wahrheit“ darüber aufzudecken, wie die KI denkt.
Sie entwickelten eine bessere Methode, um zu messen, ob ihre Erklärung korrekt ist.
Sie bewiesen, dass die KI für eine einzelne Frage nur einen winzigen, spezifischen Bruchteil ihres massiven Gehirns nutzt, um die Aufgabe zu erledigen.

Dies führt uns von dem Wissen „wie die KI im Allgemeinen Mathe macht“ hin zu dem Verständnis „wie die KI genau dieses Matheproblem gelöst hat“.

Technisches Resümee: Query-Schaltkreise: Erläuterung, wie Sprachmodelle Benutzer-Prompts beantworten

1. Problemdefinition

Die aktuelle Forschung zur mechanistischen Interpretierbarkeit hat sich weitgehend auf die Entdeckung von Kapazitäts-Schaltkreisen (Capability Circuit Discovery) konzentriert, welche globale Sub-Netzwerke identifiziert, die für spezifische algorithmische Fähigkeiten (z. B. Identifizierung indirekter Objekte oder Größer-als-Vergleiche) über einen Datensatz hinweg verantwortlich sind. Obwohl diese Methoden wertvoll sind, erklären sie nicht, warum ein Large Language Model (LLM) eine Antwort für eine einzelne, spezifische Benutzeranfrage (User Input Query) generiert (Instanz-Ebene-Erklärung).

Bestehende Ansätze für Erklärungen auf Instanz-Ebene verlassen sich stark auf Surrogatmodelle, wie etwa Sparse Autoencoders (SAEs) oder Cross-Layer Transcoder (CLTs). Diese Surrogatmodelle werden oft verwendet, um das Verhalten des LLMs zu approximieren, da sie dünnbesetzte Aktivierungen bieten, die die Entdeckung von Schaltkreisen erleichtern. Das Paper argumentiert jedoch, dass diese Surrogatmodelle häufig daran scheitern, die Aktivierungen des ursprünglichen Modells originalgetreu zu rekonstruieren, und möglicherweise nicht die wahren Rechenmechanismen des LLMs erfassen. Darüber hinaus ist das Training dieser Surrogatmodelle rechenintensiv, was ihre Zugänglichkeit einschränkt.

Das Paper führt die Aufgabe der Entdeckung von Query-Schaltkreisen (Query Circuit Discovery) ein: die Identifizierung eines dünnbesetzten, originalgetreuen Sub-Netzwerks direkt innerhalb des ursprünglichen LLMs (in-place), das die Antwort des Modells auf eine einzelne Eingabeanfrage steuert. Dieser Ansatz zielt darauf ab, lokale Erklärungen auf Eingabe-Ebene bereitzustellen, ohne sich auf potenziell ungetreue Surrogatmodelle zu verlassen.

2. Methodik

Die Autoren schlagen ein Framework vor, um zwei primäre technische Herausforderungen bei der Entdeckung von Query-Schaltkreisen anzugehen: die Instabilität bestehender Evaluierungsmetriken und die Unwirksamkeit standardmäßiger Entdeckungsmethoden bei einzelnen Anfragen.

2.1. Evaluierungsmetrik: Normalized Deviation Faithfulness (NDF)

Die Standardmetrik für die Schaltkreisentdeckung, der Normalized Faithfulness Score (NFS), erweist sich bei allgemeinen Datensätzen (z. B. MMLU) als instabil. NFS-Werte fluktuieren oft stark, liegen über 1 oder unter 0, was es unmöglich macht, den Fortschritt der Entdeckung zuverlässig zu verfolgen oder die Qualität der Schaltkreise zu vergleichen.

Um dies zu lösen, führen die Autoren die Normalized Deviation Faithfulness (NDF) ein:
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
Wobei:

$M$ das Ziel-LLM ist.
$C_q$ der entdeckte Query-Schaltkreis ist.
$q$ die ursprüngliche Anfrage ist und $q'$ eine korrumpierte Anfrage (z. B. durch Entfernung wichtiger faktischer Hinweise).
$L(\cdot)$ eine Leistungsmetrik ist (z. B. Logit-Differenz).

Wesentliche Eigenschaften von NDF:

Begrenzt: Es ist strikt auf den Bereich $[0, 1]$ begrenzt.
Symmetrisch: Es bestraft Abweichungen nach oben und unten gleichermaßen.
Interpretierbarkeit: Ein Wert von 1 bedeutet, dass der Schaltkreis die Leistung des Modells perfekt rekonstruiert; 0 bedeutet, dass die Abweichung so groß ist wie die Differenz zwischen der ursprünglichen und der korrumpierten Anfrage.

2.2. Entdeckungsmethode: Best-of-N (BoN) Sampling

Standardmäßige Edge-Scoring-Methoden (wie Edge Attribution Patching, EAP) scheitern oft daran, kompakte, originalgetreue Schaltkreise für einzelne Anfragen zu finden, was auf Gradientenrauschen und die Vernachlässigung kombinatorischer Effekte zwischen den Edges zurückzuführen ist. Die Autoren beobachten, dass Schaltkreise, die auf einer spezifischen Anfrage entdeckt wurden, zwar scheitern können, Schaltkreise, die auf Paraphrasen dieser Anfrage entdeckt wurden, hingegen oft erfolgreich sind.

Basierend darauf schlagen sie das Best-of-N (BoN) Sampling vor:

Paraphrasierung: Generierung von $p$ Paraphrasen der ursprünglichen Anfrage $q$ .
Scoring: Berechnung der Edge-Wichtigkeit (unter Verwendung von EAP-IG) für die ursprüngliche Anfrage und alle Paraphrasen, was zu $p+1$ Edge-Score-Matrizen führt.
Selektion: Konstruktion von $p+1$ Kandidaten-Schaltkreisen (einen für jede Score-Matrix) und Auswahl desjenigen mit dem höchsten NDF-Score.

Um die Effizienz zu steigern und zu vermeiden, das LLM für jedes Edge-Budget $p+1$ Mal auszuführen, schlagen die Autoren zwei Varianten vor:

Interpolated BoN (iBoN): Interpoliert zwischen zwei zuvor entdeckten, originalgetreuen Schaltkreisen unterschiedlicher Größe, um einen neuen Schaltkreis zu bilden, ohne zusätzliche Vorwärts-Durchläufe (Forward Passes) zu benötigen.
BoN mit Constraint-Adaptive Score Matrix (BoN-CSM): Aggregiert Score-Matrizen aller zuvor entdeckten Schaltkreise in eine einheitliche Score-Matrix und Tier-Matrix, was die effiziente Konstruktion neuer Schaltkreise variabler Größe ermöglicht.

3. Wesentliche Beiträge

Task-Formulierung: Das Paper definiert formal die Query Circuit Discovery und unterscheidet sie von der globalen Kapazitäts-Schaltkreisentdeckung und von auf Surrogaten basierenden Ansätzen auf Instanz-Ebene. Es betont die Verfolgung des Informationsflusses direkt innerhalb des ursprünglichen Modells.
Robuste Evaluierung (NDF): Die Autoren identifizieren die Instabilität von NFS auf allgemeinen Datensätzen und schlagen NDF als eine zuverlässigere, begrenzte und symmetrische Metrik zur Evaluierung von Query-Schaltkreisen vor.
Effiziente Entdeckung (BoN): Sie führen Best-of-N Sampling und dessen Varianten (iBoN, BoN-CSM) ein, um die Einschränkungen durch Gradientenrauschen und kombinatorische Effekte zu überwinden, was die Entdeckung kompakter, originalgetreuer Schaltkreise für komplexe natürliche Sprachanfragen ermöglicht.
Empirische Validierung: Das Paper zeigt, dass innerhalb von LLMs dünnbesetzte Query-Schaltkreise existieren, die einen signifikanten Teil der Modellleistung bei einzelnen Anfragen rekonstruieren, selbst bei komplexen Aufgaben wie MMLU und der ARC Challenge.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden über mehrere Benchmarks hinweg: Indirect Object Identification (IOI), arithmetische Aufgaben, ARC Challenge und neun Kategorien von MMLU.

Leistung: BoN-Sampling übertraf die Baselines (Single-Query-Scoring und Mittelung der Scores über Paraphrasen) konsistent.
Sparsity (Dünnbesetztheit): Auf MMLU erreichte ein Query-Schaltkreis, der nur 1,3 % der gesamten Edges des Modells enthält (ca. 5.000 Edges in Llama-3.2-1B-Instruct), einen durchschnittlichen NDF von 0,6, was etwa 60 % des Verhaltens des Modells auf diese Anfrage rekonstruiert. Im Gegensatz dazu benötigte das Standard-EAP-IG signifikant mehr Edges (bis zu 51,7 % des Modells), um ein ähnliches Leistungsniveau zu erreichen.
Gemeinsame Sub-Schaltkreise: Die Analyse ergab, dass Query-Schaltkreise zwar je nach Paraphrasierung variieren, sie aber einen Kernsatz an Edges (einen „Shared Sub-Circuit“) teilen, der der zugrunde liegenden Fähigkeit entspricht. Dies stützt die Hypothese, dass diese Schaltkreise keine zufälligen „Lotterie-Tickets“ sind, sondern Varianten eines gemeinsamen Mechanismus.
Handlungsfähigkeit (Actionability): In Experimenten zu geschlechtsspezifischen Vorurteilen (Gender Bias) zeigten Schaltkreise mit höheren NDF-Scores eine höhere Handlungsfähigkeit. Das Nullsetzen von Merkmalen, die durch High-NDF-Schaltkreise identifiziert wurden, führte zu einer signifikant stärkeren Reduzierung der Vorurteile im Vergleich zu Low-NDF-Schaltkreisen, was darauf hindeutet, dass NDF ein zuverlässiger Proxy für die Fähigkeit des Schaltkreises ist, aussagekräftige Berechnungen zu erfassen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Query Circuit Discovery einen bedeutenden Schritt in Richtung originalgetreuer und skalierbarer Erklärungen darstellt, wie Sprachmodelle einzelne Eingaben verarbeiten.

Originalgetreue (Faithfulness): Durch die direkte Arbeit innerhalb des Modells (in-place) statt durch die Nutzung von Surrogaten sind die Erklärungen originalgetreuer gegenüber den tatsächlichen Rechenmechanismen des Modells.
Skalierbarkeit: Die vorgeschlagenen BoN-Sampling-Methoden ermöglichen die Entdeckung dieser Schaltkreise ohne die prohibitiven Rechenkosten, die für das Training von Surrogatmodellen oder das Ausführen zahlreicher Vorwärts-Durchläufe erforderlich wären.
Praktikabilität: Die Entdeckung von dünnbesetzten Sub-Netzwerken (z. B. 1,3 % der Verbindungen), die einen Großteil des Modellverhaltens für spezifische Anfragen erklären, deutet darauf hin, dass LLMs einzelne Eingaben durch hochgradig lokalisierte Pfade verarbeiten, was sie für detaillierte mechanistische Analysen zugänglich macht.

Die Autoren kommen zu dem Schluss, dass trotz bestehender Herausforderungen (wie der Handhabung der Multi-Token-Generierung und der vollautomatischen, menschenlesbaren Labeling-Verfahren) ihre Arbeit einen praktischen Weg zur Erklärung von LLM-Entscheidungen auf Prompt-Ebene ebnet, was für den Einsatz in Hochrisikodomänen wie der Medizin und autonomen Systemen essenziell ist.