🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

Dit artikel introduceert "query circuits", een methode voor het traceren van input-specifieke informatiestromen binnen taalmodellen om getrouwe, ijle en computationeel toegankelijke verklaringen voor individuele outputs te bieden, gevalideerd door een nieuwe metriek genaamd Normalized Deviation Faithfulness (NDF) en gedemonstreerd over meerdere benchmarks.

Oorspronkelijke auteurs: Tung-Yu Wu, Fazl Barez

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tung-Yu Wu, Fazl Barez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, bruisende stad met miljoenen wegen, kruispunten en verkeerslichten. Wanneer je het model een vraag stelt (een "prompt"), is dat alsof je een bezorgwagen door deze stad stuurt om een antwoord af te leveren.

Lange tijd hebben onderzoekers geprobeerd te begrijpen hoe deze stad werkt door algemene verkeerspatronen in kaart te brengen. Ze weten bijvoorbeeld dat "Route A" altijd wordt gebruikt wanneer de stad een verborgen object moet vinden, of dat "Route B" wordt gebruikt voor wiskundige problemen. Dit worden capability circuits genoemd.

Het kennen van de algemene route legt echter niet uit waarom de vrachtwagen vandaag voor jouw specifieke levering een specifieke weg heeft gekozen. Misschien was er een wegwerkzaamheid, een plotselinge omleiding of een uniek verkeerslicht dat er alleen voor deze ene rit toe deed.

Dit artikel introduceert een nieuwe manier om naar de stad te kijken: Query Circuits. In plaats van naar de algemene kaart te kijken, willen de auteurs het exacte, kleine pad volgen dat de vrachtwagen voor jouw specische vraag heeft afgelegd.

Hier is een overzicht van hun ontdekking met behulp van eenvoudige analogieën:

1. Het probleem: De "Surrogaat"-kaart klopte niet

Voorheen probeerden onderzoekers, om een specifieke rit te begrijpen, een klein, vereenvoudigd model van de stad (een "surrogaat") te bouwen en daar het pad te traceren.

De analogie: Stel je voor dat je een complexe verkeersopstopping in New York wilt begrijpen door een speelgoedmodel van de stad te bouwen van LEGO-steentjes. Je traceert het pad op de LEGO-steentjes, in de hoop dat dit overeenkomt met de echte stad.
Het probleem: Het artikel stelt dat deze LEGO-modellen vaak niet perfect overeenkomen met de echte stad. Ze missen details, en het bouwen ervan is traag en duur. De auteurs wilden het pad direct op de echte stad (het eigenlijke model) traceren zonder een speelgoedversie nodig te hebben.

2. De oplossing: De "Best-of-N" loterij

De auteurs ontdekten dat het verrassend moeilijk is om het exacte pad voor één specifieke vraag te vinden. Als je alleen naar de verkeerslichten voor één vraag kijkt, zijn de gegevens vaak "ruizig" (zoals statische ruis op een radio), wat het moeilijk maakt om het ware pad te zien.

De analogie: Stel je voor dat je probeert een winnende loterijkaart te vinden, maar de loterijnummers zijn enigszins wazig. Als je probeert de winnaar te kiezen op basis van slechts één kaart, kies je misschien de verkeerde.
De oplossing: De auteurs stellen een methode voor genaamd Best-of-N (BoN).
1. Neem je oorspronkelijke vraag.
2. Stel het model dezelfde vraag, maar formuleer hem op 9 verschillende manieren (parafraseren). Het is alsoal vragen: "Welke kleur heeft de lucht?" versus "Beschrijf de kleur van de lucht op een heldere dag."
3. Traceer het pad voor alle 10 de versies.
4. Kies de winnaar: Kies het pad dat het beste werkte.
Het resultaat: Zelfs al was de oorspronkelijke vraag "wazig", was een van de geherformuleerde versies duidelijk genoeg om het ware, verborgen pad te onthullen. Door meerdere versies te controleren, vonden ze een "winnende kaart" die accuraat uitlegt hoe de AI antwoord gaf.

3. De nieuwe scorekaart: NDF

Om te weten of ze het juiste pad hadden gevonden, hadden ze een manier nodig om succes te meten. De oude scorekaart (genaamd NFS) was kapot voor complexe vragen; deze gaf scores zoals "200%" of "-50%", wat nergens op sloeg.

De analogie: Het is als een snelheidsmeter die soms zegt dat je met 100 mph achteruit rijdt of met 500 mph vooruit, terwijl je in werkelijkheid met 60 mph rijdt.
De oplossing: Ze hebben een nieuwe score uitgevonden genaamd NDF (Normalized Deviation Faithfulness). Dit is een betrouwbare snelheidsmeter die altijd tussen 0 en 1 blijft.
- 1.0 betekent dat het pad dat ze hebben gevonden perfect is (het verklaart het antwoord van het model exact).
- 0.0 betekent dat het pad nutteloos is.
- Deze nieuwe scorekaart stelt hen in staat om hun bevindingen te vertrouwen, zelfs bij moeilijke onderwerpen zoals medische examens of astronomie.

4. De grote verrassing: De stad is grotendeels leeg

De meest opwindende ontdekking is dat het model voor een enkele vraag niet de hele stad gebruikt. Het gebruikt slechts een klein, specifiek buurtje.

De analogie: Je zou kunnen denken dat een bezorgwagen 50% van de wegen in de stad moet gebruiken om van punt A naar punt B te komen. Maar de auteurs ontdekten dat de vrachtwagen voor een specifieke vraag slechts ongeveer 1,3% van de wegen gebruikt.
Het bewijs: Ze lieten zien dat als ze 98,7% van de stad zouden blokkeren en de vrachtwagen alleen dat kleine pad van 1,3% zouden laten gebruiken, hij nog steeds ongeveer 60% van de tijd de vraag correct kan beantwoorden. Dit bewijst dat het "brein" van het model voor individuele taken ongelooflijk schaars en efficiënt is.

Samenvatting

Het artikel introduceert een nieuwe tool om precies uit te leggen hoe een AI een specifieke vraag beantwoordt.

Ze stopten met het gebruik van "speelgoedmodellen" en keken direct in de echte AI.
Ze realiseerden zich dat het op verschillende manieren stellen van dezelfde vraag helpt om de verborgen "waarheid" van hoe de AI denkt te onthullen.
Ze creëerden een betere manier om te meten of hun uitleg correct is.
Ze bewezen dat voor elke enkele vraag, de AI slechts een minuscuul, specifiek deel van zijn enorme brein gebruikt om de klus te klaren.

Dit brengt ons van weten "hoe de AI in het algemeen wiskunde doet" naar begrijpen "hoe de AI dit specifieke wiskundeprobleem heeft opgelost."

Technische Samenvatting: Query-circuits: Uitleggen hoe taalmodellen antwoorden op gebruikersprompts

1. Probleemdefinitie

Huidig onderzoek naar mechanistische interpreteerbaarheid heeft zich grotendeels gericht op ontdekking van capaciteitscircuits (capability circuit discovery), wat specifieke algoritmische vaardigheden (zoals indirect object identificatie of groter-dan vergelijkingen) identificeert via globale sub-netwerken over een dataset heen. Hoewel waardevol, verklaren deze methoden niet waarom een Large Language Model (LLM) een specifiek antwoord geeft op een specifieke, individuele gebruikersinput (instantie-niveau uitleg).

Bestaande benaderingen voor instantie-niveau circuits vertrouwen zwaar op surrogaatmodellen, zoals Sparse Autoencoders (SAE's) of Cross-Layer Transcoders (CLT's). Deze surrogaten worden vaak gebruikt om het gedrag van het LLM te benaderen omdat ze ijle (sparse) activaties bieden die de ontdekking van circuits vergemakkelijken. Het artikel stelt echter dat deze surrogaten er vaak niet in slagen de activaties van het originele model getrouw te reconstrueren en mogelijk de werkelijke computationele mechanismen van het LLM niet vastleggen. Bovendien is het trainen van deze surrogaten computationeel duur, wat hun toegankelijkheid beperkt.

Het artikel introduceert de taak van Query-circuit Ontdekking: het identificeren van een ijl, getrouw sub-netwerk direct binnen het originele LLM (in-place) dat het antwoord van het model op een enkele input-query aanstuurt. Deze aanpak beoogt lokale, op input-niveau uitleg te bieden zonder afhankelijk te zijn van potentieel ongetrouwe surrogaatmodellen.

2. Methodologie

De auteurs stellen een raamwerk voor om twee primaire technische uitdagingen in query-circuit ontdekking aan te pakken: de instabiliteit van bestaande evaluatiemetrieken en de ineffectiviteit van standaard ontdekkingsmethoden op enkele queries.

2.1. Evaluatiemetric: Normalized Deviation Faithfulness (NDF)

De standaard metriek voor circuit ontdekking, de Normalized Faithfulness Score (NFS), blijkt instabiel op algemene datasets (bijv. MMLU). NFS-waarden fluctueren vaak sterk, schieten boven de 1 of dalen onder de 0, waardoor het onmogelijk is om de voortgang van de ontdekking betrouwbaar bij te houden of de kwaliteit van circuits te vergelijken.

Om dit op te lossen, introduceren de auteurs Normalized Deviation Faithfulness (NDF):
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
Waar:

$M$ het doel-LLM is.
$C_q$ het ontdekte query-circuit is.
$q$ de originele query is, en $q'$ een gecorrumpeerde query (bijv. waarbij cruciale feitelijke aanwijzingen zijn verwijderd).
$L(\cdot)$ een prestatie-metriek is (bijv. logit verschil).

Belangrijke eigenschappen van NDF:

Begrensd: Het is strikt begrensd binnen $[0, 1]$ .
Symmetrisch: Het straft afwijkingen boven en onder de prestaties van het model even zwaar af.
Interpreteerbaarheid: Een score van 1 geeft aan dat het circuit de prestaties van het model perfect herstelt; 0 geeft aan dat de afwijking even groot is als het gat tussen de originele en de gecorrumpeerde queries.

2.2. Ontdekkingsmethode: Best-of-N (BoN) Sampling

Standaard edge-scoring methoden (zoals Edge Attribution Patching, EAP) falen vaak in het vinden van compacte, getrouwe circuits voor enkele queries vanwege gradiëntruis en het negeren van combinatorische effecten tussen edges. De auteurs observeren dat hoewel een circuit ontdekt op een specifieke query kan falen, circuits ontdekt op parafraas-versies van die query vaak wel slagen.

Op basis hiervan stellen zij Best-of-N (BoN) Sampling voor:

Parafraseren: Genereer $p$ parafrasen van de originele query $q$ .
Scoren: Bereken de edge-belangrijkheidsscores (met behulp van EAP-IG) voor de originele query en alle parafrasen, wat resulteert in $p+1$ edge-score matrices.
Selectie: Construeer $p+1$ kandidaat-circuits (één voor elke score matrix) en selecteer de matrix met de hoogste NDF-score.

Om de efficiëntie te verbeteren en te voorkomen dat het LLM $p+1$ keer moet worden uitgevoerd voor elke edge-budget, stellen de auteurs twee varianten voor:

Interpolated BoN (iBoN): Interpoleert tussen twee eerder ontdekte getrouwe circuits van verschillende groottes om een nieuw circuit te vormen zonder extra forward passes.
BoN met Constraint-Adaptive Score Matrix (BoN-CSM): Aggregeert score-matrices van alle eerder ontdekte circuits in één uniforme score-matrix en tier-matrix, wat de efficiënte constructie van nieuwe circuits van variërende groottes mogelijk maakt.

3. Belangrijkste Bijdragen

Taakformulering: Het artikel definieert formeel Query-circuit Ontdekking, waarbij onderscheid wordt gemaakt tussen globale capaciteit-circuit ontdekking en op surrogaat gebaseerde instantie-niveau benaderingen. Het legt de nadruk op het traceren van de informatiestroom direct binnen het originele model.
Robuuste Evaluatie (NDF): De auteurs identificeren de instabiliteit van NFS op algemene datasets en stellen NDF voor als een betrouwbaardere, begrensde en symmetrische metriek voor het evalueren van query-circuits.
Efficiënte Ontdekking (BoN): Zij introduceren Best-of-N sampling en de varianten daarvan (iBoN, BoN-CSM) om de beperkingen van gradiëntruis en combinatorische effecten te overwinnen, wat de ontdekking van compacte, getrouwe circuits voor complexe natuurlijke taalqueries mogelijk maakt.
Empirische Validatie: Het artikel demonstreert dat sparse query-circuits bestaan binnen LLM's die een aanzienlijk deel van de modelprestaties op individuele queries herstellen, zelfs voor complexe taken zoals MMLU en ARC Challenge.

4. Experimentele Resultaten

De auteurs evalueerden hun methoden over meerdere benchmarks: Indirect Object Identification (IOI), rekenkundige taken, ARC Challenge en negen categorieën van MMLU.

Prestaties: BoN-sampling presteerde consequent beter dan de baselines (enkele-query scoring en het middelen van scores over parafrasen).
Sparsity (IJlheid): Op MMLU bereikte een query-circuit dat slechts 1,3% van de totale edges van het model bevat (ongeveer 5.000 edges in Llama-3.2-1B-Instruct) een gemiddelde NDF van 0,6, waarmee ongeveer 60% van het gedrag van het model op die query werd hersteld. In contrast hiermee had standaard EAP-IG aanzienlijk meer edges nodig (tot 51,7% van het model) om vergelijkbare prestaties te behalen.
Gedeelde Sub-circuits: Analyse toonde aan dat hoewel query-circuits variëren op basis van parafrasering, ze een kernset van edges delen (een "gedeeld sub-circuit") die overeenkomt met de onderliggende capaciteit. Dit ondersteunt de hypothese dat deze circuits geen willekeurige "lottery tickets" zijn, maar varianten van een gemeenschappelijk mechanisme.
Actionability (Actiegerichtheid): In experimenten met genderbias bleken circuits met hogere NDF-scores ook meer actiegericht te zijn. Het op nul zetten van kenmerken geïdentificeerd door high-NDF circuits resulteerde in een aanzienlijk grotere reductie van bias vergeleken met low-NDF circuits, wat suggereert dat NDF een betrouwbare proxy is voor het vermogen van het circuit om betekenisvolle berekeningen te vangen.

5. Betekenis en Claims

Het artikel beweert dat Query-circuit Ontdekking een belangrijke stap vormt naar getrouwe en schaalbare uitleg van hoe taalmodellen individuele inputs verwerken.

Getrouwheid: Door direct binnen het model te opereren (in-place) in plaats van te vertrouwen op surrogaten, zijn de uitleg meer getrouw aan de werkelijke computationele mechanismen van het model.
Schaalbaarheid: De voorgestelde BoN-samplingmethoden maken de ontdekking van deze circuits mogelijk zonder de buitensporige computationele kosten van het trainen van surrogaatmodellen of het uitvoeren van excessieve forward passes.
Praktische Bruikbaarheid: De ontdekking van ijle sub-netwerken (bijv. 1,3% van de verbindingen) die een meerderheid van het gedrag van het model op specifieke queries verklaren, suggereert dat LLM's individuele inputs verwerken via zeer gelokaliseerde paden, wat ze geschikt maakt voor gedetailleerde mechanistische analyse.

De auteurs concluderen dat hoewel er nog uitdagingen blijven (zoals het omgaan met multi-token generatie en het volledig automatiseren van menselijk leesbare labeling), hun werk een praktisch pad opent voor het verklaren van LLM-beslissingen op prompt-niveau, wat essentieel is voor de inzet in kritieke domeinen zoals de geneeskunde en autonome systemen.