Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

Stel je een enorme, complexe machine voor (zoals een gigantisch taalmodel) die verhalen kan schrijven, wiskundige problemen kan oplossen of vragen kan beantwoorden. Wetenschappers hebben ontdekt hoe ze de specifieke "tandwielen en hendels" binnen deze machine kunnen vinden die een specifieke taak uitvoeren. Dit wordt het lokaliseren van het circuit genoemd.

Het vinden van de tandwielen is echter niet genoeg. We weten nog steeds niet precies wat elk tandwiel doet of hoe ze samenwerken. Meestal moet een menselijke expert urenlang naar de machine staren, gokken wat een onderdeel doet, hun gok testen, en het opnieuw proberen. Dit is traag, saai en moeilijk op te schalen.

Dit artikel vraagt zich af: Kunnen we een robotdetective (een Language Model Agent) inhuren om dit detectivewerk voor ons te doen?

Hier is de onderverdeling van hun experiment, met behulp van eenvoudige analogieën:

1. Het Problek: Het "Black Box"-mysterie

Beschouw het taalmodel als een enorme, vergrendelde kluis. Wetenschappers hebben al speciale tools gebruikt om de specifieke tumblers (het "circuit") te vinden die de kluis openen. Maar we weten niet wat elke tumbler doet.

• De Oude Manier: Een menselijke detective probeert te raden: "Misschien draait deze tumbler het slot?" Ze testen het. Als het mislukt, raden ze opnieuw. Het duurt een lange tijd.
• Het Nieuwe Idee: Kunnen we de taak geven aan een AI-detective die kan nadenken, code kan schrijven om zijn eigen theorieën te testen en zijn fouten kan herstellen?

2. De Trainingsgrond: Een "Speelgoed"-kluis

Om te testen of hun AI-detective werkt, konden de onderzoekers niet zomaar een echte, rommelige kluis (een echt taalmodel) gebruiken, omdat ze de "juiste" antwoorden niet zouden hebben om tegen te controleren.

In plaats daarvan bouwden ze 84 "Speelgoedkluizen" (genaamd AGENTICINTERPBENCH).

• Dit zijn kleine, kunstmatige machines die vanaf nul zijn gebouwd.
• De onderzoekers weten precies hoe ze werken, omdat ze zijn gebouwd vanuit een eenvoudige set instructies (zoals een recept).
• Ze weten precies wat elk enkel tandwiel hoort te doen. Dit stelt hen in staat om de AI-detective te beoordelen: "Heb je het goed geraden?"

3. De Detective: HYVE (De "Hypotheseren, Valideren, Verklaren"-lus)

De onderzoekers creëerden een AI-agent genaamd HYVE. HYVE raadt niet alleen; het volgt een strikte detective-routine voor elk enkel tandwiel in de machine:

1. Observeren: HYVE bekijkt het tandwiel. "Hm, wanneer de input 'x' is, licht dit tandwiel felrood op. Wanneer het 'y' is, blijft het donker."
2. Hypotheseren: HYVE maakt een gok. "Ik wed dat dit tandwiel een 'Rood Licht Detector' is die alleen aangaat bij 'x'."
3. Valideren (De Test): Dit is het belangrijkste deel. HYVE schrijft een computerprogramma om zijn gok te testen. Het kan zeggen: "Laten we dit tandwiel dwingen om donker te blijven, zelfs wanneer de input 'x' is, en kijken of de machine kapot gaat."
   • Als de machine precies zoals voorspeld kapot gaat, is de gok bevestigd.
   • Als de machine gewoon blijft werken, is de gok fout. HYVE moet terug naar stap 2 en een nieuwe gok proberen.
4. Verklaren: Zodra alle tandwielen zijn getest, schrijft HYVE een samenvatting: "Deze machine is een 'Breukcalculator' die telt hoe vaak 'x' in de zin voorkomt."

4. De Resultaten: De Detective is Goed, Maar Niet Perfect

De onderzoekers testten HYVE met vier verschillende "hersenen" (verschillende grote taalmodellen) om te zien welke de beste detective maakte.

• Succes: De AI-agenten waren verrassend goed! Ze konden de functies van de tandwielen ongeveer 79% van de tijd correct identificeren en beschreven de algemene taak in 83% van de gevallen correct.
• De Flessehals: De AI was erg goed in het maken van de initiële gok (de hypothese). Het probleem gebeurde in de testfase.
  • Soms schreef de AI een testplan dat te vaag was.
  • Soms schreef de AI code om de test uit te voeren, maar de code bevatte bugs (zoals een detective die een testplan schrijft maar vergeet een zaklamp mee te nemen).
  • Analogie: Het is alsot een detective die een briljante theorie heeft over wie de moordenaar is, maar wanneer hij probeert naar de plaats delict te gaan om een alibi te controleren, verdwaalt hij of sluit hij zichzelf buiten van het gebouw.

Wie was de beste?

• Claude-Sonnet was het beste in het daadwerkelijk uitvoeren van de tests zonder vast te lopen (het schrijven van foutvrije code).
• Gemini was het beste in het schrijven van de uiteindelijke, gemakkelijk te begrijpen uitleg.
• GPT-5.4 was goed in het plannen van de tests, maar de code liep vaak niet zonder fouten.

5. De Praktijktest: De "Llama"-casestudy

Om te zien of dit ook buiten hun "Speelgoedkluizen" werkte, probeerden ze HYVE op een echt, natuurlijk getraind taalmodel (Llama-3-8B) dat wiskunde doet.

• Ze gaven de AI een circuit dat door andere mensen was gevonden, dat het model helpt bij het optellen van drie getallen.
• Resultaat: De AI-detective slaagde erin te achterhalen dat sommige tandwielen "transfer heads" waren (die getallen rondverplaatsen) en identificeerde correct dat andere tandwielen slechts "redundant" waren (ze zagen er belangrijk uit, maar waren eigenlijk niet nodig).
• Dit bewees dat de methode ook werkt op rommelige, echte machines, en niet alleen op de schone speelgoedmachines.

De Kernboodschap

De paper concludeert dat AI-agenten veelbelovende nieuwe tools zijn om uit te leggen hoe AI werkt. Ze kunnen het zware werk doen van het raden en testen. Ze zijn echter nog niet perfect. De belangrijkste hindernis is betrouwbaarheid: de AI moet beter worden in het schrijven van de code die de theorieën daadwerkelijk test zonder fouten te maken.

Totdat de AI beter wordt in het "uitvoeren van het experiment" (de validatielus), zullen menselijke experts nog steeds het werk moeten controleren. Maar dit is een grote stap richting het automatiseren van het begrip van complexe AI-breinen.