Automated Interpretability and Feature Discovery in Language Models with Agents
Dit artikel introduceert een autonoom multi-agentkader dat mechanistische interpreteerbaarheid automatiseert door hypotheses iteratief te verfijnen en interne kenmerken in grote taalmodellen te ontdekken, waarbij het superieure prestaties demonstreert ten opzichte van one-shot-methoden in het produceren van scherpere, weerlegbare en controleerbare verklaringen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantische, ongelooflijk complexe machine hebt (een Large Language Model) die verhalen schrijft, vragen beantwoordt en problemen oplost. Binnenin deze machine werken er miljarden kleine schakelaars en tandwielen (neuronen en kenmerken) samen. Het probleem is: we hebben geen handleiding. We kunnen zien hoe de machine werkt, maar we weten niet precies wat elk afzonderlijk tandwiel doet.
Lange tijd probeerden onderzoekers dit op te lossen door naar een tandwiel te kijken, te raden wat het doet, en een label te noteren zoals "dit tandwiel is voor wiskunde". Maar vaak was die gok verkeerd, te vaag, of het hield het niet vol zodra je een iets ander voorbeeld probeerde. Het was alsof je probeerde de functie van een auto-onderdeel te raden door er slechts één keer naar te kijken.
Dit artikel introduceert een nieuw systeem genaamd InterpAgent. In plaats van dat een mens één keer raadt, is InterpAgent als een team van robotdetectives die samenwerken om het mysterie op te lossen van wat de tandwielen van de machine eigenlijk doen.
Hier is hoe ze dat doen, met eenvoudige analogieën:
De twee detective-teams
Het systeem gebruikt twee gespecialiseerde robotagenten die met elkaar praten:
De "Feature Finder" (De Verkenners):
Stel je voor dat je alle tandwielen wilt vinden die verantwoordelijk zijn voor "Spaans". De Verkenners weet niet welk tandwiel dat is. Dus gaat het de "activatieruimte" van de machine binnen (een kaart van hoe de tandwielen oplichten) en zoekt naar patronen. Het gebruikt een statistische kaart (zoals een GPS) om clusters van tandwielen te vinden die samen oplichten wanneer Spaanse woorden worden gebruikt. Het raadt niet zomaar; het gebruikt wiskunde om de tandwielen te vinden die Spaanse prompts betrouwbaar van Engelse onderscheiden.- De Analogie: Het is alsof een detective een menigte afschrikt om de ene persoon te vinden met een rode hoed die alleen opduikt bij Franse feesten.
De "Feature Explainer" (De Verhoorder):
Zodra de Verkenners een kandidaat-tandwiel heeft gevonden, neemt de Verhoorder het over. De taak is niet alleen om het tandwiel te benoemen; het is om de naam te stress-testen.- De Oude Manier: Een mens zou kunnen zeggen: "Dit tandwiel is voor 'technologie'."
- De InterpAgent-Manier: De Verhoorder zegt: "Oké, je denkt dat het voor 'technologie' is? Laten we dat testen." Het genereert 12 voorbeelden die het tandwiel zouden moeten activeren (zoals "een computer repareren") en 12 voorbeelden die het niet zouden moeten (zoals "pasta koken"). Het voert ze door de machine.
- De Twist: Als het tandwiel oplicht voor "pasta koken", weet de Verhoorder dat het label "technologie" verkeerd is. Het herschrijft vervolgens de hypothese: "Misschien is het voor 'dingen repareren'?" Het herhaalt dit proces, genereert nieuwe tests, controleert de resultaten en verfijnt het label totdat het een beschrijving vindt die onder druk standhoudt.
De "lus" van ontdekking
Het artikel benadrukt dat dit geen eenmalig evenement is. Het is een lus.
- Stap 1: De Verkenners vindt een potentieel tandwiel.
- Stap 2: De Verhoorder raadt wat het doet.
- Stap 3: De Verhoorder probeert zijn eigen gok te breken door tegenstrijdige voorbeelden te vinden (dingen die het tandwiel zouden moeten activeren maar dat niet doen, of dingen die het niet zouden moeten maar dat wel doen).
- Stap 4: De Verhoorder past de gok aan op basis van de mislukking.
- Stap 5: Herhaal tot de gok stevig is.
Dit is als een wetenschapper die keer op keer een experiment uitvoert. Als je theorie is "Deze knop zet het licht aan", maar je drukt erop en de radio gaat aan, zeg je niet zomaar "oeps". Je verandert je theorie in "Deze knop regelt de stroomvoorziening" en je test het opnieuw.
Wat ze vonden
De auteurs testten dit op de Gemma-2-familie van modellen (een type AI). Dit is wat er gebeurde:
- Betere labels: Het robotteam was veel beter in het labelen van kenmerken dan de oude "one-shot"-methode. De oude methode gaf vaak vage antwoorden zoals "kennis". Het robotteam vond specifieke, smalle antwoorden zoals "Informele Franse formuleringen in contexten van technische probleemoplossing".
- Het onbekende vinden: Het systeem legde niet alleen tandwielen uit die onderzoekers al kenden. De Verkenners vond nieuwe tandwielen die mensen niet hadden opgemerkt, zoals specifieke neuronen die alleen afvuren voor "schadelijke inhoud" (zoals explosieven) of specifieke coderingspatronen.
- Veiligheidscheck: In één casestudie vonden ze een tandwiel gerelateerd aan het weigeren van gevaarlijke verzoeken. Ze konden de machine "sturen" door dat tandwiel af te zwakken, en de machine stopte met het weigeren van het verzoek. Dit bewees dat het tandwiel het veiligheidsgedrag daadwerkelijk veroorzaakte, en niet alleen toekijkt terwijl het gebeurt.
- Polysemantiek: Soms ontdekten de robots dat een enkel tandwiel twee heel verschillende dingen tegelijk deed (zoals een tandwiel dat zowel "wiskundige vergelijkingen" als "medische termen" afhandelt). Het systeem is slim genoeg om te zeggen: "Dit tandwiel is verwarrend; het doet twee taken", in plaats van een enkel, verkeerd label te forceren.
De conclusie
Het artikel beweert dat door AI-interpretatie te behandelen als een iteratief experiment (raden, testen, falen, fixen) in plaats van een statistisch label (kijken, raden, opschrijven), we veel nauwkeurigere en betrouwbaardere verklaringen krijgen.
Het systeem produceert een "spoor van documentatie" van elke gok, elke test en elke mislukking, waardoor het proces transparant wordt. Het laat zien dat als je een AI-agent laat optreden als een strenge wetenschapper – die constant probeert zijn eigen ideeën te weerleggen – je een veel duidelijker beeld krijgt van hoe het brein van de machine eigenlijk werkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.