LLMs Can Annotate Attribution Graphs
Dit artikel introduceert een pijplijn die gebruikmaakt van grote taalmodellen om kenmerken automatisch te groeperen in supernodes voor circuit-tracing, waarbij wordt aangetoond dat deze automatisering menselijk niveau van interpreteerbaarheid bereikt en effectief tussenliggende redeneerstappen in multi-hop taken herstelt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het geheime leven van AI-hersenen
Stel je voor dat je een superintelligënte robot hebt die verhalen kan schrijven, wiskundige problemen kan oplossen en vragen kan beantwoorden net als een mens. Maar er is een addertje onder het gras: de robot is een "black box". Je typt een vraag in en hij typt een antwoord uit, maar je hebt geen idee wat er in zijn brein gebeurt om van A naar B te komen. Het is alsof je naar een goochelaar kijkt die een konijn uit een hoed tovert, maar je kunt de geheime compartimenten of de verborgen touwtjes niet zien.
Wetenschappers die "mechanistic interpretability" bestuderen, proberen het gordijn op te trekken. Ze willen de raderen zien draaien in de AI. Hiervoor gebruiken ze een techniek genaamd circuit tracing. Denk aan een AI als een enorme stad met miljoenen kleine werkers (genaamd neuronen of features) die briefjes naar elkaar doorgeven. Wanneer de AI een vraag beantwoordt, zijn het er slechts enkele die het zware werk doen. Circuit tracing is als het tekenen van een kaart die precies laat zien welke werkers actief waren en hoe zij de briefjes doorgaven om het uiteindelijke antwoord te creëren.
Deze kaarten zijn echter rommelig. Ze tonen duizenden individuele werkers, en het is voor een mens ongelooflijk moeilijk om naar een lijst van 500 kleine briefjes te kijken en het grote plaatje te begrijpen. Meestal moet een menselijke onderzoeker uren besteden aan het groeperen van deze kleine werkers in "teams" (genaamd supernodes) die een gemeenschappelijk doel delen, zoals "Team Hoofdsteden" of "Team Wiskunde-optellers". Dit handmatige werk is traag, saai en duur. De grote vraag is: kunnen we een computer leren om dit groeperen voor ons te doen?
Het grote idee van het paper: Laat de AI zichzelf organiseren
Dit paper, getiteld "LLMs Can Annotate Attribution Graphs", stelt een slimme en verrassend eenvoudige oplossing voor: Vraag de AI om zijn eigen brein te organiseren.
De onderzoekers bouwten een pipeline die werkt als een digitaal forensisch team. In plaats van een mens die naar een rommelige kaart van actieve neuronen staart, laten ze een krachtig taalmodel (een AI) het sorteerwerk doen. Zo werkt hun "robotbibliaris":
- De Beschrijving: Eerst kijkt het systeem naar een specifiek neuron en vraagt: "Wat doet dit ding?" Het kijdt naar de tekst die het neuron deed oplichten en genereert een korte, menselijk leesbare beschrijving, zoals: "Dit neuron vuurt wanneer het het woord 'hoofdstad' ziet."
- De Groepering: Vervolgens voert het systeem een lijst met deze beschrijvingen aan een tweede AI (de "rechter"). De rechter krijgt de opdracht de lijst te lezen en de beschrijvingen in logische teams te groeperen. Het kan zeggen: "Oké, deze vijf beschrijvingen gaan allemaal over Amerikaanse staten, dus laten we ze in een 'State Names'-team plaatsen," of "Deze drie gaan over het zeggen van 'van' of 'de', dus ze horen bij een 'Grammar Helper'-team."
- De Opschoning: Ten slotte voert de AI een snelle controle uit om dubbele teams samen te voegen en de teams weg te gooien die geen zin hebben.
Het resultaat? Een schone, georganiseerde kaart van de interne gedachten van de AI, volledig gecreëerd door machines, in slechts enkele seconden.
Wat ze vonden: De robotbibliaris is goed in zijn werk
Het team testte deze methode om te zien of het daadwerkelijk een menselijke expert kon vervangen. Ze gebruikten een specifieke taak genaamd de "Two-Hop Capitals" challenge. Stel je voor dat je de AI vraagt: "Wat is de hoofdstad van de staat waar Dallas in ligt?"
Om dit te beantwoorden, moet de AI twee stappen in zijn hoofd zetten:
- Hop 1: Bepalen dat Dallas in Texas ligt.
- Hop 2: Bepalen dat de hoofdstad van Texas Austin is.
De onderzoekers voerden deze test 100 keer uit. Hun geautomatiseerde pipeline vond het "Texas"-team (de tussenliggende stap) in 97 van de 100 gevallen. Dat is een succespercentage van 97%! Toen ze de andere 3 gevallen controleerden, ontdekten ze dat in twee van die gevallen het "Texas"-team er eigenlijk wel was, maar de AI het niet perfect had gegroepeerd, en in één geval was het team helemaal niet aanwezig.
Ze vergeleken hun door AI gegenereerde groepen ook met groepen gemaakt door menselijke onderzoekers. Met behulp van geautomatiseerde tests om te meten hoe "interpreteerbaar" (makkelijk te begrijpen) de groepen waren, ontdekten ze dat de groepen van de AI net zo goed als, en soms zelfs iets beter dan, de door mensen gemaakte groepen waren.
De kosten en de kanttekeningen
Een van de coolste aspecten van deze ontdekking is hoe goedkoop het is. De onderzoekers berekenden dat het groeperen van de features voor een enkele, matig complexe kaart ongeveer 3 tot 6 cent kost (voor kleinere kaarten) of tot wel 61 cent (voor grotere, dichtere kaarten). Dat is een kleine prijs vergeleken met de uren die een mens zou besteden aan hetzelfde werk.
De paper is echter voorzichtig om niet te beweren dat dit een perfecte, magische oplossing is. De onderzoekers geven toe dat hun methode beperkingen heeft:
- Het richt zich op specifieke inputs: De AI kijkt niet naar waar de neuronen zich in het brein bevinden (zoals in welke laag of positie), wat mensen soms als een aanwijzing gebruiken.
- Het kan te vaag zijn: Toen ze het systeem testten op wiskundeproblemen (zoals het optellen van getallen), groepeerde de AI de neuronen in zeer brede categorieën zoals "getallen" of "cijfers". Het miste de specifieke, slimme trucs die de AI gebruikt om met wiskunde bezig te zijn, zoals "één onthouden bij het optellen" of "het schatten van de grootte". Dit suggereert dat hoewel de AI uitstekend is in het groeperen van voor de hand liggende concepten, het de subtiele, complexe machinerie erachter mogelijk nog mist.
- Het is een proof of concept: Het team gebruikte deze methode om 1.000 willekeurige Wikipedia-prompts te scannen en vond een paar "interessante" grafieken die mensen verder zouden willen bestuderen. Dit toont aan dat de methode klaar is voor "open-ended exploration", waarbij wetenschappers helpen om vreemde en wonderlijke dingen in AI-hersenen te vinden waar ze niet naar op zoek waren.
Waarom dit ertoe doet
Dit paper beweert niet het mysterie van het AI-bewustzijn te hebben opgelost of elk bestaand neuron in kaart te hebben gebracht. In plaats daarvan biedt het een praktische, goedkope tool die een grote flessenhals in AI-onderzoek wegneemt. Door het saaie, tijdrovende werk van het groeperen van neuronen te automatiseren, stelt het menselijke wetenschappers in staat zich te concentreer op de echt interessante vragen: Waarom denkt de AI op deze manier? Is de AI aan het plannen? Verzonnen de AI feiten?
De auteurs suggereren dat zelfs een "eenvoudige" automatisering zoals deze zinvolle resultaten kan opleveren, wat de deur opent naar een veel snellere en bredere verkenning van hoe deze digitale hersenen daadwerkelijk werken. Het is een kleine stap naar het veranderen van de black box in een helder glazen venster.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.