A Hyperbolicity Atlas of Large Language Model Hidden States
Dit artikel presenteert de eerste systematische studie die aantoont dat Gromov-hyperboliciteit in de verborgen toestanden van LLM's primair wordt gedreven door de diepte van de lagen—piekend in de middelste lagen en boomachtiger wordend in de laatste lagen—in plaats van door de schaal van het model, wat een praktische diagnostiek biedt voor het begrijpen van hiërarchische afstandstructuren over verschillende modelfamilies en invoerdomeinen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Binnen de computers die moderne kunstmatige intelligentie aandrijven, bestaat een verborgen wereld van getallen. Wanneer deze machines een zin lezen of een vraag verwerken, slaan ze de woorden niet op als tekst. In plaats daarvan vertalen ze elk woord naar een lange lijst met getallen, een vector, die bestaat in een enorme, meerdimensionale ruimte. Jarenlang hebben wetenschappers geweten dat de zaken die deze machines verwerken — zoals de structuur van een stamboom, de stappen in een computerprogramma of de logica van een verhaal — vaak hiërarchisch zijn. Ze hebben een bovenkant, een onderkant en vele vertakkingen daartussenin. Een natuurlijke vraag ontstond: ordenen de interne getallenlijsten die de machine creëert om deze zaken te begrijpen zich ook in een boomachtige vorm? Als de interne kaart van de machine eruitziet als een boom, kan dit betekenen dat de computer informatie organiseert op een manier die de complexe structuren van de menselijke taal en logica weerspiegelt. Om dit te beantwoorden, maakten onderzoekers gebruik van een wiskundig concept genaamd hyperboliciteit, dat fungeert als een liniaal om te meten hoe "boomachtig" een verzameling punten is. Een lage score betekent dat de punten zijn gerangschikt in een nette, vertakkende hiërarchie, terwijl een hoge score betekent dat ze verspreid zijn op een meer chaotische, platte manier.
Een team van onderzoekers uit Beijing en Guangzhou zette zich het doel voor het in kaart brengen van deze verborgen geometrie in de meest geavanceerde taalmodellen van dit moment. Ze bouwden geen nieuwe machine of veranderden de werking van de bestaande modellen. In plaats daarvan traden ze op als cartografen, waarbij ze tien verschillende open-source modellen namen en deze door vier zeer verschillende soorten taken stuurden: het oplossen van wiskundige problemen, het schrijven van computercode, het beantwoorden van vragen over algemeen menselijk inzicht en het beoordelen van de waarheid van beweringen. Voor elk afzonderlijk woord in de invoerprompts maten zij de afstand tussen de getallenlijsten die de machine creëerde. Dit deden zij voor meer dan 800.000 specifieke metingen, verspreid over tien verschillende modellen van variërende grootte en elke laag van verwerking binnen elk van deze machines. Hun doel was om een atlas te creëren, een gedetailleerde kaart die precies laat zien waar de interne structuur van deze machines op een boom lijkt en waar dat niet het geval is.
De meest opmerkelijke ontdekking was dat de grootte van de machine er veel minder toe deed dan de plek waar je binnenin keek. Veel mensen gaan ervan uit dat een groter model met meer parameters automatisch "slimmer" of gestructureerder is. De onderzoekers kwamen erachter dat dit grotendeels onwaar is. Het simpelweg groter maken van een model maakte de interne structuur niet consistent meer boomachtig. In sommige gevallen was een groter model minder georganiseerd dan een kleiner model, en in andere gevallen was het juist meer georganiseerd. Het ware patroon kwam aan het licht toen zij naar de diepte van de verwerking van de machine keken. Naarmate de informatie bewoog van de eerste laag van het netwerk naar het midden, werd de structuur rommelig en plat, waardoor de boomachtige vorm verloren ging. De getallen in de middelste lagen waren druk en complex, wat een mix reflecteerde van vele verschillende soorten informatie. Echter, zodada de data de laatste lagen bereikte, vlak voordat de machine een antwoord produceerde, veranderde de structuur drastisch. De getallen sprongen terug in een veel duidelijkere, meer boomachtige ordening. Dit suggere de dat de machine begint met een chaotische mix van mogelijkheden en deze aan het einde juist comprimeert in een gestructureerde vorm.
De onderzoekers ontdekten ook dat het specifieke type model en de taak waarvoor het getraind is, de kaart aanzienlijk veranderde. Twee modellen van exact dezelfde grootte kunnen een totaal andere interne geometrie hebben, afhankelijk van hun training. Zo vertoonde een model dat gespecialiseerd is in het schrijven van code een zeer sterke boomachtige structuur bij het verwerken van programmeertaken, maar een model dat getraind is voor algemene wiskunde vertoonde datzelfde patroon niet, zelfs niet wanneer het werd gevraagd wiskundige problemen op te lossen. Sterker nog, het gespecialiseerde code-model maakte de structuur van code-prompts meer als een boom dan het algemene model deed, terwijl het wiskunde-gespecialiseerde model de structuur complexer hield. Dit betekent dat de "vorm" van het denken van de machine geen vaste eigenschap is van de grootte, maar een flexibel resultaat van hoe het is getraind en wat het op dat moment doet.
Uiteindelijk biedt deze studie een nieuwe manier om te begrijpen hoe kunstmatige intelligentie informatie organiseert. Het laat zien dat de interne wereld van deze modellen geen statisch, uniform landschap is. In plaats daarvan is het een dynamische reis waarbij informatie begint in een complexe, platte staat, door een drukke middelste sectie dwaalt en zich uiteindelijk in een gestructureerde, boomachtige vorm nestelt aan het einde. De onderzoekers concluderen dat het kijken naar alleen het uiteindelijke antwoord of de totale omvang van een model niet voldoende is om de interne werking te begrijpen. Om echt te zien hoe deze machines denken, moet men het pad volgen dat de informatie aflegt, waarbij men merkt dat de belangrijkste structurele veranderingen plaatsvinden in de laatste momenten voordat een beslissing wordt genomen. Deze kaart biedt een praktisch hulpmiddel voor wetenschappers om te zien waar deze modellen hun gedachten organiseren en waar ze nog worstelen, wat onthult dat de geometrie van intelligentie veel genuanceerder is dan een eenvoudige maatstaf van grootte ooit zou kunnen laten zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.