Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
Dit artikel daagt de heersende "hop-aligned" hypothese van multi-hop redeneren in LLM's uit door "layer-order inversion" aan te tonen, waarbij antwoorden van latere hops gedecodeerd kunnen worden vóór intermediaire brug-entiteiten, en stelt een "probabilistic recall-and-extract" raamwerk voor om dit fenomeen te verklaren door middel van brede ondiepe recall gevolgd door selectieve diepe extractie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn de digitale breinen achter de meest geavanceerde kunstmatige intelligentiesystemen van vandaag. Ze worden getraind op enorme hoeveelheden tekst en leren met opmerkelijke nauwkeurigheid het volgende woord in een zin te voorspellen. Deze vaardigheid stelt hen in staat om vragen te beantwoorden, verhalen te schrijven en problemen op te lossen die het verbinden van verschillende stukjes informatie vereisen. Een van de meest indrukwekkende prestaties die deze modellen leveren, is multi-hop redeneren. Dit is het proces waarbij een vraag wordt beantwoord die niet met één enkel feit kan worden opgelost, maar in plaats daarvan het samenvoegen van verschillende stukjes kennis vereist. Om bijvoorbeeld de vraag "Uit welk land komt de sport waar Stephen Curry een sport beoefent oorspronkelijk?" te beantwoorden, moet een model eerst de sport identificeren, vervolgens de oorsprong van die sport opzoeken en tot slot die twee feiten combineren om tot het antwoord te komen. Jarenlang geloofden wetenschappers dat deze modellen dergelijke puzzels oplosten door een strikt, stapsgewijs intern pad te volgen, vergelijkbaar met een mens die een wiskundeprobleem stap voor stap oplost. Ze dachten dat het model eerst het tussenliggende feit zou uitzoeken, dit zou opslaan en het vervolgens zou gebruiken om het uiteindelijke antwoord te vinden. Het begrijpen van hoe deze machines precies deze mentale gymnastiek uitvoeren, is cruciaal, niet alleen voor het verbeteren van hun intelligentie, maar ook om te weten wanneer en waarom ze kunnen falen.
Een team van onderzoekers van de University of Science and Technology of China en de Hong Kong University of Science and Technology heeft nu dit langgekoesterde geloof uitgedaagd. Door in de interne werking van grote taalmodellen te kijken, ontdekten zij dat deze systemen niet altijd het ordelijke, stapsgewijze pad volgen dat voorheen werd aangenomen. In plaats daarvan vonden zij een fenomeen dat zij layer-order inversion (laagvolgorde-inversie) noemen. In een standaard, stapsgewijs proces zou je verwachten dat het model het middelste stuk informatie uitzoekt voordat het het uiteindelijke antwoord kan vinden. De onderzoekers observeerden echter dat het model in veel gevallen de uiteindelijke oplossing lijkt te "weten" voordat het de tussenliggende stappen volledig heeft uitgewerkt. Dit gebeurt naarmate de vragen complexer worden en meer schakels in de keten van redenering bevatten. Hoe dieper de vraag gaat, hoe groter de kans dat het model het uiteindelijke antwoord al klaar heeft in zijn interne geheugen voordat het de brugfeiten die de punten verbinden expliciet heeft verwerkt.
Om dit te ontdekken, gebruikten de onderzoekers een techniek genaamd Patchscopes, die fungeert als een microscoop voor de interne gedachten van het model. Ze voerden de modellen complexe vragen met tot wel vier stappen van redenering en observeerden hoe de informatie naar voren kwam terwijl de gegevens door de lagen van het model stroomden. Ze keken naar twee specifieke punten: het begin van de vraag, waar het onderwerp wordt geïntroduceerd, en het uiterste einde van de vraag, waar het model zich voorbereidt op het genereren van een antwoord. Ze ontdekten dat hoewel het model de eerste stap van de redenering vaak nabij het begin van de zin verwerkte, het uiteindelijke antwoord vaak veel eerder in de interne staat van het model verscheen dan verwacht, soms zelfs voordat de tussenliggende feiten volledig waren gevormd. Dit spreept de gedachte tegen dat het model een rigide circuit bouwt waarbij elke stap voltooid moet zijn voordat de volgende begint. In plaats daarvan suggereert het een meer vloeiend proces waarbij het model het uiteindelijke antwoord direct kan oproepen, bijna als een intuïtie.
De onderzoekers stellen een nieuwe manier voor om dit gedrag te begrijpen, die zij een probabilistic recall-and-extract framework (probabilistisch oproep-en-extractie-raamwerk) noemen. In plaats van een rigide machine die een vaste set regels volgt, suggereren zij dat het model werkt als een enorme bibliotheek waar informatie wordt opgeroepen op basis van waarschijnlijkheid. In dit visie beweegt het model niet alleen verticaal door zijn lagen om stap voor stap een probleem op te lossen, maar beweegt het ook horizontaal over de woorden in de zin. De onderzoekers ontdekten dat er in de ondiepe lagen van het model, nabij het einde van de zin, een brede, intuïtieve herinnering aan het uiteindelijke antwoord aanwezig is. Deze herinnering werkt als een signaal of een vermoeden dat wijst naar de juiste oplossing. Dit signaal is niet het resultaat van een voltooide logische keten, maar eerder een directe associatie die het model oppikt. In zwakkere modellen of bij zeer moeilijke vragen wordt dit intuïtieve signaal nog dominanter, wat het model soms naar het juiste antwoord leidt, zelfs als het de stappen niet volledig heeft overwogen, of omgekeerd, het de verkeerde kant op leidt als het signaal misleidend is.
Dit nieuwe perspectief helpt verklaren waarom modellen soms op manieren slagen of falen die voorheen verwarrend waren. Wanneer een model een multi-hop vraag goed beantwoordt, kan dat komen omdat dit intuïtieve signaal sterk genoeg was om het uiteindelijke antwoord te sturen, zelfs als de stapsgewijze redenering incompleet was. Omgekeerd, wanneer een model faalt, komt dat vaak niet doordat het de feiten mist, maar omdat het er niet in slaagde het uiteindelijke antwoord via dit intuïtieve signaal op te roepen of de juiste informatie uit de geaccumuleerde kennis te extraheren. De studie laat zien dat het vermogen van het model om complexe vragen te beantwoorden rust op een balans tussen deze brede, intuïtieve herinnering en een meer gerichte, diepe extractie van het specifieke antwoord. Deze ontdekking suggereert dat de interne logica van kunstmatige intelligentie minder lijkt op een rigide assemblageband en meer op een dynamisch proces van geheugen en associatie, waarbij de bestemming soms al gezien kan worden voordat het pad volledig bewandeld is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.