Quantifying Logical Consistency in Transformers via Query-Key Alignment

Grote taalmodellen zijn bijzonder bekwaam geworden in het nabootsen van menselijke gesprekken, het schrijven van poëzie en het samenvatten van complexe teksten. Ze bereiken dit door het volgende woord in een zin te voorspellen op basis van enorme hoeveelheden trainingsdata. Echter, wanneer ze gevraagd wordt een logische puzzel met meerdere stappen op te lossen, struikelen deze systemen vaak. Ze kunnen een overtuigend klinkende keten van redeneringen genereren die tot een volkomen verkeerde conclusie leidt, of ze kunnen worden afgeleid door irrelevante details in de prompt. Hoewel onderzoekers manieren hebben gevonden om de prestaties van deze modellen te verbeteren door hen te vragen "stap voor stap na te denken", blijft er een fundamenteel probleem: de modellen zelf hebben geen ingebouwde manier om te controleren of hun eigen redenering daadwerkelijk coherent is. Ze kunnen een logisch klinkend pad produceren zonder echt te begrijpen of de stappen correct met elkaar verbonden zijn.

Deze onzekerheid creëert een blinde vlek in kunstmatige intelligentie. We kunnen het uiteindelijke antwoord dat een model geeft zien, maar we kunnen niet gemakkelijk de interne signalen zien die aangeven of het model daadwerkelijk de regels van de logica volgt of gewoon gokt. Om dit aan te pakken, heeft een team onderzoekers van het Skolkovo Institute of Science and Technology en andere instellingen een nieuwe manier ontwikkeld om in de "geest" van het model te kijken tijdens het redeneerproces. In plaats van te wachten tot het model zijn antwoord heeft voltooid en dan te controleren of het juist is, kijken zij naar de specifieke interne verbindingen die het model maakt terwijl het nog aan het nadenken is. Ze ontdekten dat bepaalde delen van de architectuur van het model fungeren als betrouwbare controlepunten, die signaleren of een logische stap geldig is, lang voordat het uiteindelijke antwoord wordt uitgesproken.

De onderzoekers concentreerden zich op hoe deze modellen informatie intern verwerken. Binnen een groot taalmodel stroomt informatie door lagen van wiskundige operaties. In het hart van dit proces bevinden zich "attention heads" (aandachtskoppen), die fungeren als kleine schakelaars die beslissen welke delen van de input belangrijk zijn om op een gegeven moment op te focussen. Het team ontdekte dat ze de uitlijning konden meten tussen twee specifieke signalen binnen deze koppen: het signaal dat de te testen stelling vertegenwoordigt en het signaal dat het potentiële antwoord vertegenwoordigt. Door een eenvoudige score te berekenen op basis van hoe goed deze twee signalen met elkaar overeenstemmen, konden ze bepalen of het model de logische verbinding tussen een premisse en een conclusie herkende.

Om dit idee te testen, voerden de onderzoekers experimenten uit met een breed scala aan logische redeneertaken. Ze gebruikten synthetische datasets waarbij de regels duidelijk waren en de antwoorden definitief waar of onwaar waren, zoals het bepalen of een personage genaamd Polly opaak is op basis van een reeks fictieve regels over rompus en jompus. Ze testten de methode ook op complexere datasets met echte wereldtaal en meerdere stappen van deductie. In deze tests vergeleken ze de prestaties van hun nieuwe interne scoringsmethode met de standaard manier waarop het model antwoordt, wat simpelweg het kiezen is van de optie met de hoogste waarschijnlijkheid.

De resultaten toonden aan dat de interne scoringsmethode aanzienlijk betrouwbaarder was dan de uiteindelijke gok van het model zelf. In scenario's waarin het model werd geconfronteerd met afleidende, irrelevante informatie, raakte het standaardmodel vaak in de war en gaf het het verkeerde antwoord. Echter, de specifieke interne signalen die de onderzoekers volgden, bleven stabiel en identificeerden het juiste logische pad correct, zelfs wanneer de uiteindelijke output van het model foutief was. Dit suggereert dat het model diep in zijn lagen daadwerkelijk over de juiste redeneercapaciteit beschikt, maar dat deze capaciteit soms kan worden vertroebeld door latere stadia van verwerking of door de ruis van de afleidende context.

Het team testte deze aanpak op modellen variërend van zeer kleine modellen met 1,5 miljard parameters tot enorme modellen met 70 miljard parameters. Over de hele linie ontdekten zij dat specifieke aandachtskoppen consistent fungeerden als "verificatie-ankers". Deze koppen konden geldige en ongeldige inferenties met hoge nauwkeurigheid onderscheiden, ongeacht hoeveel stappen de redenering vereiste of hoeveel afleidingen aanwezig waren. In sommige gevallen was de interne score in meer dan 90 procent van de gevallen correct, terwijl het uiteindelijke antwoord van het model in minder dan 60 procent van de gevallen correct was. Dit geeft aan dat het model intern vaak het juiste antwoord "weet", maar er niet in slaagt dit correct uit te drukken in zijn uiteindelijke output.

Een van de meest significante bevindingen was dat deze methode geen wijzigingen aan het model of hertraining vereist. De onderzoekers konden het model simpelweg één keer draaien, de interne signalen bekijken en een score afleiden die vaak nauwkeuriger was dan de eigen voorspelling van het model. Dit biedt een lichtgewicht en efficiënte manier om de logische consistentie te evalueren zonder de zware computationele kosten van eerdere methoden, die vaak het uitschakelen van delen van het model vereisten om te zien wat er gebeurde. De studie suggereert dat door deze specifieke interne componenten te identificeren, we een duidelijker venster krijgen op hoe kunstmatige intelligentie complexe relaties verwerkt, wat ons dichter brengt bij systemen die niet alleen vloeiend zijn in taal, maar ook betrouwbaar in hun redenering.

De onderzoekers merkten op dat hun methode het beste werkt wanneer er voldoende data beschikbaar is om te kalibreren welke specifieke interne signalen voor een bepaalde taak vertrouwd moeten worden. Ze erkenden ook dat deze aanpak niet betekent dat deze specifieke onderdelen de enige zijn die verantwoordelijk zijn voor logica, noch dat het elk probleem met redeneren in kunstmatige intelligentie oplost. Echter, het werk biedt een concrete, meetbare manier om te zien waar de logica standhoudt en waar deze breekt, wat een nieuw instrument biedt voor het bouwen van meer transparante en betrouwbare taalmodellen. Door te focussen op de uitlijning van interne signalen in plaats van alleen op de uiteindelijke output, onthult de studie dat de capaciteit voor een deugdelijke redenering vaak binnen het model aanwezig is, wachtend om correct gelezen te worden.