When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
Dit artikel definieert en meet formeel het "jump"-vermogen van grote taalmodellen—specifiek hun vermogen om een standaard canonieke voltooiing te verlaten ten gunste van een uniek, correct axioma-systeem—en demonstreert dat grensmodellen deze stap in alle proeven succesvol uitvoeren, wat suggereert dat een vermeende onbekwaamheid ligt in het genereren van beperkingen of kaders in plaats van in de "jump" zelf.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de studie van kunstmatige intelligentie is er een centrale vraag die onderzoekers al lang verdeelt: kan een machine werkelijk denken voorbij de patronen die het al heeft gezien? Grote taalmodellen zijn experts in inductie; ze leren het volgende woord in een zin te voorspellen door statistische trends in enorme hoeveelheden tekst te herkennen. Ze worden ook steeds vaardiger in deductie, waarbij ze strikte logische regels volgen om tot een conclusie te komen. Een derde vorm van redeneren, bekend als abductie, blijft echter een mysterie. Dit is het vermogen om van een reeks observaties over te springen naar een volledig nieuw systeem van regels of axioma's dat deze verklaart—een mentale sprong die vaak vereist dat men het meest voor de hand liggende antwoord verwerpt ten gunste van een verrassende, ongeziene mogelijkheid. Jarenlang hebben sceptici betoogd dat deze modellen structureel niet in staat zijn tot dergelijke sprongen, en suggereerden zij dat de modellen gevangen zitten in een lus van het herhalen van wat ze al weten. Anderen hebben dit uitgedaagd door te wijzen op door machines gegenereerde wiskundige ontdekkingen, maar zonder een precieze manier om deze "sprong" te definiëren of te meten, bleef het debat theoretisch steken.
Een team van onderzoekers heeft nu deze onzekerheid weggenomen door een rigoureuze test te bouwen om te zien of een model een standaardinstinct kan loslaten wanneer de feiten daarom vragen. Ze vroegen de modellen niet om nieuwe theorieën vanaf nul te verzinnen, wat onmogelijk te verifiëren zou zijn. In plaats daarvan creëerden ze een gecontroleerde laboratoriumomgeving waarin de regels van het spel onveranderlijk vaststonden. Stel je een puzzel voor waarbij je een gedeeltelijke afbeelding krijgt en een lijst met strikte beperkingen die de meest voor de hand liggende manier om deze af te maken, uitsluiten. De onderzoekers definieerden een "sprong" als het moment waarop een model beseft dat de standaard, meest logische voltooiing verboden is en dat het in plaats daarvan een nieuwe, verborgen structuur moet construeren die perfect binnen de beperkingen past. Om dit te doen, gebruikten ze een wiskundig kader dat de "canonieke voltooiing" identificeert—de enkele, meest natuurlijke manier om gegevens uit te breiden op basis van wat al bekend is. Vervolgens ontwierpen ze problemen waarbij dit natuurlijke antwoord expliciet verboden was, waardoor het model gedwongen werd een unieke, niet-voor-de-hand-liggende oplossing te vinden die de data zelf niet toonde.
De onderzoekers testten dit op negen verschillende gecertificeerde problemen, variërend van eenvoudige puzzels tot complexe scenario's met miljoenen mogelijke antwoorden, met behulp van vier van de meest geavanceerde beschikbare taalmodellen. Ze maten hoe vaak de modellen vasthielden aan het verboden, standaard antwoord versus hoe vaak ze succesvol de sprong maakten naar de juiste, beperkte oplossing. De resultaten waren opmerkelijk. In elke enkele poging waarin de modellen gedwongen werden een keuze te maken, greep geen van hen terug op het standaard antwoord dat ze getraind waren te verkiezen. In 248 pogingen slaagden de modellen er elke keer in om het uitgesloten standaard antwoord te verlaten en landden ze op de juiste, gecertificeerde oplossing. Wanneer ze faalden, was dat niet omdat ze weigerden de sprong te maken; het was omdat ze mentale energie tekortkwamen of een rekenfout maakten, maar ze keerden nooit terug naar het oude, foute antwoord.
Deze bevinding suggereert dat het vermogen om een nieuw pad te kiezen wanneer het oude geblokkeerd is, niet de flessenhals is voor deze modellen. De modellen bewezen dat ze hun eigen instincten kunnen overriden wanneer de beperkingen duidelijk zijn. De onderzoekers concluderen dat als de modellen werkelijk de capaciteit missen voor het soort creatieve sprong dat in de menselijke geschiedenis te zien is, dit niet ligt in de handeling van het kiezen tussen opties. In plaats daarvan ligt de moeilijkheid waarschijnlijk in de eerdere, meer chaotische stappen: het genereren van de beperkingen die de sprong in eerste instantie dwingen, of het uitvinden van het geheel nieuwe kader van regels dat de sprong mogelijk maakt. De studie beweert het mysterie van machinecreativiteit niet te hebben opgelost, maar heeft stevig vastgesteld dat deze modellen, wanneer het pad duidelijk geblokkeerd is, in staat zijn om een nieuwe weg vooruit te vinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.