Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
Dit artikel introduceert de Constraint Saturation Evaluation (CSE) benchmark om aan te tonen dat hoewel grote taalmodellen individuele beperkingen vaardig kunnen opvolgen, hun vermogen om meerdere gelijktijdige beperkingen te voldoen multiplicatief instort boven de 5–6 beperkingen door de onafhankelijke accumulatie van fouten, wat met name het structurele redeneren boven lexicale details beïnvloedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een taart probeert te bakken, maar in plaats van gewoon één recept te volgen, krijg je een lijst met regels. "Gebruik precies 200 gram bloem," "Gebruik geen suiker," "De taart moet blauw zijn," en "Hij moet de vorm van een ster hebben." Als je slechts één regel hebt, is het makkelijk. Als je er twee of drie hebt, kun je het waarschijnlijk wel aan. Maar wat gebeurt er als iemand je in één keer een lijst met vijftig regels geeft? Dit is de wereld van Large Language Models (LLM's), de superintelligente computerprogramma's die verhalen schrijven, vragen beantwoorden en problemen oplossen. Deze modellen zijn als digitale chefs die bijna elk boek in de bibliotheek hebben gelezen. Wetenschappers weten al een tijdje dat deze chefs uitstekend zijn in het opvolgen van een enkele instructie. Maar niemand wist zeker wat er gebeurde wanneer je ze vroeg om een dozijn instructies tegelijkertijd te jongleren. Presteert hun prestatie een beetje minder, zoals een vermoeide hardloper die langzamer gaat? Of stort het plotseling in, zoals een kaartenhuis dat instort wanneer je er tegen blaast? Deze vraag is belangrijk omdat we, naarmate we deze AI-chefs gaan gebruiken om echte tools te bouwen — zoals veiligheidssystemen, juridische documenten of complexe code — precies moeten weten hoeveel regels ze kunnen afhandelen voordat ze fouten gaan maken.
Maak kennis met een nieuwe studie die deze AI-modellen behandelt als een wetenschappelijk experiment in een enorme keuken. De onderzoekers, onder leiding van Mariya Vasileva, bouwden een speciale testomgeving genaamd Constraint Saturation Evaluation (CSE). Denk aan een "stress-test" voor het brein van de AI. Ze vroegen de modellen niet alleen om een verhaal te schrijven; ze gaven ze een specifiek aantal regels om tegelijkertijd op te volgen, variërend van slechts één regel tot twaalf. Deze regels waren strikt en onveranderlijk, zoals "Je antwoord moet precies 3 paragrafen bevatten," "Geen letter 'e' toegestaan," of "Elke zin moet beginnen met de letter 'A'." De onderzoekers keken vervolgens hoe vaak de AI elke enkele regel tegelijkertijd goed kon krijgen.
De resultaten waren verrassend en een beetje dramatisch. De studie toonde aan dat AI-modellen niet alleen een beetje moe worden naarmate je meer regels toevoegt; ze raken een kantelpunt. Stel je voor dat je blokken op elkaar stapelt. Voor de eerste paar blokken is de toren stabiel. Maar zodra je een bepaalde hoogte bereikt — rond de 5 of 6 regels voor zelfs de slimste modellen — wankelt de toren niet alleen; hij stort plotseling in. De onderzoekers ontdekten dat hoewel een AI misschien nog steeds 40% van de individuele regels goed krijgt wanneer er acht van zijn, de kans dat hij alle acht tegelijkertijd goed krijgt, daalt tot minder dan 6%. Het is als een muzikant die een enkele noot perfect kan spelen, of zelfs twee, maar zodra je hem vraagt een complexe symfonie te spelen met twaalf verschillende instrumenten tegelijk, vergeet hij de melodie volledig.
De studie ontdekte ook waarom dit gebeurt. Het blijkt dat de regels elkaar niet bevechten als vijanden in een spel. In plaats daarvan werken ze als een kettingreactie. Als de AI één klein deel van het antwoord verpest — zeg, het telt de zinnen niet correct — dan faalt elke regel die afhankelijk is van zinnen op hetzelfde moment. Het is niet dat de regels elkaar in de war brengen; het is dat het "werkgeheugen" van de AI overbelast raakt. De onderzoekers ontdekten dat regels die de AI vragen om dingen in de loop van de tijd bij te houden (zoals het tellen van woorden of het handhaven van een patroon) twee keer zo snel instorten als eenvoudige regels (zoals "gebruik geen specifiek woord").
Misschien wel het meest interessante deel is wat de onderzoekers probeerden te repareren. Ze vroegen: "Kunnen we de AI helpen door hem vooraf te laten plannen? Of door hem opnieuw te laten proberen?" Ze probeerden de AI een "kladblok" te geven om zijn antwoord te plannen, of hem zichzelf fouten te laten corrigeren. Het resultaat? Het hielp een klein beetje, waardoor de AI misschien één of twee extra regels kon afhandelen, maar het voorkwam de crash niet. De enige echte oplossing, suggereert het artikel, is om de AI in de eerste plaats beter te laten zijn in het opvolgen van elke individuele regel. Geen enkele hoeveelheid planning of herhaling kan het feit repareren dat de wiskunde van het jongleren met te veel zaken tegelijkertijd uiteindelijk leidt tot een daling in prestaties.
Uiteindelijk trekt dit artikel een duidelijke lijn in het zand. Voor de slimste geteste AI-modellen ligt de limiet voor betrouwbaar, meervoudig instructieopvolgen rond de 5 tot 6 beperkingen. Daarboven wordt het systeem onbetrouwbaar, niet omdat de AI "dom" is, maar omdat het pure aantal dingen dat hij tegelijkertijd in zijn hoofd moet houden, een wiskundige ineenstorting veroorzaakt. Het is een herinnering dat zelfs de meest geavanceerde digitale chefs een limiet hebben aan hoeveel recepten ze tegelijkertijd kunnen volgen, en als we willen dat ze meer doen, moeten we ze sterker maken, niet alleen meer instructies geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.