Technische Samenvatting: Het Extraheren van Zoektaken uit LLM-Redeneersporen onthult Myopische Planning

Probleemstelling

Grote Taalmodellen (LLMs), met name redeneermodellen, genereren uitgebreide chain-of-thought (CoT)-sporen die lijken op het simuleren van toekomstige uitkomsten, wat doet denken aan menselijke planning. Het blijft echter onduidelijk of deze sporen een echte systematische zoektocht vormen of slechts patroonvoltooiing. Bestaande gedragsbenchmarks onderscheiden vaak niet tussen modellen die taken succesvol oplossen via diepe planning en die welke vertrouwen op oppervlakkige heuristieken of memorisatie. Bovendien, zelfs als LLMs zoekachtige structuren genereren, is onbekend of deze structuren causaal het besluitvormingsproces aansturen of dat de modellen handelen op basis van andere, niet-gesignaleerde mechanismen. Dit artikel adresseert de kloof tussen de oppervlaktestructuur van LLM-redenering en het onderliggende algoritmische proces dat zetselectie aandrijft.

Methodologie

De auteurs introduceren een raamwerk om zoektaken uit LLM-redeneersporen te extraheren, te kwantificeren en te modelleren binnen het domein van het bordspel "vier op een rij" (een 4×9 rooster).

1. Experimentele Opzet: Een round-robin toernooi werd gehouden met 27 LLMs (zowel propriëtaire als open-weight) die 1.404 partijen speelden. Alleen modellen met volledig toegankelijke redeneersporen (14 modellen) werden opgenomen in de analyse, wat resulteerde in 9.696 redeneersporen.
2. Extraheren van Zoektaken: Een LLM-rechter (GPT-5) werd ingezet om ongestructureerde CoT-sporen te parseren tot formele zoektaken. De rechter identificeerde expliciet overwogen zetten, onderscheidend tussen de kandidaatzetten van het model (knooppunten op diepte 1) en gesimuleerde tegenstanderantwoorden (knooppunten op diepte 2 en verder), en gaf een geneste lijststructuur als output.
3. Computational Modeling: Om te bepalen hoe LLMs deze geëxtraheerde bomen gebruiken, pasten de auteurs computationele cognitieve modellen aan uit de menselijke planningsliteratuur (Van Opheusden et al., 2023). Vier modelvarianten werden getest:
   • Volledige-taak: Gebruikt minimax-backup om heuristische waarden van bladknopen naar de wortel te propageren.
   • Myopisch: Evalueert alleen de directe toestand die voortvloeit uit een zet op de eerste ply, en negeert alle diepere knopen.
   • Korting: Interpoleert tussen volledige-taak en myopisch met behulp van een kortingfactor $\gamma$.
   • Geen-taak: Negeert de geëxtraheerde zoektaak volledig en scoort zetten uitsluitend op basis van een heuristische functie van de huidige bordtoestand.
4. Causale Interventie: Om te testen of redeneersporen causaal beslissingen aandrijven, voerden de auteurs een chirurgische snoeistudie uit. Ze verwijderden specifieke alinea's uit de CoT (bijvoorbeeld definitieve beslissingen, hele takken, of specifieke diepteniveaus) en draaiden het model opnieuw om veranderingen in zetselectie te observeren.

Belangrijkste Resultaten

1. Zoekinspanning en Prestatie

Er is een positieve correlatie tussen zoekinspanning (totale boomgrootte) en winpercentage. Modellen die grotere zoektaken genereren, presteren beter. Deze relatie geldt binnen modelfamilies en wordt causaal ondersteund door de observatie dat het verhogen van redeneerinspanning (tokenbudget) in hetzelfde model (GPT-OSS-120B) leidt tot grotere bomen en hogere winpercentages.

2. Oppervlakkige Zoektocht en Breedte versus Diepte

LLMs vertonen aanzienlijk minder diepe zoektochten dan menselijke experts. De gemiddelde maximale zoekdiepte over modellen varieerde van 1,00 tot 3,48 ply's, terwijl menselijke experts in vergelijkbare spellen typisch 4–6 ply's zoeken. Cruciaal wordt prestatie voorspeld door zoekbreedte (het aantal kandidaatzetten dat op de wortel wordt overwogen) in plaats van zoekdiepte. Bij controle voor breedte verklaart zoekdiepte geen extra variantie in winpercentages.

3. Myopische Besluitvorming

Ondanks het genereren van diepe knopen in hun sporen, worden LLM-zetkeuzes het beste verklaard door een myopisch model.

• Het myopische model (dat diepe knopen negeert) presteerde consistent beter dan het volledige-taakmodel bij het voorspellen van LLM-zetten over alle architecturen heen.
• De "diepteschade"-metriek (de prestatiedaling van het volledige-taakmodel ten opzichte van het myopische model) was positief voor alle modellen en nam toe met de zoekdiepte, wat aangeeft dat het terugvoeren van waarden vanuit diepere knopen de voorspellingsnauwkeurigheid actief belemmert.
• De kortingfactor $\gamma$ in het kortingsmodel convergeerde naar bijna nul, wat bevestigt dat LLMs verwaarloosbaar gewicht toekennen aan diepe vooruitblik bij het nemen van beslissingen.

4. Causale Rol van Redeneerdiepte

De causale interventiestudie onthulde dat zetselectie voornamelijk wordt aangedreven door ondiepe knopen:

• Het verwijderen van de alinea met de definitieve beslissing veroorzaakte een minimale verandering (2,1%).
• Het verwijderen van de hele tak die overeenkomt met de gekozen zet veroorzaakte een veranderingspercentage van 32,0%.
• Echter, bij het progressief terugvoegen van alinea's op basis van diepte, verminderde het herstellen van alleen diepte-1 alinea's (directe gevolgen) het veranderingspercentage tot bijna het basisniveau (4,1%). Het toevoegen van diepere alinea's (diepte 2 en verder) leverde geen verdere vermindering van het veranderingspercentage op.
• Dit geeft aan dat, hoewel LLMs schrijven over diepe vooruitblik, hun beslissingen causaal worden bepaald door de directe evaluatie van kandidaatzetten, niet door de inhoud van de diepe zoektocht.

Betekenis en Claims

Het artikel claimt een fundamentele dissociatie tussen menselijke en LLM-planning te onthullen:

• Menselijke Expertise: Gedreven door diepere zoektochten; prestaties schalen met het vermogen om verder in de toekomst te simuleren.
• LLM-planning: Genereert de oppervlaktestructuur van boomzoektochten, maar handelt op basis van een myopisch mechanisme. De diepe knopen in CoT-sporen worden niet gebruikt om de uiteindelijke beslissing te sturen.

De auteurs betogen dat de centrale vraag over LLM-planning moet worden herschreven van "Kunnen ze plannen?" naar "Welk soort planningsalgoritme weerspiegelen hun beslissingen?". Zij suggereren dat huidige methoden die vertrouwen op verhoogde rekentijd tijdens het testen of langere redeneersporen ontoereikend kunnen zijn als het model waardeninformatie niet effectief kan propageren van diepe knopen naar de wortel. De bevindingen wijzen op een beperking in huidige LLM-architecturen (mogelijk gerelateerd aan aandachtsmechanismen of onzekerheid op diepte) waarbij diepe vooruitblik wordt gegenereerd maar niet wordt geïntegreerd in het beslissingsbeleid. Dit werk biedt een generaliseerbaar raamwerk voor het interpreteren van de structuur van LLM-planning en waarschuwt tegen het behandelen van redeneersporen als transparante verslagen van overweging.