Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing

Titel: Redeneercapaciteiten van Large Language Models: Lessen geleerd uit General Game Playing

Auteurs: Maciej Świechowski, Adam Żychowski, Jacek Mańdziuk
Organisaties: Grail Team, Warsaw University of Technology, AGH University of Krakow

---

1. Probleemstelling

Hoewel Large Language Models (LLMs) uitstekend presteren in natuurlijke taalverwerking, blijft de vraag in hoeverre ze betrouwbare symbolische redenering kunnen uitvoeren in strikt gestructureerde, regelgebaseerde omgevingen. Bestaande benchmarks voor logisch redeneren (zoals ProofWriter of LogiQA) hebben vaak beperkingen: ze vertrouwen op korte redeneerketens, zijn vaak één-staps vragen-antwoord taken, en evalueren voornamelijk op het eindantwoord. Dit maakt het moeilijk om fouten in het proces van redeneren te detecteren of om te zien hoe modellen omgaan met complexe, dynamische wereldmodellen.

Het paper onderzoekt of LLMs in staat zijn om als stand-alone symbolische interpreten te fungeren binnen een formeel gedefinieerde omgeving, zonder afhankelijkheid van vooraf bestaande semantische kennis (bijv. weten dat een "paard" in schaken op een L-vorm beweegt) en puur gebaseerd op de gegeven logica.

2. Methodologie

De auteurs gebruiken het General Game Playing (GGP) framework als testomgeving. Dit biedt een unieke kans omdat spellen worden beschreven in Game Description Language (GDL), een formele, logische taal (gebaseerd op Datalog/Prolog).

Experimentele Opzet

• Datasets: Er zijn 35 verschillende spellen geselecteerd uit een pool van 86 GDL-bestanden, gebaseerd op diversiteit in structurele eigenschappen (zoals complexiteit, aantal regels, diepte van inferentie).
• Modellen: Vier state-of-the-art LLMs werden geëvalueerd:
  • Propriëtaire modellen: Gemini 2.5 Pro en Gemini 2.5 Flash.
  • Open-weights modellen: Llama 3.3 70B en GPT-OSS 120B.
• Taken: Vier gradaties van complexiteit werden getest:
  1. Volgende staat generatie: Gegeven een huidige staat en een zet, voorspel de volgende staat.
  2. Legale acties generatie: Gegeven een staat, lijst alle mogelijke legale zetten op.
  3. Meerstaps staatgeneratie: Voorspel de staat na een reeks van n zetten (horizon).
  4. Meerstaps actie-staat generatie: Genereer een reeks legale zetten én de bijbehorende eindstaat.
• Semantische Obfuscatie: Om te testen of modellen op logica of op woordbetekenis vertrouwen, werden de spellen in drie varianten gepresenteerd:
  • Origineel: Menselijk leesbare namen (bijv. cell, move).
  • Placeholder: Generieke namen (bijv. term1, term2).
  • Woordenboek: Semantisch neutrale maar betekenisvolle woorden (bijv. stoel, bos).
  • Random strings: Willekeurige alfanumerieke strings (bijv. AoinIj6).
• Evaluatiemetrics:
  • Jaccard Index (JI): Meet de overlap tussen de verwachte set feiten en de gegenereerde set.
  • Strict Success Rate (%S): Een binaire score (1 of 0) die aangeeft of de hele output exact correct is. Dit is cruciaal omdat één fout in een simulatieketen kan leiden tot een volledig verkeerde eindstaat.

3. Belangrijkste Bijdragen

1. GGP als Benchmark: Adaptatie van het GGP-framework als een rigoureuze testbank voor logisch redeneren, waarbij een exacte GDL-simulator dient als "ground truth".
2. Uitgebreide Evaluatie: Een systematische vergelijking van vier moderne modellen over een breed scala aan spelcomplexiteiten en redeneerhorizons.
3. Structuur vs. Prestatie: Analyse van correlaties tussen 40 structurele spelkenmerken (zoals maximale regel diepte, aantal voorwaarden) en de prestaties van de modellen.
4. Semantische Grounding: Experimenten die aantonen dat sterke modellen redeneren op basis van structurele patronen in de regels, en niet puur op semantische associaties uit de trainingsdata.
5. Foutanalyse: Een gedetailleerde classificatie van veelvoorkomende redeneerfouten, zoals het hallucineren van regels, het behouden van irrelevante feiten, en syntactische fouten.

4. Resultaten

Algemene Prestaties

• Gemini 2.5 Pro presteerde consistent het beste, gevolgd door Gemini 2.5 Flash, GPT-OSS 120B en Llama 3.3 70B.
• Taak 1 (Volgende staat): Zeer hoge nauwkeurigheid (JI > 0.95 voor Gemini Pro). Modellen kunnen één stap symbolische redenering zeer goed uitvoeren.
• Taak 2 (Legale acties): Moeilijker dan Taak 1. Modellen vinden vaak veel correcte acties, maar missen de volledigheid (lage %S), wat wijst op moeite met het volledig doorlopen van alle regelafhankelijkheden.
• Meerstaps taken (Taak 3 & 4): De prestaties dalen significant naarmate het aantal stappen (n) toeneemt. Zelfs voor Gemini 2.5 Pro daalt de strikte succesrate (%S) naar ongeveer 0.73 bij 5 stappen en verder. Kleine lokale fouten cumuleren snel tot een incorrecte eindstaat.

Invloed van Obfuscatie

• Modellen presteerden slechter bij obfuscated spellen, maar de daling was mild voor de sterkste modellen.
• Random strings bleken de minst schadelijke obfuscatie (soms zelfs beter dan placeholder-terms), omdat ze token-verwarring minimaliseren.
• Woordenboek-woorden waren het schadelijkst, omdat de echte betekenis van de woorden in conflict kwam met de spelregels (bijv. een "stoel" die beweegt als een pion), wat de redenering verstoort.
• Dit bevestigt dat sterke modellen in staat zijn tot syntactisch redeneren zonder semantische steun.

Correlaties met Spelcomplexiteit

• Voor Gemini 2.5 Pro is de prestatie het sterkst negatief gecorreleerd met regel diepte (Max/Avg rule depth). Dit suggereert dat de limiet ligt bij het handhaven van consistentie in diepe, compositional inferentieketens.
• Voor Gemini 2.5 Flash en GPT-OSS is de prestatie sterker negatief gecorreleerd met het totale aantal regels. Dit wijst op een beperking in het verwerken van een grote zoekruimte, zelfs als de individuele logische stappen simpel zijn.
• Llama 3.3 70B toonde een sterke positieve correlatie met "convergerende" spellen (waar feiten alleen worden toegevoegd, niet verwijderd), wat suggereert dat dit model worstelt met de fundamentele dynamiek van het spel in plaats van alleen de complexiteit.

Veelvoorkomende Fouten

• Hallucineren van regels: Het model vult ontbrekende regels in op basis van "gezond verstand" in plaats van strikt de GDL-regels te volgen.
• Overbodige feiten: Het behouden van feiten die in de volgende staat niet meer geldig zijn (bijv. witte velden in een damspel waar alleen zwarte velden relevant zijn).
• Syntactische fouten: Fouten in de GDL-formatering (bijv. ontbrekende haakjes), zelfs als de logica correct is.

5. Betekenis en Conclusies

Het paper concludeert dat er duidelijke vooruitgang is geboekt in de formele redeneercapaciteiten van moderne LLMs. Ze kunnen nauwkeurig symbolische regels toepassen in complexe omgevingen, zelfs zonder voorafgaande kennis van het spel.

Echter, er blijven fundamentele beperkingen:

1. Cumulatieve fouten: Bij langere redeneerhorizons (meerstaps simulaties) nemen fouten exponentieel toe. LLMs zijn nog geen perfecte stand-alone symbolische simulators voor kritieke toepassingen.
2. Semantische valkuilen: Hoewel ze kunnen redeneren zonder semantiek, verstoren tegenstrijdige semantische hints (woorden met verkeerde betekenissen) hun prestaties meer dan het volledig ontbreken van betekenis.
3. Aanbeveling: Voor betrouwbare toepassingen moeten LLM-outputs worden geverifieerd door een externe symboolle solver, of moet de interactie iteratief worden gestructureerd (bijv. tussenstappen valideren) om fouten te detecteren voordat ze zich voortplanten.

De studie biedt een robuust kader voor het evalueren van de grenzen van LLM-redeneren en benadrukt dat hoewel de modellen "slimmer" worden, ze nog steeds vatbaar zijn voor fouten in complexe, dynamische logica.