TopoBench: Benchmarking LLMs on Hard Topological Reasoning

Dit paper introduceert TopoBench, een benchmark voor het evalueren van de vermogens van grote taalmodellen bij het oplossen van complexe topologische raadsels, en onthult dat de voornaamste beperking ligt in het extraheren van ruimtelijke constraints uit representaties in plaats van in het redeneren daarover.

De kern

Stel je voor dat je een superintelligente robot hebt die alles kan lezen, schrijven en zelfs wiskundige problemen oplossen. Je denkt: "Geweldig! Laten we die robot een lastig legpuzzeltje laten maken." Maar wat als die robot, ondanks zijn enorme kennis, vastloopt op een simpel bordspel?

Dat is precies wat dit onderzoek, TopoBench, ontdekt. Het is een nieuwe test voor de slimste kunstmatige intelligenties (LLMs) van dit moment, gericht op een heel specifiek type puzzel: topologische puzzels.

Hier is een eenvoudige uitleg van wat ze hebben gedaan, waarom het belangrijk is en wat ze leerden, vertaald in alledaagse taal.

1. De Puzzels: Een Stad zonder Kaart

De onderzoekers hebben zes soorten puzzels uitgekozen (zoals Bridges, Flow Free en Loopy). Deze puzzels lijken op een bordspel, maar ze hebben een speciale eigenschap: je moet globale regels in het oog houden.

• Vergelijking: Stel je voor dat je een stad bouwt met bruggen. Je mag geen bruggen laten kruisen, elke eiland moet verbonden zijn, en je mag niet zomaar een brug neerleggen die ergens anders de weg blokkeert.
• Het probleem: Mensen vinden dit leuk en kunnen het goed. Maar voor de AI is het een nachtmerrie. De AI kan goed rekenen, maar ze vergeten vaak het "grote plaatje". Ze leggen een brug neer, vergeten dat ze hierdoor een ander eiland geïsoleerd hebben, en bouwen vervolgens een hele verkeerde stad op.

Op de moeilijkste niveaus van deze test scoorden de slimste AI's (zoals GPT-5 en DeepSeek) slechter dan een kind dat net begint met puzzelen. Ze haalden vaak minder dan 25% goed.

2. De Diagnose: Waarom faalt de AI?

De onderzoekers keken niet alleen naar het eindresultaat, maar keken ook in de "gedachten" van de AI (de stap-voor-stap redenering). Ze zochten naar fouten. Ze vonden vier hoofdsoorten fouten, maar het verrassende was: hoe vaak een fout voorkwam, was niet belangrijk voor hoe slecht het resultaat was.

Ze gebruikten een creatieve methode om dit te testen: ze "injecteerden" fouten in een half-opgeloste puzzel om te zien wat er gebeurde.

• De "Vroegtijdige Commitment" (De verkeerde afslag):
  • Vergelijking: Je rijdt in een auto en neemt per ongeluk een afslag die je niet wilde. Je merkt het pas na 10 kilometer, maar je blijft maar doorrijden in de hoop dat het toch goed komt.
  • Resultaat: Dit is dodelijk voor de AI. Zodra ze een verkeerde stap zetten, raken ze volledig in de war.
• Het "Vergeten van Regels" (De onzichtbare muur):
  • Vergelijking: Je bouwt een muur, maar vergeet dat er een deur in moet. Je bouwt de muur perfect, maar hij voldoet niet aan de opdracht.
  • Resultaat: Ook dit is enorm schadelijk. Zelfs als de AI dit maar één keer doet, is de hele oplossing waardeloos.
• Het "Herhalen" (De hamster in het wiel):
  • Vergelijking: De AI blijft dezelfde zin herhalen of probeert steeds weer dezelfde oplossing, net als een hamster in een wiel.
  • Resultaat: Dit lijkt raar, maar dit bleek niet de oorzaak van het falen. Het is gewoon een teken dat de AI probeert, maar het maakt de oplossing niet per se slechter.

3. De Oplossing: Geef de AI een Rolspel, niet een Tekst

De onderzoekers probeerden verschillende manieren om de AI te helpen. Ze ontdekten iets heel belangrijks: het probleem zit niet in het "nadenken", maar in het "zien".

• De Foutieve Input: De AI kreeg de puzzel te zien als een lange rij tekst (ASCII-tekst). Voor een mens is dat een raster, maar voor een AI is het een lange, rommelige lijst met tekens. Het is alsof je iemand een plattegrond geeft, maar die is opgerold tot een lange strook papier. De AI raakt de oriëntatie kwijt.
• De Oplossing 1 (Beter formaat): Toen ze de puzzel opgaven als een strakke tabel of lijst met getallen (in plaats van een rommelige tekst), ging het veel beter. De AI kon de structuur beter "zien".
• De Oplossing 2 (De hulpmiddelen): Dit was de grootste doorbraak. Ze gaven de AI een "rekenmachine" of een "assistent".
  • Vergelijking: In plaats van dat de AI zelf moet tellen hoeveel bruggen er nog nodig zijn (en dat telkens verkeerd doet), gaf de onderzoekers een knop: "Hoeveel bruggen ontbreken er nog?" De AI hoefde alleen maar te beslissen waar te bouwen, niet hoeveel er zijn.
  • Resultaat: Met deze hulpmiddelen (die de regels voor de AI uitlezen) steeg de prestatie enorm.

4. De Grote Conclusie

De belangrijkste les van dit onderzoek is dit: AI's zijn niet per se dom in het oplossen van complexe puzzels. Ze zijn slecht in het vertalen van een plaatje naar regels.

Het is alsof je een briljante architect hebt die fantastische gebouwen kan ontwerpen, maar die geen blauwdruk kan lezen. Als je de blauwdruk in een taal vertaalt die hij wel begrijpt (een duidelijke lijst met getallen in plaats van een tekening), kan hij het gebouw perfect bouwen.

Samengevat:

1. AI's worstelen met puzzels waarbij je het hele plaatje in het oog moet houden.
2. Fouten in het begin (verkeerde afslag) zijn dodelijker dan het herhalen van dezelfde fout.
3. Het probleem is niet het denken, maar het lezen. Als je de puzzel in een duidelijke, gestructureerde vorm geeft (of een hulpmiddel gebruikt om de regels te controleren), wordt de AI plotseling veel slimmer.

Dit onderzoek helpt ons te begrijpen dat we AI's niet alleen "slimmer" hoeven te maken, maar dat we hun "bril" moeten aanpassen zodat ze de wereld (of de puzzel) op de juiste manier kunnen zien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TOPOBENCH: BENCHMARKING LLMS ON HARD TOPOLOGICAL REASONING", gepresenteerd op de ICLR 2026 Workshop over Logisch Redeneren van Large Language Models.

1. Het Probleem

Hoewel Large Language Models (LLMs) sterke prestaties leveren op algebraïsche, symbolische en tekstuele redeneertaken, worstelen ze met taken die globale ruimtelijke invarianten vereisen. Dit omvat het handhaven van concepten zoals connectiviteit, lus-sluiting en regio-symmetrie door een reeks van lokale staat-updates.

De auteurs identificeren twee belangrijke gaten in de huidige literatuur:

1. Gebrek aan benchmarks: Bestaande benchmarks testen zelden topologische of geometrische logica specifiek.
2. Diagnostische beperkingen: Bestaande benchmarks rapporteren vaak alleen nauwkeurigheid, zonder te onderscheiden of fouten ontstaan door een tekortkoming in het redeneerproces zelf of door problemen bij het extraheren en manipuleren van ruimtelijke informatie uit de input.

Het doel is om de capaciteit van LLMs te testen om globale ruimtelijke constraints te handhaven in een gecontroleerde omgeving, waarbij domeinspecifieke details worden geabstraheerd via puzzels.

2. Methodologie

TopoBench Benchmark

De auteurs introduceren TopoBench, een benchmark bestaande uit zes families van topologie-gerichte puzzels, elk met drie moeilijkheidsgraden (gemakkelijk, medium, hard). De puzzels zijn:

• Flow Free: Pad-connectiviteit (niet-kruisende paden).
• Bridges (Hashiwokakero): Netwerkconnectiviteit (bruggen tussen eilanden).
• Loopy: Lus-sluiting (een enkele gesloten lus).
• Galaxies: Rotatiesymmetrie (regio-indeling).
• Undead: Reflectie en zichtbaarheid (monsters en spiegels).
• Pattern: Contiguïteit over assen (nonogram-achtige logica).

Elke puzzel wordt gegenereerd met een rule-based verifier en een solver die tussenstappen blootlegt voor gedetailleerde diagnose. Er zijn in totaal 900 instanties (50 per puzzelfamilie per moeilijkheidsgraad).

Evaluatie en Diagnose

• Modellen: Negen modellen werden geëvalueerd, waaronder leidende gesloten modellen (GPT-5-mini-high, Gemini-3-Flash) en open-weight modellen (DeepSeek V3.2, Qwen3, etc.).
• Diagnostische Pipeline: De auteurs gebruiken een tweestapsproces om fouten te analyseren:
  1. Observatie: Een "LLM-as-a-judge" protocol labelt 750 ketens van redenering (chain-of-thought) met een taxonomie van 11 foutcategorieën.
  2. Causale Interventie: Om te bepalen welke fouten daadwerkelijk de oorzaak van falen zijn, injecteren de auteurs specifieke foutpatronen in gedeeltelijke "gold solution" (ideale oplossing) paden en meten ze de impact op de downstream nauwkeurigheid.

Interventies en Mitigatie

De auteurs testen verschillende strategieën om de prestaties te verbeteren:

• Input Representaties: Vergelijking van standaard ASCII-tekst met cel-gealigneerde integer-codering (IntFormat) en JSON.
• Tool-Augmented Reasoning: Een externe engine beheert de speltoestand en biedt gestructureerde constraint-informatie (bijv. resterende bruggen, connectiviteit) via tool-calls, in plaats van dat het model de ASCII-grid zelf moet interpreteren.
• Prompt Engineering: Testen van instructies voor planning en terugtrekken (backtracking).

3. Belangrijkste Resultaten

Prestaties

• Zelfs de sterkste geteste modellen (GPT-5-mini-high) bereiken slechts 24% nauwkeurigheid op de "hard" tier.
• De beste open-weight modellen (DeepSeek V3.2) scoren slechts 10% op de harde puzzels.
• Puzzels die vereisen dat een globale invariant over het hele raster wordt geverifieerd (zoals Loopy en Galaxies) zijn bijna onoplosbaar voor alle modellen buiten de gemakkelijke tier.

Causale Analyse van Fouten

Een cruciale bevinding is dat frequentie geen goede voorspeller is van causale impact:

• Premature Commitment (Vroegtijdige toewijzing): Het vastleggen op een verkeerd pad leidt tot een enorme daling in nauwkeurigheid (ca. -20% op Bridges).
• Constraint Forgetting (Vergeten van constraints): Hoewel dit slechts in 2-7% van de traces voorkomt, veroorzaakt het een even grote daling in nauwkeurigheid (-10% tot -11%) wanneer het wordt geïntroduceerd. Dit komt omdat het model de semantische regels niet actief verifieert.
• Repeated Reasoning (Herhaald redeneren): Dit is een veelvoorkomend patroon in mislukte traces, maar causale tests tonen aan dat het geen significant effect heeft op de nauwkeurigheid; het is een symptoom van zoekgedrag, niet de oorzaak van falen.

Bottleneck Identificatie

De experimenten met tools en input-formaten leiden tot een eenduidige conclusie:

• De primaire bottleneck ligt niet in het redeneren over de constraints, maar in het extraheren van gestructureerde constraints uit ruimtelijke representaties.
• Wanneer het model toegang krijgt tot gestructureerde JSON-data over de toestand (bijv. "resterende bruggen: 2"), verbetert de nauwkeurigheid aanzienlijk.
• Het toevoegen van een ASCII-grid (ruimtelijke weergave) aan de gestructureerde data verlaagt de prestaties, omdat het de algebraïsche redenering verstoort.
• Het veranderen van de input naar cel-gealigneerde tokenisatie (IntFormat) verbetert de prestaties aanzienlijk, wat bevestigt dat tokenisatieproblemen een grote rol spelen.

4. Bijdragen

1. TopoBench: Een nieuwe benchmark met zes puzzelfamilies en drie moeilijkheidsgraden, specifiek ontworpen om topologisch redeneren te testen.
2. Diagnostische Pipeline: Een methode die observationele foutenanalyse combineert met causale interventies om onderscheid te maken tussen symptomen en oorzaken van falen.
3. Empirische Bevindingen: Het aantonen dat "Constraint Forgetting" en "Premature Commitment" de kritieke fouten zijn, en dat de beperking van LLMs ligt in het vertalen van ruimtelijke inputs naar gestructureerde constraints, niet in het redeneren zelf.

5. Betekenis en Conclusie

Dit paper biedt een scherp inzicht in de beperkingen van huidige state-of-the-art LLMs. Het toont aan dat hoewel deze modellen goed kunnen redeneren over abstracte logica, ze falen bij het handhaven van globale ruimtelijke coherentie in complexe, multi-stap taken.

De belangrijkste implicatie voor de toekomstige ontwikkeling van LLMs is dat het verbeteren van de ruimtelijke parsing en het extraheren van gestructureerde informatie (bijvoorbeeld via tools of betere input-formaten) veel effectiever is dan het proberen het model via prompts te dwingen om beter te plannen of terug te trekken. Voor taken die vereisen dat ruimtelijke constraints langdurig worden gehandhaafd, is tool-augmented reasoning een veelbelovendere aanpak dan puur tekstuele redenering.