Technische Samenvatting: LLM-WikiRace

Probleemdefinitie

Large Language Models (LLM's) hebben bekwaamheid getoond in nauwe domeinen zoals wiskundige redenering of specifieke real-world taken zoals het plannen van een reis. Bestaande benchmarks falen echter vaak in het evalueren van hoe modellen de breedte van de wereldkennis die zij tijdens de pre-training hebben verworven, gebruiken om actieve planning en redenering uit te voeren in open-domein settings. Hoewel redenering en wereldkennis vaak geïsoleerd worden bestudeerd, vereisen taken in de echte wereld een nauwe integratie hiervan.

Het paper introduceert LLM-WikiRace, een benchmark die ontworpen is om het vermogen van een LLM te evalueren om door een real-world kennisgrafiek (Wikipedia) te navigeren met uitsluitend lokale informatie en interne kennis. De taak vereist dat een agent van een bronpagina op Wikipedia naar een doelpagina navigeert door stap voor stap hyperlinks te selecteren. Cruciaal is dat de agent geen toegang heeft tot de globale grafiekstructuur, kortste paden of de inhoud van niet-bezochte pagina's; de agent moet vertrouwen op gepre-trainde wereldkennis om semantische verbindingen af te leiden en lange-horizon actiesequenties te plannen.

Methodologie

Constructie van de Benchmark

• Grafiekbron: De benchmark is gebouwd op een Wikipedia-snapshot van 23 juni 2025. De auteurs behielden de grootste sterk samenhangende component, wat resulteerde in een grafiek van 549.232 pagina's waarbij elke node bereikbaar is vanaf elke andere node.
• Taakmechanica: Bij elke stap ontvangt het model de titel van de huidige pagina, de titel van de doelpagina, de geschiedenis van bezochte pagina's en een lijst met maximaal 50 uitgaande linktitels. Het model moet één link kiezen om te volgen. De episode eindigt bij het bereiken van de doelpagina of bij het uitputten van een budget van 30 stappen.
• Gradatie van Moeilijkheidsgraad: De benchmark is verdeeld in drie moeilijkheidsgraden op basis van de lengte van het kortste pad tussen de bron en het doel:
  • Easy (Gemakkelijk): 200 paren met padlengtes van 3 of 4.
  • Medium (Gemiddeld): 150 paren met padlengtes van 5 of 6.
  • Hard (Moeilijk): 100 paren met padlengtes van 7 of 8.
• Restricties: Om te garanderen dat de taak steunt op interne kennis in plaats van in-context retrieval, wordt de tekst van het huidige artikel uit de prompt uitgesloten. De lijst met uitgaande links is beperkt tot 50; voor pagina's met meer links worden de 50 links die het dichtst bij het doel liggen (in termen van het kortste pad) geselecteerd, hoewel deze informatie verborgen blijft voor het model om algoritmische shortcuts te voorkomen.

Evaluatieprotocol

• Geëvalueerde Modellen: Een diverse set van meer dan 20 modellen, inclusioneel closed-source frontier-modellen (Gemini 3.1, GPT-5, Claude Opus 4.6, Grok 4.1) en open-source modellen (LLaMA 3, Gemma 3, DeepSeek R1, Kimi K2, Mistral, Qwen, en diffusion-gebaseerde modellen).
• Metrieken:
  • Success Rate (Succespercentage): Het percentage games dat binnen het stappenbudget is voltooid.
  • Suboptimal Steps (Suboptimale Stappen): Het gemiddelde aantal extra stappen dat is genomen in succesvolle games (meet padefficiëntie).
  • World Knowledge Probe (Wereldkennis-proef): Een aparte classificatietaak waarbij modellen voorspellen of twee pagina's direct aan elkaar gelinkt zijn, gebruikt om interne kennis te correleren met planningsprestaties.
• Analyse: De studie bevat traject-niveau analyse om planningsstrategieën, herplanningsgedrag en loop-detectie te onderzoeken.

Belangrijkste Bijdragen

1. Een Benchmark voor Open-Domein Planning: LLM-WikiRace is de eerste benchmark die interactieve, multi-step planning vereist over de volledige Wikipedia-hyperlinkgrafiek, waarbij de integratie van wereldkennis en lange-horizon redenering wordt geïsoleerd.
2. Identificatie van de "Planning Gap": De auteurs identificeren een significante prestatieverschil tussen "redeneer"-modellen (bijv. GPT-5, DeepSeek R1) en standaard "instruct-tuned" modellen. Ondanks dat zij vergelijkbare niveaus van wereldkennis bezitten (gemeten via een statische probe), behalen redeneermodellen tot wel 20 procentpunten hogere succespercentages. Dit suggereert dat post-training voor redenering de capaciteit versterkt om kennis te implementeren tijdens planning.
3. Diagnose van Herplanningsfouten: Traject-analyse laat zien dat zelfs de sterkste modellen moeite hebben met herstel na fouten. Modellen komen frequent in loops terecht (het opnieuw bezoeken van pagina's) en falen erin om effectief te herplannen nadat ze een suboptimaal pad hebben herkend. Er is een sterke negatieve correlatie tussen de frequentie van loops en het succespercentage.
4. Limieten van Post-Training: Experimenten waarbij een Qwen-2.5-7B model werd gefinetuned met het DAPO-algoritme tonen aan dat hoewel post-training de prestaties op easy instances kan verbeteren (stijging van succes van 22,5% naar 67,5%), deze winsten niet overdraagbaar zijn naar medium of hard moeilijkheidsgraden, die op 0% succes blijven staan.

Resultaten

• Prestaties per Moeilijkheidsgraad:
  • Easy Split: Frontier-modellen behalen hoge succespercentages (>90%), waarbij Gemini 3.1 leidt met 96,0%.
  • Medium Split: De prestaties dalen aanzienlijk, waarbij topmodellen (Gemini 3.1, Claude Opus 4.6) ongeveer 50–70% behalen.
  • Hard Split: De prestaties storten in. Het best presterende model, Gemini 3.1, slaagt in slechts 29% van de harde games. De meeste open-source modellen behalen bijna nul succes op deze split.
• Modelvergelijking:
  • Gemini 3.1 presteert beter dan alle andere modellen over alle moeilijkheidsgraden heen.
  • GPT-5 en Claude Opus 4.6 volgen op korte afstand, maar vertonen een opvallende prestatiedaling op de medium/hard splits vergeleken met hun voorgangers of andere varianten (bijv. GPT-5.2 presteerde slechter dan GPT-5 op medium/hard).
  • Open-Source Modellen: Achteren over het algemeen bij de closed-source tegenhangers, vooral op harde instanties. DeepSeek R1 en Kimi K2 zijn competitief maar blijven achter bij de top performers.
• Herplanningsgedrag: Analyse van succesvolle versus onsuccesvolle trajecten laat zien dat modellen vaak "hub-seeking" strategieën vertonen (vroeg in de game bewegen naar brede onderwerpen), maar niet in staat zijn om uit loops te ontsnappen zodra deze gevormd zijn. Zo kwamen modellen op harde taken in 86% van de gevallen in een loop terecht, met een succespercentage van slechts 10% voor die loop-trajecten.

Betekenis en Claims

Het paper stelt dat LLM-WikiRace dient als een "eenvoudige benchmark" die duidelijke beperkingen in huidige redeneersystemen blootlegt. De betekenis ligt in:

• Isoleren van Planningscapaciteiten: Door domeinspecifieke complexiteiten en tool-use eigenaardigheden te verwijderen, onthult de benchmark dat fouten vaak niet voortkomen uit een gebrek aan louter redeneervermogen, maar uit een onvermogen om wereldkennis effectief toe te passen tijdens multi-step planning.
• Benadrukken van het Herplanningsdeficit: De benchmark demonstreert dat huidige frontier-modellen, hoewel in staat tot initiële planning, geen robuuste adaptieve controle bezitten. Ze falen vaak in het herzien van strategieën na een fout, wat leidt tot repetitieve loops.
• Definiëren van de Grens: De resultaten wijzen erop dat terwijl modellen de easy split onder de knie hebben gekregen, de hard split grotendeels onopgelost blijft. De "planning gap" suggereert dat huidige post-training methoden voor redenering onvoldoende zijn om de kloof tussen kennisretrieval en effectieve lange-horizon planning in complexe, open-domein omgevingen volledig te overbruggen.

De auteurs concluderen dat LLM-WikiRace een open arena biedt waar planning-vaardige LLM's nog veel te bewijzen hebben, met name in hun vermogen om door real-world kennisgrafieken te navigeren zonder algoritmische assistentie.