Technische Samenvatting: Lost in Aggregation: Een Multi-Scale Diagnostische Benchmark voor Ruimtelijke Navigatie door LLM's

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als planners voor ruimtelijke taken zoals navigatie en routeplanning. Ze vertonen echter een broosheid in sequentiële ruimtelijke redenering, waarbij ze vaak niet in staat zijn om een coherente ruimtelijke toestand te behouden over lange horizonten. Hoewel het vaststaat dat LLM's falen bij navigatie, blijft de specifieke locatie van het falen binnen de ruimtelijke cognitie-pipeline onduidelijk. Het is onbekend of tekortkomingen voortkomen uit een onvermogen om lokale geometrie waar te nemen, topologische structuren bij splitsingen te lezen, een globale koers te behouden, of deze competenties over verschillende schalen te integreren tijdens lange sequentiële plannen. Geaggregeerde succespercentages zijn onvoldoende om tussen deze hypothesen te onderscheiden, aangezien ze fundamenteel verschillende remediatiestrategieën impliceren (bijv. betere perceptie versus betere topologische redenering versus architecturale delegatie).

Methodologie

De auteurs introduceren een multi-scale diagnostische benchmark die labyrintnavigatie deelt in drie cognitieve niveaus afgeleid van menselijke ruimtelijke cognitie:

1. Fine (Fijn): Lokale begaanbaarheid (welke aangrenzende cellen zijn open).
2. Meso: Topografische mapping (de juiste aftakking kiezen bij een splitsing en doodlopende paden herkennen).
3. Macro: Globale doeloriëntatie (de juiste koers behouden richting de bestemming).

De benchmark bestaat uit 1.050 topologie-geannoteerde labyrinten gegenereerd met behulp van depth-first-search en gerandomiseerde Prim-algoritmen. Deze labyrinten zijn bomen (acyclisch), wat een uniek pad tussen elk punt garandeert, waardoor shortest-path optimalisatie als een verstorende variabele wordt geëlimineerd. De labyrinten beslaan zeven effectieve maten (3×3 tot 30×30) en drie moeilijkheidsgraden.

De evaluatie is georganiseerd in drie modules die drie onderzoeksvragen (RQs) behandelen:

• Module 1 (Inputverwerving): Vergelijkt vier inputformaten (Natuurlijke Taal Woorden, Gestructureerde Coördinaten, ASCII Kaart, Gerenderde Afbeelding) om te bepalen welk format navigatie door LLM's het beste ondersteunt.
• Module 2 (Multi-Scale Representatie): Test elk cognitief niveau in isolatie via single-question multiple-choice taken en vergelijkt deze resultaten met end-to-end one-shot navigatieprestaties. Er wordt ook een "multi-hot first-error" analyse toegepast om de specifieke stap te lokaliseren waar een traject faalt. Niet-ruimtelijke controles (bijv. het tellen van open cellen) zijn opgenomen om generieke degradatie van de lange context uit te sluiten.
• Module 3 (Hiërarchische Routeplanning): Test delegatieregimes waarbij een deterministische 'walker' de lage-niveau uitvoering afhandelt (corridorverplaatsing, terugtrekken uit doodlopende paden), en de LLM alleen bij splitsingen wordt bevraagd. Dit vergelijkt een "Topology-blind" regime (generieke prompts) met een "Topology-aided" regime (expliciete cel-type prompts en algoritmisch terugtrekken).

Drie instructie-getunede chatmodellen (GPT-4o, DeepSeek-V3, Llama-3.3-70B) werden geëvalueerd met chain-of-thought prompting met een vaste temperatuur van 0.

Belangrijkste Resultaten

1. Inputformaat (RQ1)

Gestructureerde coördinaattekst is het meest navigeerbare inputformaat en presteert aanzienlijk beter dan gerenderde afbeeldingen en ASCII-kaarten. Voor het sterkste model (DeepSeek-V3) bereikte coördinaat-input een succespercentage van 70% op kleine labyrinten, vergeleken met 5% voor gerenderde afbeeldingen. Cruciaal is dat zelfs wanneer de end-to-end succespercentages instortten naar bijna nul, de Valid-Move Ratio (VMR) hoog bleef (>0,62), wat aangeeft dat modellen lokale legale zetten kunnen genereren maar falen bij globale padassemblage.

2. Het Aggregatie-tekort (RQ2)

De primaire bevinding is dat schaling-falen een falen is van cross-scale aggregatie, en niet een tekort aan individuele perceptuele of directionele competenties.

• Geïsoleerde Competentie: Wanneer ze in isolatie werden geprobeerd, behielden modellen een hoge nauwkeurigheid op Fine (32–56%), Meso (50–64%) en Macro (42–67%) taken, zelfs bij grote maten (30×30), wat ver boven het toevalsniveau ligt.
• End-to-End Instorting: De one-shot navigatiesucces kelderde naar bijna nul bij 10×10 voor alle modellen.
• De Kloof: De gekoppelde Meso×Macro probe (die zowel topologische als directionele redenering vereist) degradeerde sneller dan de geïsoleerde componenten, maar presteerde nog steeds beter dan end-to-end navigatie.
• First-Error Analyse: Falen werd gelokaliseerd bij Meso junction choices (59%) en Fine perception (39%), terwijl de globale richting (Macro) zelden het eerste punt van falen was (1%).
• Aggregatiekosten: De kloof tussen geïsoleerde junction-nauwkeurigheid en in-traject junction-nauwkeurigheid werd groter naarmate de labyrintgrootte toenam (bijv. een daling van 28 punten bij 30×30), wat bewijst dat de kosten niet louter een multiplicatieve stapeling van fouten zijn, maar een degradatie in het vermogen van het model om beslissingen over een lange sequentie te binden.

3. Delegatie en Hybride Agenten (RQ3)

Het delegeren van lage-niveau controle aan een deterministisch algoritme verbetert de prestaties aanzienlijk, maar elimineert de schaling-muur niet.

• Topology-Aided Delegatie: Wanneer het algoritme de terugtrekking uit doodlopende paden afhandelde en de LLM werd voorzien van expliciete cel-type informatie bij splitsingen, steeg het succespercentage van GPT-4o met wel 92 punten bij gemiddelde maten (bijv. van 2% naar 94% bij 7×7).
• Beperkingen: Deze verbetering was afhankelijk van expliciete topografische inkadering; een "Topology-blind" regime leverde verwaarloosbare winst op. Bovendien stortte de prestatie zelfs met delegatie weer in bij 30×30, wat aangeeft dat hoewel delegatie de navigeerbare horizon verlengt, het de fundamentele schaling-barrière voor lange sequentiële plannen niet wegneemt.

Betekenis en Claims

Het artikel claimt een fijnmazig diagnostisch instrument te bieden dat het begrip van de ruimtelijke falen van LLM's verschuift van een algemeen onvermogen om te "redeneren" naar een specifiek onvermogen om individueel beschikbare competenties te integreren over een lang sequentieel plan.

• Herformulering van Falen: De auteurs stellen dat LLM's niet noodzakelijkerwijs een gebrek hebben aan lokale perceptie of globale richting; in plaats daarvan falen ze in het stapsgewijs in stand houden van de binding van deze signalen. Het "Macro"-niveau (globale koers) is verrassend duurzaam in isolatie, maar wordt herhaaldelijk ondermijnd door Meso- en Fine-fouten tijdens sequentiële uitvoering.
• Architecturale Implicaties: Voor hybride GIS- en wayfinding-agenten suggereert het papier een specifieke taakverdeling: algoritmen moeten de Fine-uitvoering en het terugtrekken uit doodlopende paden bezitten, terwijl LLM's moeten dienen als besluitvormers op junction-niveau. Deze rol vereist echter expliciete topografische inkadering in de prompt om effectief te zijn.
• Input Modality: De resultaten suggereren dat de ruimtelijke structuur voor huidige LLM's het best kan worden verwerkt als symbolische, relationele data (coördinaten) in plaats van picturale representaties.

De auteurs vermelden expliciet beperkingen, waaronder het gebruik van boomtopologieën (geen cycli), de focus op Engelstalige chatmodellen, en de heuristische aard van de first-error tagging. Zij positioneren de benchmark als een herbruikbaar hulpmiddel voor toekomstig werk om binding-bottlenecks fijner te lokaliseren, met name in cyclische of metriek-gewogen omgevingen.