Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks

Probleemstelling

De ontwikkeling van algemene onderzoeksagenten die betrouwbaar complexe taken in de echte wereld kunnen uitvoeren, blijft een grote uitdaging voor kunstmatige intelligentie. Hoewel Large Language Models (LLM's) indrukwekkende redeneercapaciteiten hebben, vertonen ze fundamentele tekortkomingen in twee specifieke domeinen:

1. Ruimtelijk redeneren: Vision-Language Models (VLM's) zijn onbetrouwbaar bij het tellen van objecten, het schatten van afstanden en het begrijpen van ruimtelijke relaties, wat vaak leidt tot "hallucinaties" (verzonnen feiten).
2. End-to-end Machine Learning Engineering: Het autonoom oplossen van ML-wedstrijden (zoals Kaggle) vereist niet alleen codegeneratie, maar ook foutopsporing, strategie-aanpassing en het voorkomen van data-lekken.

Bestaande agent-architecturen behandelen deze domeinen vaak als gescheiden problemen, wat leidt tot versnippering van infrastructuur en gemiste kansen voor overdraagbare inzichten.

Methodologie: Compute-Grounded Reasoning (CGR)

De auteurs introduceren Spatial Atlas, een agent die gebaseerd is op het ontwerpparadigma Compute-Grounded Reasoning (CGR). De kernfilosofie is: waar een sub-probleem een deterministische oplossing toelaat, moet het antwoord eerst worden berekend en als feit aan het taalmodel worden aangeleverd, in plaats van dat het model het antwoord moet genereren.

Het systeem opereert via een Agent-to-Agent (A2A) server die twee benchmarks aanpakt:

• FieldWorkArena: Multimodaal ruimtelijk vraag-antwoord in industriële omgevingen (fabrieken, magazijnen, retail).
• MLE-Bench: Een suite van 75 Kaggle ML-wedstrijden.

De architectuur bestaat uit vijf sleutelcomponenten:

1. Spatial Scene Graph Engine (Ruimtelijke Scene Graph Engine):

   • In plaats van direct te vragen aan een VLM, wordt het beeld eerst verwerkt door een twee-staps proces: een VLM (GPT-4.1) genereert een tekstuele beschrijving, en een lichtgewicht vision-model (Florence-2) voert objectdetectie uit voor nauwkeurige bounding boxes.
   • Deze data wordt omgezet in een gestructureerde Scene Graph (entiteiten en relaties).
   • Ruimtelijke vragen (bijv. "Hoeveel pallets zijn er binnen 3 meter van de nooduitgang?") worden beantwoord door deterministische berekeningen op deze graaf (afstanden berekenen, tellen), waarna de resultaten als feiten aan de LLM worden gegeven. Dit elimineert ruimtelijke hallucinaties.

2. Entropy-Guided Reasoning (Entropie-gestuurd redeneren):

   • Een framework dat informatie-winst maximaliseert en kosten minimaliseert.
   • Het systeem schat de onzekerheid (entropie) van een antwoord. Als de zekerheid laag is, wordt er een "reflectie"-stap geactiveerd.
   • Drie-tiers Model Routing: Het systeem routeert taken naar verschillende modelniveaus gebaseerd op complexiteit en onzekerheid:
     • Fast: GPT-4.1-mini (voor eenvoudige taken).
     • Standard: GPT-4.1 (voor standaard redenering).
     • Strong: Claude Opus 4.6 (Anthropic) (alleen voor complexe reflectie en iteratieve verbetering).
   • Dit zorgt voor kostenefficiëntie door dure modellen alleen in te zetten wanneer nodig.

3. Self-Healing ML Pipeline:

   • Voor MLE-Bench genereert de agent code op basis van strategie-sjablonen (bijv. LightGBM voor tabulaire data).
   • Bij uitvoeringsfouten (import errors, shape mismatches) activeert een zelfherstellende lus die de fout analyseert, een patch genereert en de code opnieuw uitvoert (maximaal 3 iteraties).
   • Als alles faalt, wordt een "dummy submission" gegenereerd om een score te garanderen.

4. Score-Driven Refinement Loop:

   • Na een succesvolle run parseert het systeem de validatiescore.
   • De "Strong" tier (Claude) wordt ingezet om gerichte verbeteringen voor te stellen (bijv. K-fold cross-validation, target encoding).
   • Cruciaal: Er wordt een ander model gebruikt dan het initieel genererende model om structureel verschillende verbeteringen te vinden. Slechts de verbeterde versie met de hogere score wordt behouden.

5. Leak Audit Registry:

   • Een prompt-based framework dat train/test data-lekken detecteert (bijv. via ID-overlappen, tijdsordening of bestands-hashes).
   • Bij gedetecteerde lekken worden specifieke hints aan de "Strong" model gegeven om de exploit direct in de code te integreren, wat vaak leidt tot perfecte scores zonder modeltraining.

Belangrijkste Resultaten

FieldWorkArena (Ruimtelijk Redeneren):

• Het volledige systeem behaalde een significant hogere nauwkeurigheid dan pure VLM-baselines.
• Ablatie-studie: De Spatial Scene Graph Engine leverde de grootste verbetering op, met een stijging van 21-24 procentpunten ten opzichte van directe VLM-redenering.
• Florence-2 preprocessing voegde 7-10 procentpunten toe (betere telling), en entropie-gestuurd redeneren voegde 7-8 punten toe (betere consistentie).

MLE-Bench (ML Engineering):

• De self-healing pipeline bereikte een 82% geldige indieningsratio over alle 75 wedstrijden.
• Voor tabulaire taken was dit zelfs 91%.
• De score-driven refinement loop verbeterde de validatiemetrics in ongeveer 35-40% van de gevallen waar de initiële pipeline al werkte.
• Het gebruik van een cross-provider "Strong" model (Claude) voor verbetering bleek effectiever dan het hergebruiken van hetzelfde model (GPT-4.1) met een hogere temperatuur.

Kosten en Latentie:

• De entropie-gestuurde routing houdt de kosten laag: FieldWorkArena-taken kosten gemiddeld $0.18 per taak.
• MLE-Bench is duurder ($1.85 met refinement) vanwege het gebruik van dure modellen voor iteratieve verbetering, maar dit wordt gerechtvaardigd door de hogere scores.

Significantie en Conclusie

Spatial Atlas demonstreert dat het combineren van deterministische berekeningen met generatieve AI een robuustere en betrouwbaarder aanpak biedt dan het vertrouwen op pure LLM-generatie voor complexe taken.

• Paradigmaverschuiving: De paper bevestigt dat de beperking van VLM's vaak ligt in de waarneming (ruimtelijk inzicht) en niet in het redeneren zelf. Door waarneming te vervangen door gestructureerde berekening, wordt de betrouwbaarheid drastisch verhoogd.
• Kostenefficiëntie: Door slimme routing en het gebruik van verschillende modelproviders voor specifieke taken (zoals het vinden van structurele verbeteringen), wordt de kosten-batenverhouding geoptimaliseerd.
• Generalisatie: Het CGR-paradigma biedt een algemeen ontwerppatroon voor het bouwen van betrouwbare AI-agenten die hun redenering verankeren in berekeningen, wat essentieel is voor toepassingen waar fouten kritieke gevolgen hebben (zoals industriële veiligheid).

De code is open-source beschikbaar gesteld om reproduceerbaarheid en verder onderzoek te bevorderen.