EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence

Titel: EagleVision: Een Dual-Stage Framework met BEV-gebaseerde Chain-of-Thought voor Ruimtelijke Intelligentie

1. Het Probleem

Ruimtelijk redeneren op video's (zoals het schatten van afstanden, het beoordelen van richtingen of het begrijpen van ruimtelijke lay-outs) is een fundamentele uitdaging voor multimodale grote taalmodellen (MLLM's). Bestaande modellen kampen met drie belangrijke beperkingen:

• Passieve Frame-selectie: MLLM's gebruiken doorgaans een vast aantal uniform gesamplede frames binnen een token-begroting. Dit leidt vaak tot het missen van cruciale gezichtspunten die nodig zijn voor betrouwbare 3D-inferentie (geometrische parallax).
• Gebrek aan Actieve Zoekcapaciteit: Zodra de initiële frames zijn geselecteerd, kunnen bestaande modellen geen nieuwe beelden aanvragen tijdens het redeneringsproces, zelfs niet als het bewijsmateriaal ontoereikend is.
• Afwijking tussen 2D en 3D: Bestaande methoden gebruiken vaak statische 3D-reconstructies of dieptekaarten als "black box", zonder dat het model actief nieuwe perspectieven kan kiezen om een hypothese te verifiëren.

Het doel is om een systeem te creëren dat niet alleen "denkt" met tekst, maar actief "kijkt" met de juiste beelden in een gedeeld 3D-coördinatenstelsel.

2. Methodologie: EagleVision Framework

EagleVision introduceert een tweestapsframework dat ruimtelijk redeneren decomposeert in Macro Perceptie en Micro Verificatie.

A. Macro Perceptie (Frame-selectie)
In deze fase wordt een compacte set van sleutelframes geselecteerd die zowel semantisch relevant zijn voor de vraag als geometrisch divers in gezichtspunt.

• Geometrische Indexering: Een off-the-shelf SLAM-systeem (of VGGT) wordt gebruikt om camera-pose en dieptekaarten te reconstrueren, wat resulteert in een Bird's-Eye View (BEV) kaart van de scène.
• SPF-DPP (Semantics-Perspective-Fusion Determinantal Point Process): Dit is de kern van de selectie. Het model combineert twee factoren:
  1. Semantische relevantie: Berekend via FG-CLIP (hoe goed past het frame bij de tekstuele vraag?).
  2. Geometrische diversiteit: Gemodelleerd via een SE(3) pose-afstandsmetriek (translatie en rotatie) en een diffusie-kern op een graaf van gezichtspunten.
• Selectie: Een DPP (Determinantal Point Process) optimaliseert de selectie van $k$ frames onder een vaste token-begroting, waarbij het een balans zoekt tussen hoge kwaliteit (relevantie) en hoge diversiteit (weinig overlap in gezichtspunt).

B. Micro Verificatie (Actief Redeneren)
In deze fase voert het model een iteratieve Spatial Multimodal Chain-of-Thought (Spatial MCoT) uit.

• Actieve View-selectie: Het model kan op elk moment kiezen om:
  1. Tekst te genereren (redeneren).
  2. Een antwoord te geven.
  3. Een BEV-gebaseerde pose-vraag te stellen. Het model voorspelt een 2D-positie en oriëntatie op de BEV-kaart.
• Retrieval: Het systeem zoekt de dichtstbijzijnde echte video-frame die overeenkomt met de voorspelde pose (via een schaal-gevoelige afstandsmetriek) en voegt deze toe aan de context.
• Gesloten Lus: Dit vormt een cyclus van Hypothese → Kijken → Verifiëren. Het model kan zijn antwoord verfijnen naarmate het nieuwe beelden ophaalt.

C. Training zonder Menselijke CoT
Een unieke eigenschap is dat het model niet wordt getraind op menselijke annotaties van redeneertrajecten (Chain-of-Thought).

• Reinforcement Learning (GRPO): Het query-beleid wordt getraind met Group Relative Policy Optimization.
• Ruimtelijke Grounding Reward: De beloningssysteem straft het model als het een pose vraagt die buiten het bereik van de camera-trajecten valt (wat zou leiden tot een foutmelding). Dit dwingt het model om alleen zinvolle, bestaande gezichtspunten te vragen.

3. Belangrijkste Bijdragen

1. Dual-Stage Framework: Een nieuwe architectuur die macro-perceptie (slimme frame-selectie) koppelt aan micro-verificatie (actief zoeken naar beelden tijdens het redeneren).
2. SPF-DPP: Een innovatieve sampling-strategie die semantische relevantie en gezichtspunt-diversiteit gelijktijdig optimaliseert voor video-invoer.
3. BEV-Grounded Pose Querying: Een mechanisme waarbij het model abstracte ruimtelijke vragen vertaalt naar concrete camera-posities op een BEV-kaart om nieuwe frames op te halen.
4. RL-only Training: Het vermogen om complexe ruimtelijke zoekstrategieën te leren puur via versterkingslearning met een ruimtelijke grounding-reward, zonder menselijke CoT-annotaties.
5. State-of-the-Art Prestaties: EagleVision bereikt de beste resultaten onder open-source Vision-Language Modellen (VLM's) op twee belangrijke benchmarks.

4. Resultaten

Het model werd geëvalueerd op VSI-Bench (3D ruimtelijk begrip) en SQA3D (situational question answering).

• VSI-Bench: EagleVision behaalde een gemiddelde score van 63.5, wat een verbetering is van +4.1 punten ten opzichte van het basismodel (Qwen3-VL-8B) en +2.6 punten ten opzichte van de vorige state-of-the-art (VLM-3R-7B), zonder de modelarchitectuur zelf te wijzigen.
• SQA3D: Het model behaalde 60.3% (EM@1), wat significant beter is dan gespecialiseerde methoden zoals Spatial-MLLM (+4.4%) en SpatialMind (+14.0%).
• Ablatie Studies:
  • Het toevoegen van Spatial MCoT alleen verbeterde de prestaties al aanzienlijk.
  • BEV-grounding leverde een extra boost op door expliciete geometrische verankering.
  • SPF-DPP optimaliseerde de startset van frames verder.
  • De reward-functie voor "Spatial Grounding" bleek cruciaal om het model te leren geen ongeldige posities te vragen.
• Robuustheid: Het systeem is robuust tegen ruis in de camera-pose-schatting (bijv. door SLAM-fouten), omdat de "nearest-neighbor" retrieval fungeert als een buffer.

5. Betekenis en Impact

EagleVision markeert een verschuiving in multimodaal redeneren van passieve observatie naar actieve waarneming. Door het model in staat te stellen om tijdens het denken actief nieuwe informatie te vragen in een gedeeld 3D-coördinatenstelsel, overbrugt het de kloof tussen tekstuele redenering en fysieke ruimtelijke realiteit.

De belangrijkste implicaties zijn:

• Efficiëntie: Het vermijden van het verwerken van irrelevante frames door slimme selectie en actieve zoekopdrachten.
• Schaalbaarheid: Het elimineren van de noodzaak voor dure menselijke annotaties van redeneerpaden, wat de toepasbaarheid op nieuwe taken vergroot.
• Toepassingsgebied: Deze technologie is direct toepasbaar op autonoom rijden, robotica en geavanceerde video-analyse, waar het begrijpen van relatieve posities en het kunnen "rondkijken" in een virtuele ruimte essentieel is voor veilige en accurate besluitvorming.

Kortom, EagleVision bewijst dat MLLM's niet alleen "kijken" naar wat ze krijgen, maar kunnen leren "zoeken" naar wat ze nodig hebben om ruimtelijke vragen correct te beantwoorden.