Learning Situated Awareness in the Real World

Deze paper introduceert SAW-Bench, een nieuw benchmark voor het evalueren van egocentrisch ruimtelijk inzicht in multimodale modellen door middel van real-world video's, waarbij een aanzienlijke prestatiekloof met mensen wordt blootgelegd en de beperkingen van modellen in het begrijpen van observer-gerelateerde ruimtelijke dynamiek worden geanalyseerd.

De kern

De "Zicht op de Wereld" Test: Waarom AI nog niet echt "in" de wereld loopt

Stel je voor dat je een robot bouwt die perfect kan zien. Hij herkent een stoel, een boom en een auto. Maar als je hem vraagt: "Kun je die stoel aanraken zonder je voeten te verplaatsen?" of "Hoe kom ik terug naar waar ik begon, terwijl ik mijn hoofd draai?", dan raakt hij in de war.

Dit is precies het probleem dat de onderzoekers van dit paper (SAW-Bench) hebben opgelost. Ze hebben een nieuwe test ontwikkeld om te kijken of AI-systemen echt begrijpen hoe ze zich in de wereld bewegen, of dat ze alleen maar naar plaatjes kijken alsof ze door een raam staren.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Vlinder" vs. De "Wandelaar"

Tot nu toe waren de tests voor slimme computers (zoals die van Google of OpenAI) gericht op dingen die een vlinder zou doen. Een vlinder ziet een bloem en een bij en denkt: "Die bloem staat links van de bij." Dit noemen ze object-gericht.

Maar mensen zijn wandelaars. Als jij door een kamer loopt en je hoofd draait, verandert alles wat je ziet. Je moet weten: "Ik ben nu hier, ik heb naar links gekeken, en die deur was eigenlijk rechts van me." Dit noemen ze situatiebewustzijn (situated awareness).

De oude tests keken alleen naar de vlinder-perspectief. Ze vergeten dat de AI ook een lichaam heeft dat beweegt. Het is alsof je iemand test op zijn kennis van de stad, maar je geeft hem alleen een plattegrond en vraagt hem niet hoe het voelt om er echt te lopen.

2. De Oplossing: SAW-Bench (De "Echte" Test)

De onderzoekers hebben een nieuwe test gemaakt, genaamd SAW-Bench.

• Hoe werkt het? Ze hebben mensen een bril opgezet (Ray-Ban Meta) die een video opneemt vanuit hun ogen (eerste persoon).
• Wat doen de mensen? Ze lopen door huizen en tuinen, draaien hun hoofd, maken bochten en kijken omhoog.
• De Vragen: De AI moet vragen beantwoorden zoals:
  • "Zie ik nu dezelfde lantaarnpaal als aan het begin?" (Ruimtelijk geheugen)
  • "Kan ik die borden aanraken zonder te leunen?" (Ruimtelijk vermogen)
  • "Hoe loop ik terug naar mijn startpunt?" (Terugweg plannen)

Het is alsof je de AI een blinddoek opzet, hem een wandeling laat maken, en hem daarna vraagt: "Waar was je precies, en hoe kom je terug?"

3. De Resultaten: De AI is nog een "Vlinder"

De onderzoekers hebben 24 verschillende slimme computers getest. Het nieuws is niet zo goed:

• Mensen scoorden bijna perfect (91,5%). Voor ons is het heel makkelijk om te weten waar we zijn.
• De beste AI (Gemini 3 Flash) scoorde maar 53,8%. Dat is net iets meer dan een half goed.

Waarom lukt het de AI niet?
De onderzoekers vonden vier grote fouten, die je zo kunt voorstellen:

1. Verwarring tussen "Kijken" en "Lopen":
   Als jij je hoofd draait, zie je de wereld bewegen. De AI denkt vaak: "Oh, de wereld beweegt, dus ik moet hebben gelopen!"

   • Vergelijking: Stel je zit in een trein en kijkt naar buiten. Als je hoofd draait, lijkt het alsof de bomen dansen. De AI denkt dat jij door de trein bent gelopen, terwijl je alleen je hoofd hebt bewogen.

2. Het "Vergeetachtige" Geheugen:
   Als een object uit beeld verdwijnt (bijvoorbeeld omdat je je hoofd draait), denkt de AI vaak dat het object verdwenen is.

   • Vergelijking: Als je naar de koelkast kijkt en hem sluit, denkt de AI dat de melk weg is. Voor een mens is het logisch dat de melk er nog is, alleen zie je hem even niet.

3. De "Korte" Route:
   Bij het plannen van een terugweg, kijken sommige AI's alleen naar het begin en het einde van de video. Ze proberen een "shortcut" te vinden, in plaats van de hele wandeling te onthouden.

   • Vergelijking: Het is alsof iemand vraagt: "Hoe ben je van huis naar school gekomen?" en de AI antwoordt: "Ik ben er gewoon." zonder te vertellen dat je eerst linksaf, dan rechtdoor en toen rechtsaf bent gegaan.

4. Binnen vs. Buiten:
   Mensen denken dat buiten (grote parken) moeilijker is dan binnen (krappe gangen). Maar voor de AI maakt het niet zoveel verschil. Ze zijn even slecht in beide. De "grootte" van de ruimte is niet het probleem; het is het begrijpen van je eigen beweging.

4. Waarom is dit belangrijk?

Je zou kunnen denken: "Wie wil er nou een robot die niet weet waar hij loopt?"
Maar dit is cruciaal voor:

• Robotica: Een robot die een glas water moet brengen, moet weten of hij zijn arm kan uitstrekken zonder te vallen.
• Augmented Reality (AR/VR): Als je een bril draagt die virtuele objecten in je kamer zet, moet de computer precies weten waar jij staat en hoe je kijkt, anders zweven de objecten door de muur.
• Hulp voor ouderen: Een robot die helpt in huis moet begrijpen dat jij nu naar de keuken loopt en niet naar de slaapkamer.

Conclusie

Deze paper zegt eigenlijk: "Onze computers zijn heel slim in het kijken naar plaatjes, maar ze zijn nog niet slim in het voelen van de wereld."

SAW-Bench is de nieuwe schooltest die ze moeten halen voordat we echt op robots kunnen vertrouwen om door onze huizen en straten te lopen. Het is de stap van "kijken" naar "ervaren".

Technische samenvatting

Titel: Learning Situated Awareness in the Real World (SAW-Bench)

Auteurs: Chuhan Li et al. (UCSB, Yale, Stanford, UMD, Amazon, UC Merced)
Doel: Het introduceren van SAW-Bench, een nieuw benchmark voor het evalueren van de "situational awareness" (situatiebewustzijn) van multimodale foundation modellen (MFMs) in de echte wereld, specifiek gericht op waarneming vanuit het perspectief van de waarnemer (egocentrisch).

---

1. Het Probleem

Bestaande benchmarks voor multimodale foundation modellen (zoals VSI-Bench en MindCube) focussen voornamelijk op allocentrische ruimtelijke redenering. Dit betekent dat modellen worden getest op hun vermogen om relaties tussen objecten in een scène te begrijpen vanuit een neutraal, extern perspectief (bijv. "wat is de afstand tussen object A en B?").

Er is echter een cruciaal gat in de evaluatie: egocentrische situational awareness. Dit is het vermogen van een agent om zijn eigen positie, oriëntatie en beweging te relateren aan de omgeving. Mensen ervaren de wereld niet als statische waarnemers, maar als bewegend subjecten die continu hun eigen positie en het perspectief van hun lichaam bijwerken. Bestaande benchmarks negeren deze observer-gerelateerde dynamiek, wat leidt tot modellen die goed zijn in statische ruimtelijke analyse, maar falen bij het begrijpen van beweging, padintegratie en fysieke haalbaarheid vanuit een eerste-perspectief.

2. Methodologie: SAW-Bench

Om dit gat te dichten, hebben de auteurs SAW-Bench ontwikkeld. Dit is een benchmark specifiek ontworpen voor het testen van situational awareness in real-world video's.

• Dataverzameling:

  • Bron: 786 zelfopgenomen video's gemaakt met Ray-Ban Meta (Gen 2) slimme brillen.
  • Omgeving: Een mix van binnen- en buitenruimtes (10 buitenlocaties, 5 binnenlocaties).
  • Protocol: De opnames volgen vooraf gedefinieerde trajecten (bijv. Manhattan-stijl, zigzag, cirkels) waarbij de deelnemers hun hoofd bewegen terwijl ze lopen. Dit creëert complexe camera-bewegingen die rotatie en translatie combineren.
  • Data: Meer dan 2.071 menselijk geannoteerde vraag-antwoordparen.

• De 6 Taken (Awareness Tasks):
  De benchmark test modellen op zes specifieke vaardigheden die essentieel zijn voor situational awareness:

  1. Self-Localization: Waar bevind ik mij in de ruimte (hoek, zijkant, centrum)?
  2. Relative Direction: Waar was ik ten opzichte van mijn huidige positie aan het begin van de video?
  3. Route Shape: Wat is de geometrische vorm van mijn bewegingstraject?
  4. Reverse Route Plan: Hoe kan ik terugkeren naar mijn startpunt vanuit mijn huidige positie?
  5. Spatial Memory: Welk object is veranderd tussen het begin en het einde van de video (ondanks dat het tijdelijk uit beeld was)?
  6. Spatial Affordance: Is een specifieke actie fysiek haalbaar vanuit mijn huidige positie (bijv. "Kan ik dit object aanraken zonder te leunen?").

• Evaluatie:
  Er zijn 24 modellen getest (16 open-source en 8 proprietair, waaronder Gemini 3 Flash, GPT-5, Qwen-VL en LLaVA-serie). De evaluatie is "zero-shot" en gebruikt alleen de egocentrische video als input, zonder toegang tot globale kaartweergaven of 3D-reconstructies.

3. Belangrijkste Resultaten

De resultaten tonen een aanzienlijke kloof tussen menselijke prestaties en die van de beste AI-modellen:

• Algemene Prestatie: De beste presterende MFM, Gemini 3 Flash, behaalde een nauwkeurigheid van 53,89%.
• Menselijke Benchmark: Mensen behaalden 91,55% nauwkeurigheid.
• De Kloof: Er is een prestatiekloof van 37,66% tussen de beste AI en mensen.
• Modellenvergelijking: Propriëtaire modellen presteerden over het algemeen beter dan open-source modellen, maar geen enkel model kwam in de buurt van menselijk niveau.
• Taak-specifieke inzichten:
  • Modellen doen het relatief goed op Spatial Memory en Spatial Affordance (waar diepte en objectherkenning belangrijk zijn).
  • Ze falen dramatisch bij Reverse Route Plan en complexe Relative Direction taken, wat wijst op een gebrek aan vermogen om beweging over tijd te integreren.

4. Analyse van Foutpatronen (Key Findings)

De auteurs identificeerden vier systematische fouten in het gedrag van de modellen:

1. Verwarring tussen Rotatie en Translatie: Modellen kunnen vaak niet onderscheiden of de camera beweegt (translatie) of dat alleen het hoofd draait (rotatie). Ze interpreteren vaak camera-rotaties als fysieke beweging van de gebruiker, wat leidt tot foutieve trajectschattingen (bijv. een rechte weg met draaiend hoofd wordt gezien als een zigzag).
2. Afname bij Complexiteit: De nauwkeurigheid daalt sterk naarmate het bewegingstraject complexer wordt (meer bochten). Mensen handhaven hun prestaties, terwijl modellen cumulatieve fouten maken bij het integreren van opeenvolgende oriëntatieveranderingen.
3. Gebrek aan Persistentie: Modellen hebben moeite om objecten te onthouden die tijdelijk uit beeld zijn. Als een object niet zichtbaar is in een frame, gaan modellen er vaak ten onrechte van uit dat het object niet bestaat of is verdwenen, in plaats van het te onthouden als een statisch element in de wereld.
4. Omgeving is geen proxy voor moeilijkheid: De grootte van de omgeving (binnen vs. buiten) bepaalt niet per se de moeilijkheidsgraad. Buitenscènes met minder objecten kunnen soms makkelijker zijn dan drukke binnenscènes, wat suggereert dat "ruimtelijke complexiteit" niet lineair correleert met de schaal van de scène.

5. Betekenis en Impact

SAW-Bench is een mijlpaal in de ontwikkeling van ruimtelijke intelligentie voor AI:

• Van Passief naar Actief: Het schuift de focus van passieve observatie naar actief, fysiek verankerd begrip van de wereld. Dit is essentieel voor toepassingen waar de AI een fysiek lichaam of een draagbaar apparaat heeft.
• Robotica en AR/VR: Voor robots is het cruciaal om te weten waar ze zijn ten opzichte van hun eigen lichaam om te kunnen grijpen of navigeren. Voor Augmented Reality (AR) en Virtual Reality (VR) is het nodig om virtuele content te synchroniseren met de fysieke perspectief van de gebruiker.
• Toekomstige Richting: Het paper benadrukt dat huidige MFMs nog geen robuust "observer-centric" coördinatenstelsel hebben. Toekomstig onderzoek moet zich richten op het verbeteren van padintegratie (path integration) en het onderscheiden van camera-beweging van lichaam-beweging.

Conclusie: SAW-Bench blootlegt fundamentele beperkingen in het huidige ruimtelijke redeneringsvermogen van AI-modellen en biedt een diagnose-instrument om systemen te ontwikkelen die de wereld echt "voelen" en navigeren vanuit een menselijk perspectief, in plaats van alleen te kijken als een statische waarnemer.