EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

Dit artikel introduceert de EgoCampus-dataset en het bijbehorende EgoCampusNet-model, die gebruikmaken van Meta's Project Aria-brillen om oogbewegingen van voetgangers in realistische buitenomgevingen te analyseren en te voorspellen.

De kern

EgoCampus: De "Blik van de Wandelende Mens" in Eenvoudig Nederlands

Stel je voor dat je door een drukke universiteitscampus loopt. Je ogen zijn niet alleen bezig met het zien van de weg; ze springen van de ene naar de andere plek. Je kijkt naar een bordje, een boom, een vriend die je ziet, of je controleert even of je niet op een hond stapt.

Deze paper, getiteld EgoCampus, probeert precies te begrijpen waarom mensen op die specifieke momenten naar die specifieke plekken kijken. Het is als een detectiveverhaal, maar dan met camera's in plaats van vergrootglazen.

Hier is hoe ze het hebben aangepakt, vertaald in alledaags taal:

1. Het Probleem: Waarom kijken mensen waar ze kijken?

Vroeger keken onderzoekers vooral naar mensen die stilstonden en naar een scherm staarden, of naar mensen die in een keuken aan het koken waren. Maar hoe zit het met mensen die lopen in de echte wereld? Dat is veel moeilijker te voorspellen. Als je loopt, is je blik een dans tussen "waar moet ik heen?" (navigatie) en "wat is er interessant?" (nieuws, gevaar, vrienden).

2. De Oplossing: Een bril met een geheugen

De onderzoekers van de Rutgers-universiteit hebben een nieuw dataset gemaakt genaamd EgoCampus.

• De "Superbril": Ze lieten 82 verschillende mensen een speciale bril dragen (de Project Aria bril). Deze bril is niet alleen een camera, maar ook een slimme sensor. Hij filmt wat je ziet, maar hij houdt ook bij waar je ogen precies naar kijken (eye-tracking), hoe snel je loopt, en zelfs waar je bent via GPS.
• De Route: De mensen liepen 25 verschillende routes over het campusgebied (totaal 6 kilometer lang). Het was alsof ze een rondje liepen door een levendige stad, maar dan met een camera die alles opneemt.
• Het Resultaat: Ze hebben 32 uur aan video verzameld. Dat is een enorme schat aan data waarin je kunt zien: "Ah, toen de persoon linksaf draaide, keek hij eerst naar het bordje en toen naar de weg."

Een creatieve analogie:
Stel je voor dat je een film maakt van een wandeling, maar in plaats van alleen de beelden te tonen, teken je ook een rode stip op het scherm die precies aangeeft waar de wandelaar naar kijkt. EgoCampus is die film, maar dan met 82 verschillende acteurs en een rode stip die nooit liegt.

3. De Slimme Computer: EgoCampusNet

Met deze video's hebben ze een nieuwe computerprogramma gemaakt, genaamd EgoCampusNet.

• Hoe werkt het? Stel je voor dat de computer een film kijkt. Hij probeert te raden: "Waar zal de volgende persoon naar kijken?"
• De truc: De computer kijkt niet alleen naar het huidige beeld, maar ook naar wat er daarvoor is gebeurd. Hij combineert de beweging (loopt de persoon snel?) met het beeld (is er een auto die eraan komt?).
• Het doel: De computer leert een soort "blik-voorspeller". Hij probeert te begrijpen dat als je naar een kruising loopt, je waarschijnlijk naar het verkeer kijkt, en niet naar de lucht.

4. Wat hebben ze ontdekt?

Toen ze de computer lieten testen, zagen ze een paar interessante dingen:

• De "Midden-vooringenomenheid": Mensen kijken vaak naar het midden van hun gezichtsveld als ze gewoon rechtdoor lopen. Veel oude computersystemen maakten de fout om altijd naar het midden te kijken.
• De echte uitdaging: De echte kunst is om te voorspellen wanneer iemand afwijkt van het midden. Bijvoorbeeld: als er plotseling een hond oversteekt, kijken mensen niet meer naar het midden, maar naar de hond.
• De winnaar: Hun nieuwe model (EgoCampusNet) is goed in het voorspellen van deze afwijkingen, maar het is nog niet perfect. Het is een sterke start, maar het laat zien dat er nog veel te leren valt over hoe mensen hun omgeving scannen.

5. Waarom is dit belangrijk?

Dit klinkt misschien als een klein wetenschappelijk experiment, maar het heeft grote gevolgen:

• Voor robots: Als we robots willen maken die veilig met mensen door de stad kunnen lopen, moeten die robots begrijpen waar mensen naar kijken. Als een robot ziet dat een mens naar een auto kijkt, weet hij: "Oh, die mens ziet een gevaar, ik moet ook stoppen."
• Voor navigatie: Het helpt bij het maken van apps of systemen die zich aanpassen aan hoe mensen echt door de wereld bewegen, in plaats van hoe we denken dat ze bewegen.

Samenvattend:
De onderzoekers hebben een "blik-kaart" gemaakt van een universiteitscampus. Ze hebben een slimme computer getraind om te raden waar mensen naar kijken terwijl ze lopen. Het is als het leren van de taal van de menselijke blik, zodat robots en computers in de toekomst beter kunnen meedenken met onze wandelingen in de echte wereld.

De data en de code worden later openbaar gemaakt, zodat andere onderzoekers (en misschien jij!) hierop kunnen bouwen om de wereld nog slimmer te maken.

Technische samenvatting

Probleemstelling

Het voorspellen van menselijke visuele aandacht tijdens real-world navigatie is een fundamentele uitdaging voor het interpreteren van gedrag en intenties. Bestaand onderzoek richt zich vaak op beperkte omgevingen (zoals statische afbeeldingen, schermgebaseerde video's of gestructureerde binnenactiviteiten zoals koken). Er is een gebrek aan grote datasets en modellen die specifiek gericht zijn op buitenlopende voetgangers in ongestructureerde omgevingen. Bestaande datasets zoals Ego4D bevatten beperkte oogvolgingsdata voor buitenlopende navigatie, en andere datasets missen vaak de synchronisatie met rijk sensorische data (zoals IMU en GPS) die nodig is om de context van beweging te begrijpen.

Methodologie

1. Het EgoCampus Dataset

De auteurs hebben een nieuw, multimodaal dataset verzameld genaamd EgoCampus.

• Hardware: Gebruik van de Meta Project Aria bril, die een voorwaartse RGB-camera (1408x1408, 30Hz), twee inwaartse monochrome camera's voor oogvolging, en diverse sensoren (IMU, magnetometer, barometer, GPS, Wi-Fi/Bluetooth) integreert.
• Datacollectie: 82 unieke deelnemers hebben 25 verschillende vooraf gedefinieerde routes (totaal 6 km) op de Rutgers-universiteitscampus afgelegd.
• Dataomvang: Ongeveer 32 uur video (ca. 3,5 miljoen frames) met gesynchroniseerde oogcoördinaten en sensordata.
• Verwerking: Raw VRS-bestanden zijn verwerkt waarbij gezichten van voorbijgangers zijn verduisterd (via EgoBlur) om privacy te waarborgen. De data is gesynchroniseerd zodat elke RGB-frame correspondeert met de dichtstbijzijnde oogvolgingscoördinaten en gemiddelde IMU-data.
• Statistieken: Het dataset bevat continue trajecten (gemiddeld 108,2 seconden per clip), in tegenstelling tot de korte clips in vergelijkbare datasets.

2. Het EgoCampusNet (ECN) Model

Om oogvolging te voorspellen, hebben de auteurs EgoCampusNet (ECN) ontwikkeld.

• Architectuur: Het model is een spatio-temporele fusie-architectuur.
  • Video-encoder: Een vooraf getrainde video-backbone (X3D) extrahert spatio-temporele features uit een video-clip (context van de beweging).
  • Query-frame encoder: Een aparte ResNet-encoder verwerkt de huidige frame (de "query") om ruimtelijke features te extraheren.
  • Fusie: De features van de video en de query-frame worden samengevoegd (geconcateneerd) en door een CNN-decoder geleid.
• Output: Het model voorspelt een hittekaart (heatmap) die de waarschijnlijkheid aangeeft waar de kijker naar zal kijken.
• Training: Getraind op een NVIDIA RTX 3090 met MSE-loss en de ADAM-optimizer.

Kernbijdragen

1. EgoCampus Dataset: Een uniek, openbaar beschikbaar dataset specifiek voor voetgangersoogvolging buiten, met gesynchroniseerde video, oogdata en multimodale sensoren (IMU, GPS, etc.). Het is groter en continuër dan bestaande vergelijkbare datasets (zoals GEETUP).
2. EgoCampusNet (ECN): Een efficiënt model dat spatio-temporele context gebruikt om oogvolging te voorspellen, met een aanzienlijk lager aantal parameters dan state-of-the-art modellen.
3. Nieuwe Evaluatiestrategie: De auteurs introduceren een prior-gewogen evaluatiestrategie. Omdat oogvolgingsdata vaak een sterke "centrumbias" heeft (mensen kijken vaak recht vooruit), worden de prestatiemetrics gewogen op basis van de Jensen-Shannon-divergentie ten opzichte van de dataset-prior. Dit straft modellen af die alleen de centrumbias kopiëren en beloont modellen die afwijkingen (off-axis aandacht) correct voorspellen.

Resultaten

• Kwantitatieve Evaluatie:
  • In standaard metingen (AUC-Judd, CC, SIM) presteert ECN competitief, maar GLC [27] (een model met een groter aantal parameters) scoort het hoogst.
  • Echter, bij gebruik van de prior-gewogen metrics (Tabel 3 in het paper) blijkt dat veel bestaande modellen (zoals DeepGazeIIE en dataset-priors) sterk afhankelijk zijn van de centrumbias. Hun prestaties dalen aanzienlijk wanneer deze bias wordt gecorrigeerd.
  • ECN toont een meer bescheiden daling en GLC toont zelfs verbetering in sommige metrics (zoals F1-score +9%), wat aangeeft dat deze modellen beter in staat zijn om actieve, niet-centrale aandacht te voorspellen.
• Kwalitatieve Analyse:
  • ECN leert een sterke centrumbias, wat logisch is voor voetgangers die vaak recht vooruit kijken.
  • Andere modellen (zoals EML-Net) neigen tot het overschatten van het kijkgebied of kijken onrealistisch vaak naar gezichten van andere voetgangers, terwijl ECN en sterke concurrenten conservatievere, maar realistischere voorspellingen doen die rekening houden met de navigatierichting.
• Inzicht in Aandacht: Analyse van de dataset toont aan dat bij snelle hoofdbewegingen (12,5% van de data) de aandacht voornamelijk wordt getrokken door structurele landmarks (gebouwen, bomen) en navigatiehulpmiddelen, in plaats van willekeurige objecten.

Betekenis en Impact

• Embodied AI en HRI: De dataset en het model zijn cruciaal voor het trainen van embodied agents (robots) die in menselijke omgevingen moeten navigeren. Het begrijpen van menselijke aandacht helpt robots om anticiperend te handelen en veilig te coöneren.
• Nieuwe Benchmark: EgoCampus vult een gat in de literatuur door een grote, consistente dataset te bieden voor buiten navigatie, wat eerder ontbrak.
• Toekomstige Toepassingen: De dataset (en de gerelateerde YOPO-Campus dataset voor robots) biedt een unieke basis voor het ontwikkelen van ruimtelijk-temporele omgevingsbemonsteringsmethoden die menselijke aandacht nabootsen.

Kortom, dit werk levert zowel een essentiële dataresource als een robuust model aan voor het begrijpen en voorspellen van menselijke visuele aandacht tijdens het lopen in de echte wereld.