GazeMoE: Perception of Gaze Target with Mixture-of-Experts

GazeMoE is een nieuw end-to-end framework dat een mix van experts (MoE) gebruikt om een bevroren visuele foundation model te laten selectief gebruikmaken van meervoudige aanwijzingen voor het nauwkeurig en robuust schatten van menselijke blikdoelen, waarbij het de huidige stand van de techniek op benchmark-datasets verbetert.

De kern

GazeMoE: De slimme "blik-vanger" voor robots

Stel je voor dat je een robot wilt bouwen die echt begrijpt waar mensen naar kijken. Niet alleen waar hun ogen naartoe draaien, maar ook waarom ze daar kijken. Kijken ze naar een vriend? Naar een gevaarlijk object? Of kijken ze naar iets dat zelfs niet op de foto staat?

Dit is een heel lastige puzzel voor computers. Mensen kijken soms naar iets dat buiten beeld is, of hun gezicht staat in de schaduw, of er is een kind in beeld dat nog niet goed kan focussen.

De onderzoekers van deze paper hebben een nieuwe oplossing bedacht die ze GazeMoE noemen. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. De "Super-Bril" (De Basis)

Stel je voor dat je een robot hebt met een bril die hij al jaren draagt. Deze bril is zo slim dat hij alles in de wereld al kent: hoe mensen eruitzien, hoe gebaren werken, en hoe een kamer eruitziet. In de tech-wereld heet dit een "foundation model" (in dit geval een model genaamd DINOv2).

De onderzoekers hebben deze bril niet opnieuw laten leren. Ze hebben hem gewoon "vastgezet" (frozen). Waarom? Omdat die bril al zo goed is dat hij niet meer hoeft te studeren. Hij is de expert.

2. Het "Expert-panel" (De MoE)

Hier komt het slimme deel: GazeMoE.

Stel je voor dat je een moeilijke vraag stelt aan een groep experts. Soms heb je een expert nodig die goed is in gebaren, soms een die goed is in hoofdstand, en soms een die goed is in wat er om hen heen gebeurt.

In plaats van dat één persoon alles moet weten, heeft GazeMoE een panel van experts (de "Mixture-of-Experts" of MoE).

• Er is één algemene expert die voor de basiszorgen zorgt.
• Er zijn vier specifieke experts die elk een specialisme hebben (bijvoorbeeld: "Kijk naar de ogen" of "Kijk naar de handgebaren").

Wanneer de robot een nieuwe situatie ziet, doet er een slimme manager (de "router") zijn werk. Deze manager kijkt naar de situatie en zegt: "Oké, vandaag is het mistig en zie ik de ogen niet goed. Laat de 'oog-expert' rusten en laat de 'hoofd-expert' en de 'context-expert' het werk doen."

Dit is als een restaurantkeuken waar de chef-kok niet zelf alles kookt, maar afhankelijk van wat er in de koelkast zit, de juiste sous-chefs laat werken. Zo wordt het systeem veel flexibeler en slimmer.

3. Het "Leren van fouten" (De Loss Functie)

Oude systemen hadden vaak moeite met een specifiek probleem: ongelijke verdeling.
Stel je voor dat je een robot traint met 100 foto's. Op 90 foto's kijkt iemand naar iets in het beeld, en op slechts 10 foto's kijkt iemand naar iets buiten het beeld. De robot wordt dan lui en denkt: "Ik gok maar altijd op 'in beeld', want dat is vaak goed."

GazeMoE gebruikt een slimme truc (een "Focal Loss") die de robot dwingt om extra hard te leren van die moeilijke, zeldzame gevallen (de 10 foto's). Het is alsof de leraar zegt: "Je hebt de makkelijke vragen al goed, maar nu gaan we oefenen op die ene moeilijke vraag die je steeds fout doet, want die is het belangrijkst."

4. Het "Spiegelkastje" (Data Augmentatie)

Om de robot nog robuuster te maken, hebben de onderzoekers de trainingsdata op de kop getild. Ze hebben foto's:

• In het zwart-wit gezet.
• De kleuren veranderd.
• De scherpte aangepast.
• De foto's geknipt en geshift.

Dit is alsof je een kind leert fietsen niet alleen op een perfect vlak asfalt, maar ook op kasseien, in de regen en met een zware rugzak. Zo leert de robot om niet paniek te krijgen als de werkelijkheid niet perfect is.

Wat levert dit op?

De resultaten zijn indrukwekkend:

• Beter dan de rest: GazeMoE is de beste tot nu toe op bijna alle tests, zelfs op moeilijke foto's van kinderen of met visuele vervormingen (zoals bij een vis-oog lens).
• Snel genoeg: Het werkt snel genoeg om in een robot te zitten die in real-time met mensen kan praten of samenwerken.
• Veilig: Het werkt zelfs als de robot niet weet wat hij ziet (bijvoorbeeld in een lab waar mensen naar een pingpongbal kijken die buiten beeld is).

Kortom: GazeMoE is als een slimme robot die niet alleen naar de ogen kijkt, maar een heel team van specialisten heeft die samen beslissen waar je naar kijkt, zelfs als de situatie raar of onduidelijk is. Dit maakt robots veel menselijker en veiliger in onze dagelijkse wereld.

Technische samenvatting

Probleemstelling

Het schatten van het menselijke blikdoel (waar iemand naar kijkt) op basis van zichtbare beelden is cruciaal voor robots en autonome systemen om menselijke aandacht te begrijpen. Echter, het ontwikkelen van generaliseerbare neurale architecturen blijft uitdagend vanwege:

1. Complexiteit van visuele aanwijzingen: Blikdoelen zijn afhankelijk van meerdere factoren: oogpositie, hoofdstand, gebaren en contextuele kenmerken. Deze factoren zijn niet altijd even beschikbaar of zichtbaar (bijv. door occlusie of beeldvervorming).
2. Classificatie-ongelijkheid: In realistische scenario's komen "buiten het beeld" (out-of-frame) doelen vaak voor, maar zijn deze in bestaande datasets vaak ondervertegenwoordigd, wat leidt tot class imbalance.
3. Generalisatie: Bestaande modellen presteren vaak slecht in onbekende scenario's, zoals bij kinderen, mensen met autisme, of bij extreme beeldvervorming (zoals bij visserooglenzen/360° beelden).
4. Optimalisatie van de decoder: Er is nog geen consensus over de optimale decoder-architectuur of trainingsstrategie (augmentaties en verliesfuncties) om deze taken robuust op te lossen.

Methodologie: GazeMoE

De auteurs stellen GazeMoE voor, een end-to-end framework dat een Mixture-of-Experts (MoE) architectuur integreert met een bevroren visuele foundation model.

1. Architectuur:

• Encoder: Het model gebruikt een bevroren DINOv2 (ViT-Large) als encoder om fijne, scene-specifieke representaties te extraheren. Dit elimineert de noodzaak voor aparte leerbare paden voor hoofdposities.
• Decoder met MoE: De kern van de innovatie is een decoder die bestaat uit Transformer-blokken met een MoE-module.
  • Gedeelde Experts (Shared Experts): Er is één gedeelde expert die algemene scene-kenmerken verwerkt.
  • Gerouteerde Experts (Routed Experts): Er zijn vier gespecialiseerde experts die elk een specifieke visuele aanwijzing leren (oog-uitstraling, hoofdstand, gebaren, contextuele salientie).
  • Gating Mechanisme: Een gating-netwerk selecteert dynamisch de top-2 experts (K=2) voor elk invoerbeeld. Dit zorgt ervoor dat het model adaptief kan schakelen tussen verschillende aanwijzingen afhankelijk van wat in de scène zichtbaar is, terwijl ruis wordt weggefilterd.
• Output Heads:
  • Een Heatmap Head voorspelt de waarschijnlijkheidsverdeling van het blikdoel binnen het kader.
  • Een Classificatie Head bepaalt of het doel binnen (in-frame) of buiten (out-of-frame) het beeldveld ligt.

2. Trainingsstrategie en Verliesfuncties:

• Verliesfunctie voor Heatmap: In plaats van de gebruikelijke Mean Squared Error (MSE), gebruiken de auteurs Pixel-wise Binary Cross-Entropy (BCE). Dit is minder gevoelig voor de grootte van probabilistische fouten (bijv. een voorspelling van 0.9 vs. 1.0) en werkt beter met onvolmaakte heatmaps.
• Focal Loss voor Classificatie: Om het probleem van class imbalance (te weinig "out-of-frame" voorbeelden) aan te pakken, introduceren ze een Focal Loss als auxiliair verlies voor de in/out-classificatie. Dit focust de training op moeilijke, minderheidssamples.
• Data Augmentatie: Een uitgebreide set augmentaties wordt toegepast om robuustheid te vergroten, waaronder:
  • Willekeurige cropping en horizontale spiegeling.
  • Fotometrische veranderingen: kleurstoring (colour jittering), willekeurige grijstinten, contrastaanpassing en scherptewijziging.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: GazeMoE is het eerste model dat een gespecialiseerde MoE-structuur toepast op blikdoel-schatting, waardoor adaptieve integratie van verschillende visuele cues mogelijk is.
2. Optimale Trainingsstrategie: De paper introduceert een bewezen optimale combinatie van verliesfuncties (BCE + Focal Loss) en een uitgebreide augmentatie-pipeline die essentieel is voor generalisatie.
3. State-of-the-Art Resultaten: Het model presteert superieur op diverse benchmarks, inclusief uitdagende scenario's zoals 360° beelden en datasets met kinderen.
4. Robuustheid: Het model toont uitstekende generalisatie in out-of-distribution scenario's (bijv. visserooglenzen en zero-shot inferentie), wat aantoont dat het niet afhankelijk is van strikte "line-of-sight" aannames.

Resultaten

GazeMoE werd geëvalueerd op vijf datasets: GazeFollow, VideoAttentionTarget (VAT), ChildPlay, GazeFollow360 en EYEDIAP.

• GazeFollow & VAT: GazeMoE behaalde de beste resultaten (SOTA) met een AUC van 0.959 op GazeFollow en 0.939 op VAT, verslaand eerdere methoden zoals Gaze-LLE en ESCNet.
• ChildPlay: Het model presteerde het beste bij het schatten van het blik van kinderen (AUC 0.945), wat complex is vanwege de cognitieve ontwikkelingsfase.
• GazeFollow360: Op 360° beelden met zware vervorming behaalde het een AUC van 0.923, wat dicht bij menselijke prestaties ligt en aantoont dat het model goed omgaat met projectievervorming.
• EYEDIAP (Zero-Shot): Zelfs zonder finetuning op deze dataset (zero-shot inferentie) presteerde GazeMoE het beste, wat de sterke generalisatiekracht van de MoE-architectuur bevestigt.
• Efficiëntie: Met een latentie van 74.2 ms per frame (ongeveer 13 fps) is het model geschikt voor real-time toepassingen, zoals mens-robotinteractie, ondanks een iets hoger geheugengebruik dan sommige concurrenten.

Betekenis en Impact

GazeMoE markeert een belangrijke stap voorwaarts in de visuele aandachtsschatting. Door de MoE-architectuur te combineren met een krachtige foundation model (DINOv2), overwint het de beperkingen van eerdere modellen die vaak faalden bij ontbrekende visuele cues of in onbekende omgevingen.

De belangrijkste implicaties zijn:

• Robuustheid in de echte wereld: Het model is minder kwetsbaar voor occlusies, vervormingen en diverse subjectgroepen (kinderen, autisme).
• Toepasbaarheid voor Robots: De real-time prestaties maken het direct inzetbaar voor robots die menselijke intentie en aandacht moeten interpreteren zonder invasieve headsets.
• Nieuwe Benchmark: De combinatie van MoE, Focal Loss en specifieke augmentaties biedt een nieuw referentiekader voor toekomstig onderzoek op dit gebied.

De code en vooringestelde modellen zijn openbaar beschikbaar gesteld, wat de adoptie en verdere ontwikkeling in de gemeenschap zal stimuleren.