CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

Stel je voor dat je een robot probeert te leren menselijke lichaamstaal te begrijpen. Je wilt dat de robot precies weet hoe iemand zijn hoofd kantelt, of iemand omhoog kijkt naar een vogel, omlaag naar een telefoon, of rondjes draait in een cirkel. Deze taak wordt Head Pose Estimation (HPE) genoemd, en het is een enorme zaak voor alles van virtual reality-games tot zelfrijdende auto's die moeten weten of een voetganger naar hen kijkt. Om een computer dit te leren, laten we het meestal duizenden foto's van gezichten zien. Maar hier komt het lastige gedeelte bij: in de echte wereld is het ongelooflijk zeldzaam om twee foto's van verschillende mensen te vinden die in exact dezelfde richting kijken. Het is also meer proberen twee vreemden in een vol stadion te vinden die allebei naar exact hetzelfde stofje aan het plafond staren. Omdat deze "overeenkomstige" paren zo moeilijk te vinden zijn, is een krachtige onderwijsmethode genaamd "contrastive learning" — die werkt door te vergelijken wat dingen gelijk maakt — voor deze specifieke taak in de modder blijven steken.

Nu komt een team onderzoekers die besloot een brug te bouwen over deze modderige kloof. Ze creëerden een nieuw framework genaamd CLERF (Contrastive LEaRning for Full Range Head Pose Estimation). In plaats van te wachten tot het universum hen voorzien van bijpassende foto's, gebruikten ze een speciaal soort AI-generator om hun eigen "tweeling"-foto's on the fly te maken. Ze realiseerden zich ook dat de meeste bestaande robotbreinen er verschrikkelijk in zijn om foto's af te handelen die zelfs maar een klein beetje gekanteld of gespiegeld zijn; als je een foto 10 graden draait, raakt de robot in de war. CLERF daarentegen is gebouwd om de volledige 360-graden wereld aan te kunnen, inclus�s ondersteboven hoofden, en blijft kalm, zelfs wanneer de foto's een beetje rommelig worden.

Het Probleen: De "Naald in een Hooiberg" van Hoofdposities

Denk aan head pose estimation als het leren van een student om richtingen te herkennen. Als je ze alleen foto's laat zien van mensen die recht vooruit kijken of lichtjes opzij, worden ze daar experts in. Maar als je hen vraagt om iemand te identificeren die recht omhoog kijkt, recht omlaag, of zelfs ondersteboven, kunnen ze falen omdat ze die hoeken nog nooit hebben gezien.

De onderzoekers ontdekten dat het proberen te gebruiken van "contrastive learning" voor deze volledige bewegingsvrijheid bijna onmogelijk was. In simpele termen is contrastive learning als een spelletje "zoek de verschillen" waarbij de computer leert door een "doelafbeelding" (de anchor) te vergelijken met een "match" (de positive) en een "mismatch" (de negative). Om goed te leren, moet de computer veel paren mensen zien die in dezelfde richting kijken. Maar in de enorme 3D-ruimte van hoofdbewegingen is het statistisch gezien bijna onmogelijk (minder dan 0,02% kans) om twee mensen te vinden die in exact dezelfde richting kijken. Zonder deze matches kan de computer de subtiele verschillen tussen hoeken niet leren.

De Oplossing: De Magische Spiegel en de Draaiende Kamer

Om dit op te lossen, bouwden de auteurs een slimme tweestaps-truc.

Stap 1: De Magische Spiegel (Synthetische Tweelingen)
In plaats van te zoeken naar echte mensen die op dezelfde manier kijken, gebruikten ze een "3D-bewuste GAN" (een type AI dat realistische 3D-beelden kan genereren) om een synthetische tweeling te creëren. Stel je voor: je hebt een foto van een persoon die lichtjes naar links kijkt. De AI genereert een nepfoto van een ander persoon die in exact diezelfde richting kijkt. Nu heeft de computer een perfect "positief paar" (een match) om te bestuderen. Dit lost het "naald in een hooiberg"-probleem op door de naalden te creëren wanneer ze ook maar nodig zijn.

Stap 2: De Draaiende Kamer (Geometrische Transformaties)
De onderzoekers realiseerden zich dat alleen het hebben van matches niet genoeg was; ze moesten de computer leren om elke hoek aan te kunnen, inclusief de vreemde zoals ondersteboven hoofden. Ze pasten wiskundige "flips" en "rotaties" toe op hun afbeeldingen. Denk hierbij aan het nemen van een foto en de kamer eromheen te laten draaien. Als je een foto van een persoon die naar links kijkt 180 graden draait, kijkt die persoon nu naar rechts. Door deze afbeeldingen wiskundig te flippen en te roteren, konden ze de volledige sfeer van hoofdbewegingen bestrijken, van -180 tot 180 graden, waardoor ze ervoor zorgden dat de computer elke mogelijke hoek zag.

Cruciaal was dat ze bewezen dat als je een paar bijpassende afbeeldingen op exact dezelfde manier roteert of flipt, ze nog steeds een match zijn. Dit stelde hen in staat om contrastive learning effectief te gebruiken, waarbij de computer leert dat een hoofd dat naar links kijkt fundamenteel anders is van een hoofd dat naar rechts kijkt, zelfs als de foto ondersteboven staat.

Wat Ze Vonden: De Robot die Niet Duizelig Wordt

Het team testte hun nieuwe model, CLERF, tegen de beste bestaande modellen met behulp van standaard testdatasets. Dit is wat er gebeurde:

• Op Normale Foto's: Wanneer getest op standaard, rechtopstaande foto's, presteerde CLERF net zo goed als de topmodellen. Het was geen wondermiddel dat alles direct perfect maakte, maar het hield stand.
• Op Lichtelijk Gekantelde Foto's: Hier gebeurde de magie. Wanneer de onderzoekers de testfoto's roteerden met 10 graden of flipten (waardoor ze "lichtelijk geaugmenteerde" of SA-versies creëerden), begonnen de oude modellen te struikelen. Hun nauwkeurigheid daalde aanzienlijk. CLERF bleef echter onverstoorbaar. Het was ongeveer 0,5 tot 1,3 graad nauwkeuriger dan het op één na beste model op deze lastige, licht geroteerde afbeeldingen.
• Op Extreem Grote Rotaties: Wanneer ze de modellen testten op afbeeldingen die zwaar geroteerd of geflipt waren (de "Full Range" of FA-versies), was het verschil enorm. De bestaande modellen, zelfs diegene die beweerden een volledig bereik aan te kunnen, raakten in de war en hun fouten sprongen met meer dan 10 graden omhoog. CLERF daarentegen handelde deze extreme hoeken met gemak en presteerde met een enorme marge beter dan de concurrentie.

De onderzoekers visualiseerden ook hoe de computer de wereld "zag". Ze lieten een video zien van een persoon die een volledige cirkel draait. De oude modellen zagen de draaiende persoon als een wazige, verwarde bende waar het begin- en eindpunt te veel op elkaar leken. CLERF zag echter een duidelijke, vloeiende cirkel en maakte perfect onderscheid tussen hoeken die dicht bij elkaar lagen en hoeken die ver uit elkaar lagen.

De Kernboodschap

Het artikel suggereert dat door hun eigen "tweeling"-afbeeldingen te genereren en de data wiskundig te laten draaien, ze erin zijn geslaagd een computer te leren om hoofdposities te begrijpen op een manier die nog nooit eerder is gedaan. Ze hebben niet alleen een model gemaakt dat goed werkt op perfecte foto's; ze hebben er een gemaakt dat robuust genoeg is om de rommelige, geroteerde en ondersteboven staande realiteit van de echte wereld aan te kunnen. Hoewel ze niet beweerden elk probleem in computer vision te hebben opgelost, hebben ze aangetoond dat deze nieuwe aanpak een "echt volledig bereik"-model mogelijk maakt dat elke hoofdpositie nauwkeurig kan voorspellen, inclusief de hoeken die voorheen de beste AI-systemen in de steek lieten.