CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Körpersprache von Menschen zu verstehen. Sie möchten, dass er genau weiß, wie eine Person den Kopf neigt, ob sie nach oben zu einem Vogel schaut, nach unten auf ein Telefon oder ob sie sich im Kreis dreht. Diese Aufgabe wird als Kopfbewegungsschätzung (Head Pose Estimation, HPE) bezeichnet und ist eine Riesensache für alles – von Virtual-Reality-Spielen bis hin zu selbstfahrenden Autos, die wissen müssen, ob ein Fußgänger sie ansieht. Um einem Computer dies beizubringen, zeigen wir ihm normalerweise tausende von Gesichterfotos. Aber hier liegt der Haken: In der realen Welt ist es unglaublich selten, zwei Fotos von verschiedenen Menschen zu finden, die in die exakt gleiche Richtung blicken. Es ist, als würde man versuchen, zwei Fremde in einem überfüllten Stadion zu finden, die beide auf denselben winzigen Punkt an der Decke starren. Da diese „passenden“ Paare so schwer zu finden sind, ist eine leistungsstarke Lehrmethode namens „kontrastives Lernen“ – die dadurch funktioniert, dass sie Ähnlichkeiten vergleicht, um zu lernen, was Dinge gleich macht – für diese spezifische Aufgabe im Schlamm steckengeblieben.

Hier kommt ein Team von Forschern ins Spiel, das beschloss, eine Brücke über diesen schlammigen Graben zu bauen. Sie entwickelten ein neues Framework namens CLERF (Contrastive LEaRning for Full Range Head Pose Estimation). Anstatt darauf zu warten, dass das Universum ihnen passende Fotos liefert, nutzten sie eine spezielle KI-Generierung, um ihre eigenen „Zwillings“-Fotos im Handumdrehen zu erstellen. Sie erkannten auch, dass die meisten existierenden Roboter-Gehirne schrecklich darin sind, mit Fotos umzugehen, die auch nur leicht geneigt oder gespiegelt sind; wenn man ein Bild um 10 Grad dreht, wird der Roboter verwirrt. CLERF hingegen ist darauf ausgelegt, die gesamte 360-Grad-Welt zu bewältigen, einschließlich umgedrehter Köpfe, und bleibt ruhig, selbst wenn die Fotos ein wenig chaotisch werden.

Das Problem: Die „Nadel im Heuhaufen“ der Kopfbewegungen

Stellen Sie sich die Kopfbewegungsschätzung wie das Lehren eines Schülers vor, Richtungen zu erkennen. Wenn Sie ihm nur Fotos zeigen, bei denen Menschen geradeaus oder leicht zur Seite schauen, wird er darin zum Experten. Aber wenn Sie ihn bitten, jemanden zu identifizieren, der gerade nach oben, gerade nach unten oder sogar kopfüber schaut, könnte er scheitern, weil er solche Winkel noch nie gesehen hat.

Die Forscher fanden heraus, dass der Versuch, „kontrastives Lernen“ für diesen vollen Bewegungsbereich anzuwenden, nahezu unmöglich war. Vereinfacht gesagt ist kontrastives Lernen wie ein Spiel von „Finde den Unterschied“, bei dem der Computer lernt, indem er ein „Zielbild“ (den Anker) mit einem „Match“ (dem Positiven) und einem „Nicht-Match“ (dem Negativen) vergleicht. Um gut zu lernen, muss der Computer viele Paare von Menschen sehen, die in die gleiche Richtung blicken. Aber im riesigen 3D-Raum der Kopfbewegungen ist es statistisch gesehen fast unmöglich, zwei Menschen zu finden, die exakt in die gleiche Richtung schauen – die Chance liegt bei weniger als 0,02 %. Oh sich ohne diese Übereinstimmungen kann der Computer die subtilen Unterschiede zwischen den Winkeln nicht lernen.

Die Lösung: Der magische Spiegel und der Drehraum

Um dies zu lösen, entwickelten die Autoren einen cleveren zweistufigen Trick.

Schritt 1: Der magische Spiegel (Synthetische Zwillinge)
Anstatt nach echten Menschen zu suchen, die in die gleiche Richtung schauen, nutzten sie ein „3D-bewusstes GAN“ (eine Art von KI, die realistische 3D-Bilder generieren kann), um einen synthetischen Zwilling zu erschaffen. Stellen Sie sich vor, Sie haben ein Foto einer Person, die leicht nach links blickt. Die KI generiert ein gefälschtes Foto einer anderen Person, die in exakt dieselbe Richtung blickt. Nun hat der Computer ein perfektes „positives Paar“ (ein Match) zum Studieren zur Verfügung. Dies löst das „Nadel im Heuhaufen“-Problem, indem die Nadeln immer dann erstellt werden, wenn sie benötigt werden.

Schritt 2: Der Drehraum (Geometrische Transformationen)
Den Forschern wurde klar, dass es nicht ausreichte, nur Übereinstimmungen zu haben; sie mussten den Computer lehren, mit jedem Winkel umzugehen, auch mit den seltsamen wie umgedrehten Köpfen. Sie wandten mathematische „Spiegelungen“ und „Rotationen“ auf ihre Bilder an. Denken Sie daran, wie man ein Foto nimmt und den Raum darum dreht. Wenn man ein Foto einer Person, die nach links blickt, um 180 Grad rotiert, blickt sie nun nach rechts. Durch das mathematische Spiegeln und Rotieren dieser Bilder konnten sie die gesamte Kugel der Kopfbewegungen abdecken, von -180 bis 180 Grad, um sicherzustellen, dass der Computer jeden möglichen Winkel sieht.

Entscheidend war, dass sie bewiesen, dass ein Paar übereinstimmender Bilder immer noch ein Match ist, wenn man sie auf exakt die gleiche Weise rotiert oder spiegelt. Dies ermöglichte es ihnen, kontrastives Lernen effektiv einzusetzen und dem Computer beizubringen, dass ein Kopf, der nach links schaut, sich grundlegend von einem Kopf unterscheidet, der nach rechts schaut, selbst wenn das Bild auf dem Kopf steht.

Was sie fanden: Der Roboter, dem nicht schwindelig wird

Das Team testete sein neues Modell CLERF gegen die besten existierenden Modelle unter Verwendung von Standard-Testdatensätzen. Hier ist das Ergebnis:

• Bei normalen Fotos: Beim Test auf Standardfotos, die aufrecht sind, schnitt CLERF genauso gut ab wie die Top-Modelle. Es war kein magisches Heilmittel, das sofort alles perfekt machte, aber es hielt mit den Besten mit.
• Bei leicht geneigten Fotos: Hier geschah die Magie. Als die Forscher die Testfotos rotierten oder spiegelten (wodurch sie die sogenannten „leicht augmentierten“ oder SA-Versionen erzeugten), begannen die alten Modelle zu straucheln. Ihre Genauigkeit sank signifikant. CLERF hingegen blieb standhaft. Es war etwa 0,5 bis 1,3 Grad genauer als das nächstbeste Modell bei diesen kniffligen, leicht rotierten Bildern.
• Bei wild rotierte Fotos: Als sie die Modelle mit Bildern testeten, die stark rotiert oder gespiegelt waren (die „Full Range“ oder FA-Versionen), war der Unterschied massiv. Die bestehenden Modelle, selbst jene, die behaupteten, den vollen Bereich abzudecken, wurden verwirrt, und ihre Fehler sprangen um mehr als 10 Grad nach oben. CLERF hingegen bewältigte diese verrückten Winkel mit Leichtigkeit und übertraf die Konkurrenz um eine große Marge.

Die Forscher visualisierten auch, wie der Computer die Welt „sah“. Sie zeigten den Modellen ein Video einer Person, die eine volle Drehung vollzieht. Die alten Modelle sahen die sich drehende Person als ein verschwommenes, verwirrendes Chaos, bei dem Start- und Endpunkte zu ähnlich aussahen. CLERF hingegen sah einen klaren, glatten Kreis und konnte perfekt zwischen Winkeln unterscheiden, die nah beieinander oder weit voneinander entfernt lagen.

Das Fazleitwort

Das Paper legt nahe, dass sie durch das Generieren ihrer eigenen „Zwillingsbilder“ und das mathematische Drehen der Daten erfolgreich einem Computer beigebracht haben, Kopfbewegungen auf eine Weise zu verstehen, wie es zuvor noch niemand getan hat. Sie haben nicht nur ein Modell entwickelt, das auf perfekten Fotos gut funktioniert; sie haben eines geschaffen, das robust genug ist, um die chaotische, rotierte und kopfüber stehende Realität der Welt zu bewältigen. Obwohl sie nicht behaupteten, jedes Problem der Computer Vision gelöst zu haben, demonstrierten sie, dass dieser neue Ansatz ein „echtes Full-Range“-Modell ermöglicht, das jede Kopfbewegung präzise vorhersagen kann, einschließlich derer, die bisher selbst die besten KI-Systeme vor Rätsel gestellt haben.