🤖 AI

See Through the Noise: Improving Domain Generalization in Gaze Estimation

Diese Arbeit stellt das See-Through-Noise (SeeTN)-Framework vor, das durch die Konstruktion eines semantischen Einbettungsraums und die Regularisierung der Affinität zwischen Merkmalen und Labels erstmals die negativen Auswirkungen von Label-Rauschen auf die Domänen-Generalisierung in der Blickrichtungs-Schätzung systematisch adressiert und so die Robustheit in neuen Domänen verbessert.

Ursprüngliche Autoren: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, genau hinzusehen, wo ein Mensch hinschaut. Das klingt einfach, ist aber in der echten Welt extrem schwierig. Warum? Weil die Daten, mit denen wir den Roboter trainieren, oft „schmutzig" sind.

Hier ist die Geschichte des Papers „See Through the Noise" (Durch den Lärm schauen), erzählt wie eine Detektivgeschichte für Roboter.

Das Problem: Der verrückte Lehrer

Stellen Sie sich einen Schüler vor, der lernen soll, die Richtung eines Blickes zu erraten. Der Lehrer gibt ihm tausende Fotos und sagt: „Schau, hier schaut die Person genau nach links!"

Aber in der echten Welt ist der Lehrer manchmal betrunken oder hat schlechte Augen. Bei vielen Fotos zeigt der Lehrer auf das Falsche. Vielleicht war das Licht zu dunkel, oder der Kopf war schief. Der Schüler (der Roboter) ist aber so fleißig, dass er den Lehrer blind glaubt. Er lernt nicht, wirklich hinzusehen, sondern lernt nur, die Fehler des Lehrers auswendig zu lernen.

Wenn dieser Schüler dann in eine neue Klasse kommt (eine neue Umgebung, z. B. draußen auf der Straße statt im Labor), scheitert er kläglich. Er kennt nur die alten, falschen Regeln.

Die Lösung: SeeTN – Der „Lärm-Durchdringer"

Die Forscher aus diesem Papier haben eine neue Methode namens SeeTN (See-Through-Noise) entwickelt. Man kann sich das wie einen sehr klugen Detektiv vorstellen, der drei Tricks anwendet:

1. Der Landkarten-Trick (Das semantische Manifold)

Statt nur zu sagen „Links" oder „Rechts", bauen die Forscher eine riesige, unsichtbare Landkarte. Auf dieser Karte ist jeder Punkt ein Blickwinkel.

Der Trick: Sie zwingen den Roboter, die Bilder so zu ordnen, dass sie auf der Landkarte genau dort landen, wo sie hingehören. Wenn zwei Bilder fast den gleichen Blick haben, müssen sie auf der Karte auch nah beieinander liegen.
Die Metapher: Stellen Sie sich vor, Sie sortieren Musikstücke nicht nach dem Datum, sondern nach der Stimmung. Traurige Lieder landen im selben Zimmer, fröhliche in einem anderen. SeeTN sorgt dafür, dass die „Blick-Richtung" die einzige Regel für die Zimmerverteilung ist, nicht das Wetter oder die Kleidung der Person auf dem Foto.

2. Der Lügen-Test (Das Finden der verräterischen Daten)

Jetzt kommt der spannende Teil: Wie erkennt man, welche Lehrer-Aussagen falsch sind?

Der Trick: Der Roboter schaut sich die Landkarte an. Wenn ein Bild auf der Karte weit weg von allen anderen Bildern mit ähnlichem Blick liegt, ist etwas faul.
Die Metapher: Stellen Sie sich eine Party vor. Alle Gäste mit roten Hemden stehen in einer Ecke. Wenn plötzlich jemand mit einem roten Hemd in der Küche steht und alle anderen schauen ihn verwirrt an, dann ist er wahrscheinlich nicht wirklich ein „rotes Hemd-Gast" (oder er hat das Hemd falsch angezogen). SeeTN misst diesen Abstand. Ist der Abstand zu groß, weiß der Roboter: „Aha, dieses Foto hat eine falsche Beschriftung!"

3. Der Sanfte Lehrer (Die Robustheit)

Sobald der Roboter weiß, welche Daten „schmutzig" (verrauscht) sind, wirft er sie nicht einfach weg. Das wäre Verschwendung!

Der Trick: Er behandelt die sauberen Daten streng und direkt. Bei den schmutzigen Daten aber sagt er: „Ich vertraue deinem Etikett nicht, aber ich schaue mir an, wohin die sauberen Nachbarn schauen, und passe dich daran an."
Die Metapher: Wenn ein Schüler eine falsche Antwort auf einem Test hat, korrigiert ihn der Lehrer nicht einfach mit einem roten Stift. Stattdessen sagt er: „Schau dir an, wie deine klugen Freunde die Aufgabe gelöst haben, und versuche, deren Logik zu verstehen, statt nur die falsche Zahl abzuschreiben."

Warum ist das so wichtig?

Bisher haben die meisten Roboter versucht, nur „bessere" Daten zu sammeln oder sich nur auf die Laborbedingungen zu spezialisieren. Sie haben das Problem des „Lärms" (der falschen Etiketten) ignoriert.

SeeTN sagt: „Okay, die Daten sind schmutzig. Wir werden nicht versuchen, den Dreck wegzufegen, sondern wir lernen, durch den Dreck hindurch die wahre Struktur zu sehen."

Das Ergebnis

In Tests hat sich gezeigt, dass diese Methode Wunder wirkt:

Der Roboter wird viel besser darin, in neuen Umgebungen (z. B. von der Straße ins Labor oder umgekehrt) zu funktionieren.
Er wird nicht verwirrt, wenn die Lichtverhältnisse sich ändern oder die Leute andere Hüte tragen.
Und das Beste: Er wird nicht schlechter, wenn er in der vertrauten Umgebung bleibt.

Zusammenfassend:
Statt blind den Anweisungen zu folgen, lernt der Roboter mit SeeTN, die wahre Logik hinter den Blicken zu verstehen, selbst wenn die Anleitung fehlerhaft ist. Er lernt, den „Lärm" der Welt zu ignorieren und sich auf das Wesentliche zu konzentrieren.

1. Problemstellung

Die Schätzung des Blicks (Gaze Estimation) ist für Anwendungen wie Mensch-Computer-Interaktion, Virtual Reality und medizinische Analyse von großer Bedeutung. Trotz Fortschritten durch Deep Learning leiden bestehende Modelle oft unter einer starken Leistungsverschlechterung, wenn sie in unbekannte Domänen (z. B. andere Umgebungen, Beleuchtungen oder Kameras) deployed werden.

Ein bisher oft übersehener kritischer Faktor ist das Rauschen in den Labels (Label Noise). Da die manuelle Annotation von Blickrichtungen aufgrund von Faktoren wie instabiler Aufmerksamkeit, Kopfbewegungen und Okklusionen extrem schwierig ist, enthalten große Datensätze (wie Gaze360) unvermeidlich fehlerhafte Annotationen.

Herausforderung: Herkömmliche Methoden zur Domain Generalization ignorieren dieses Rauschen.
Spezifisches Problem bei Regression: Im Gegensatz zu Klassifizierungsaufgaben ist die Behandlung von Label-Rauschen bei Regression (kontinuierlicher Zielraum) schwieriger, da es keine klaren Grenzen zwischen „sauberen" und „verrauschten" Proben gibt. Herkömmliche Heuristiken wie „Small-Loss Selection" versagen hier oft, da das Rauschen eine kontinuierliche Abweichung und keine kategoriale Fehlklassifikation darstellt.
Ziel: Die Autoren untersuchen erstmals umfassend, wie Label-Rauschen die Generalisierungsfähigkeit beeinträchtigt, und entwickeln eine Lösung, die dieses Rauschen aktiv nutzt, um die Domänen-Generalisierung zu verbessern.

2. Methodik: Der SeeTN-Framework

Die Autoren stellen SeeTN (See-Through-Noise) vor, ein Framework, das die Generalisierung durch die Minderung von Label-Rauschen verbessert. Der Ansatz besteht aus drei Hauptkomponenten:

A. Konstruktion eines semantischen Manifolds (Semantic Manifold Construction)

Um die semantische Beziehung zwischen kontinuierlichen Blickwinkeln und Feature-Repräsentationen zu stärken, wird ein semantischer Raum (Manifold) konstruiert:

Prototyp-basierte Transformation: Die Features werden durch ein MLP transformiert und auf eine Einheitshypersphäre projiziert.
Prototypen (Prototypes): Es werden $K$ Prototypen ( $\mu_k$ ) initialisiert, die als Basisvektoren des Manifolds dienen. Diese werden mittels Exponential Moving Average (EMA) aktualisiert, um repräsentative semantische Informationen zu sammeln.
Topologische Erhaltung: Ein zentrales Ziel ist es, die topologische Struktur des Label-Raums im Feature-Raum zu bewahren. Dazu wird eine Affinitätsmatrix (basierend auf Kosinus-Ähnlichkeit) für die Features im Manifold ( $A^{(m)}$ ) und für die Labels ( $A^{(g)}$ ) berechnet.
Alignment: Durch Minimierung des Unterschieds zwischen $A^{(m)}$ und $A^{(g)}$ wird sichergestellt, dass ähnliche Labels auch ähnliche Feature-Relationen im Manifold aufweisen.

B. Identifikation verrauschter Proben (Noise Detection)

Anstatt Rauschen einfach zu ignorieren, wird es quantifiziert:

Indikator $\eta$ : Für jede Probe wird die Diskrepanz zwischen der Verteilung der Proben im Feature-Manifold und der Verteilung im Label-Raum gemessen. Dies geschieht durch die Kreuzentropie zwischen den normalisierten Zeilenvektoren der Affinitätsmatrizen.
Partitionierung: Proben mit einem hohen $\eta$ -Wert (große Diskrepanz zwischen Feature- und Label-Relationen) werden als verrauscht ( $D_S^N$ ) eingestuft, während Proben mit niedrigem $\eta$ als sauber ( $D_S^C$ ) gelten.
Dynamische Anpassung: Die Partitionierung wird vor jedem Trainingsepoch aktualisiert, um Bestätigungsfehler (Confirmation Bias) zu vermeiden.

C. Rauschrobuste Regularisierung (Noise-Robust Regularization)

Das Framework wendet unterschiedliche Verlustfunktionen auf saubere und verrauschte Proben an:

Für saubere Proben ( $D_S^C$ ): Es wird ein herkömmlicher Blickschätzungsverlust ( $L_{gaze}$ ) verwendet, kombiniert mit einem Alignment-Loss ( $L_{align}^C$ ), der die Affinitätsmatrix im Manifold an die Label-Affinität anpasst.
Für verrauschte Proben ( $D_S^N$ ): Anstatt diese Proben zu verwerfen, wird deren Information genutzt. Ein neuer Regularisierungsterm ( $L_{align}^N$ ) zwingt die Feature-Affinität der verrauschten Proben (bezogen auf saubere Proben), sich an die saubere Manifold-Affinität anzupassen. Dies überträgt die supervidierten Informationen von sauberen auf verrauschte Proben, ohne sich auf die fehlerhaften Labels der verrauschten Proben zu verlassen.
Gesamtverlust: $L_{all} = L_{gaze} + L_{align}^C + \lambda L_{align}^N$ .

3. Wichtige Beiträge

Pionierarbeit: Erste umfassende Untersuchung des Einflusses von Label-Rauschen auf die Domain Generalization in der Blickschätzung.
SeeTN-Framework: Entwicklung eines neuen Ansatzes, der kontinuierliche Blickwinkel und Features über einen semantischen Manifold verbindet. Dies ermöglicht die Unterscheidung von Rauschen in Regressionstasks.
Neuartige Regularisierung: Einführung einer Affinitäts-Regularisierung, die verrauschte Proben durch Transfer von Informationen saubere Proben nutzt, anstatt sie zu verwerfen.
Umfassende Evaluation: Demonstration der Überlegenheit gegenüber State-of-the-Art-Methoden in verschiedenen Cross-Domain-Szenarien.

4. Ergebnisse

Die Autoren führten Experimente auf vier gängigen Datensätzen durch (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) in verschiedenen Cross-Domain-Settings (z. B. ETH $\to$ MPII).

Leistungssteigerung: SeeTN verbessert die Generalisierungsleistung signifikant. Beispielsweise reduzierte sich der mittlere Winkel-Fehler (MAE) bei ResNet-18 von 8,07° auf 6,58° im Szenario DE $\to$ DM (eine Verbesserung von 18,5%).
Vergleich mit SOTA: SeeTN übertrifft aktuelle Domain-Generalization-Methoden (wie PureGaze, GazeCF, AGG) und auch Methoden zur Behandlung von verrauschten Labels (wie DivideMix, SUGE), die für Klassifizierung oder In-Domain-Szenarien entwickelt wurden.
In-Domain-Performance: Im Gegensatz zu vielen Generalisierungsmethoden, die oft die In-Domain-Genauigkeit opfern, verbessert SeeTN auch die Leistung innerhalb der Quelldomäne (z. B. 3–5% Fehlerreduktion).
Qualitative Analyse: Visualisierungen (t-SNE) zeigen, dass SeeTN Features basierend auf der Blickrichtung und nicht auf der Kopfhaltung clustert, was die Robustheit gegenüber Domänenwechseln erklärt. Zudem wird die Kontinuität der Labels im Feature-Raum bewahrt.

5. Bedeutung und Fazit

Das Paper zeigt, dass die explizite Behandlung von Label-Rauschen ein entscheidender Hebel für die Verbesserung der Domain Generalization in der Blickschätzung ist.

Paradigmenwechsel: Statt Rauschen nur als Störfaktor zu betrachten, wird es durch die semantische Strukturierung des Raums identifiziert und konstruktiv genutzt.
Robustheit: Der Ansatz macht Modelle robuster gegenüber den unvermeidlichen Annotationenfehlern in realen Datensätzen und verbessert die Übertragbarkeit auf neue Umgebungen, ohne die Genauigkeit auf bekannten Daten zu beeinträchtigen.
Zukunftsausblick: Die Autoren sehen als Limitierung die relativ einfache Strategie zur Trennung von sauberem und verrauschtem Rauschen und planen, diese durch komplexere Methoden zu verfeinern.

Zusammenfassend bietet SeeTN einen effektiven Weg, um die Lücke zwischen theoretischen Modellen und der rauen Realität unvollkommener Annotationen in der Blickschätzung zu schließen.