🤖 AI

See Through the Noise: Improving Domain Generalization in Gaze Estimation

Dit paper introduceert het SeeTN-framework, dat de domein-generalisatie in blikrichtingsschatting verbetert door een semantische inbeddingsruimte te creëren die ruis in labels onderscheidt en corrigeert, waardoor robuustheid voor kruis-domein toepassing wordt verhoogd zonder de bron-domein-accuraatheid te schaden.

Oorspronkelijke auteurs: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Door de Ruis Kijken: Hoe we de blik van mensen beter kunnen volgen, zelfs als de instructies fout zijn

Stel je voor dat je een jonge kunstenaar bent die probeert te leren hoe mensen naar verschillende punten in een kamer kijken. Je hebt een leraar nodig die je vertelt: "Kijk naar die vaas" of "Kijk naar dat raam". Maar hier is het probleem: je leraar is vaak afgeleid, heeft een slechte dag, of de camera waar hij doorheen kijkt is wazig. Soms wijst hij naar de vaas, maar zegt hij: "Kijk naar het raam."

In de wereld van kunstmatige intelligentie (AI) heet dit ruis in de labels. De computer leert van deze fouten en denkt dat het raam de vaas is. Als je deze AI nu in een nieuwe kamer zet (een nieuwe omgeving), faalt hij volledig, omdat hij niet de echte regels van het kijken heeft geleerd, maar alleen de fouten van zijn leraar.

De onderzoekers van dit papier, Yanming Peng en zijn team, hebben een slimme oplossing bedacht genaamd SeeTN (See Through Noise – "Door de Ruis Kijken"). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Valse Vrienden"

Normaal gesproken proberen AI-modellen te leren door te kijken naar patronen. Maar als de trainingdata (de foto's en de bijbehorende antwoorden) vol zit met fouten, leert het model de verkeerde dingen. Het is alsof je een spreekwoord leert van iemand die het verkeerd onthoudt. Als je dat woord dan in een ander land gebruikt, klinkt het raar.

In de wereld van oogbewegingen (gaze estimation) is het heel moeilijk om perfecte antwoorden te krijgen. Mensen bewegen hun hoofd, het licht verandert, en soms kijken ze niet precies waar de computer denkt dat ze kijken. Dit creëert "ruis".

2. De Oplossing: De "Semantische Landkaart"

De onderzoekers zeggen: "Laten we niet alleen kijken naar of het antwoord goed of fout is, maar laten we kijken naar de verhoudingen tussen de antwoorden."

Stel je voor dat je een grote kaart maakt van alle mogelijke kijkrichtingen.

De oude manier: De computer zegt: "Dit is punt A, dat is punt B." Als punt A verkeerd is gemarkeerd, raakt de hele kaart in de war.
De nieuwe manier (SeeTN): De computer maakt een 3D-landkaart (een 'manifold') van de kijkrichtingen. Op deze kaart moeten punten die dicht bij elkaar liggen in de echte wereld (bijvoorbeeld "kijk een beetje naar links" en "kijk een beetje meer naar links"), ook dicht bij elkaar liggen op de kaart.

Ze noemen dit een prototype-transformatie. Het is alsof je een groepje vrienden hebt die allemaal naar iets kijken. Zelfs als één vriend een verkeerde richting wijst, zie je dat hij niet past in de groep. De computer bouwt deze "vriendengroep" (de prototypes) op en zorgt dat de kaart er logisch uitziet.

3. Het Detecteren van de Ruis: De "Luiheidstest"

Hoe weet de computer welke leraar (welk label) liegt?
De computer kijkt naar de afstand tussen wat de foto laat zien en wat de kaart zegt dat het zou moeten zijn.

Als de foto en de kaart perfect overeenkomen, is het een betrouwbare leraar (een schoon voorbeeld).
Als de foto en de kaart ver uit elkaar liggen, is het een leugenaar (een ruisend voorbeeld).

Ze gebruiken een slim meetinstrument (een indicator genaamd $\eta$ ) om te zeggen: "Hé, deze foto hoort niet hier te staan op de kaart. Dit is waarschijnlijk een fout."

4. De Slimme Strategie: Niet Weggooien, maar Hulp Bieden

In het verleden, als AI een fout zag, gooide ze het voorbeeld vaak weg. Maar dat is zonde! Misschien is de foto wel goed, maar was de leraar gewoon even afgeleid.

SeeTN doet iets anders:

Voor de betrouwbare voorbeelden: "Jullie zijn de baas. Leer de computer de regels."
Voor de twijfelachtige voorbeelden: "Jullie hebben een foutje, maar jullie zijn niet nutteloos. Kijk naar de betrouwbare vrienden in de groep en probeer hun houding over te nemen."

Dit noemen ze affiniteitsregularisatie. Het is alsof je een groepje kinderen hebt die een spel spelen. Als één kind de verkeerde richting oprent, zeg je niet: "Ga weg!", maar zeg je: "Kijk naar de anderen die goed rennen en probeer je aan hen aan te passen." Zo leren de "foutieve" kinderen alsnog de juiste regels, zonder dat ze de rest van de groep verstoren.

5. Het Resultaat: Een Robuuste AI

Het mooie aan deze methode is dat de AI niet alleen beter wordt in de kamer waar ze getraind zijn, maar ook in nieuwe kamers (nieuwe omgevingen).

Omdat de AI de echte logica van het kijken heeft geleerd (de structuur van de kaart), maakt het niet uit of het licht anders is of dat de mensen een andere hoed dragen.
Ze testen dit op verschillende datasets en zien dat hun methode veel beter presteert dan bestaande methoden, zelfs als de trainingdata vol zit met fouten.

Samenvatting in één zin

SeeTN is als een slimme leraar die niet alleen kijkt naar de antwoorden van de leerlingen, maar ook naar hoe die antwoorden met elkaar verbonden zijn; zo kan hij zien wie er liegt, en helpt hij de "leugenaars" toch de juiste les te leren door ze te laten kijken naar de "goede leerlingen", waardoor de hele klas (de AI) veel slimmer en flexibeler wordt.

Dit onderzoek laat zien dat we niet hoeven te wachten tot we perfecte data hebben om goede AI te maken. We kunnen AI juist leren om door de ruis heen te kijken en de echte waarheid te vinden.

Titel: See Through the Noise: Verbetering van Domein-Generalisatie in Gaze-schatting

1. Het Probleem

Gaze-schatting (het bepalen van waar iemand naartoe kijkt) is cruciaal voor toepassingen zoals mens-computerinteractie en virtuele realiteit. Hoewel deep learning-methoden aanzienlijke vooruitgang hebben geboekt, lijden bestaande modellen vaak onder een sterke prestatiedaling wanneer ze worden ingezet in onbekende domeinen (bijv. andere camera's, belichting of hoofdhoudingen).

De kern van dit paper is dat bestaande methoden voor domein-generalisatie een kritiek aspect over het hoofd zien: ruis in de labels.

Oorzaak: Het verzamelen van nauwkeurige gaze-annotaties is extreem moeilijk door factoren zoals instabiele menselijke aandacht, variabele omstandigheden en occlusie. Dit leidt tot onvermijdelijke ruis in grote datasets (zoals Gaze360).
Gevolg: Modellen die op deze datasets worden getraind, overfitten op de ruis en leren gaze-irrelevante kenmerken, wat de generalisatie naar nieuwe domeinen ernstig aantast.
Uitdaging: Bestaande methoden voor het omgaan met ruis (Noisy Label Learning) zijn voornamelijk ontworpen voor classificatietaken. Gaze-schatting is echter een regressietaken met continue labels, wat het moeilijk maakt om duidelijke grenzen tussen "schoon" en "ruis" te trekken. Bovendien lossen bestaande methoden vaak alleen binnen-domein problemen op, terwijl de uitdaging hier ligt in de overbrugging van het gat tussen bron- en doeldomeinen.

2. Methodologie: Het SeeTN Framework

De auteurs stellen See-Through-Noise (SeeTN) voor, een nieuw raamwerk dat generalisatie verbetert door ruis expliciet te mitigeren. De methode bestaat uit drie hoofdstappen (zie Figuur 2 in het paper):

A. Constructie van een Semantisch Manifold (Semantic Manifold)
In plaats van alleen numerieke fouten te minimaliseren, bouwt SeeTN een semantische ruimte om de topologische structuur van gaze-features en continue labels te behouden.

Prototypen: Kenmerken worden via een MLP getransformeerd en geprojecteerd op een eenheidshypersfeer. Er worden $K$ prototypen ( $\mu_k$ ) gedefinieerd die dienen als basisvectoren.
Affiniteitsalignement: Er wordt een affiniteitsmatrix ( $A^{(m)}$ ) berekend op basis van de relaties tussen samples in het feature-ruimte. Deze wordt gealigneerd met de affiniteitsmatrix van de labels ( $A^{(g)}$ ). Door het minimaliseren van het verschil tussen deze matrices, wordt de semantische consistentie tussen features en labels versterkt.

B. Detectie van Ruis (Noise Detection)
Om ruis te identificeren, wordt een indicator $\eta_i$ gebruikt die de discrepantie meet tussen de feature-relaties en de label-relaties in het semantische manifold.

Principe: Samples met een hoge $\eta$ -waarde vertonen inconsistenties tussen hun positie in de feature-ruimte en hun gelabelde positie. Deze worden geïdentificeerd als "ruisige" samples.
Verdeling: Het dataset wordt opgesplitst in een schoon subset ( $D^C_S$ ) en een ruisig subset ( $D^N_S$ ) op basis van deze indicator.

C. Ruis-robuste Regularisatie (Noise-Robust Regularization)
Voor de twee subsets worden verschillende verliesfuncties toegepast:

Schoon subset: Hier wordt standaard gaze-schatting verlies ( $L_{gaze}$ ) gebruikt, gecombineerd met een alignement-verlies ( $L^C_{align}$ ) om de affiniteitsmatrix in het manifold te construeren.
Ruisig subset: In plaats van deze samples te verwerpen, wordt er gebruikgemaakt van de affiniteitsmatrix die geleerd is van de schone samples. Een nieuw verlies ( $L^N_{align}$ ) constraineert de features van de ruisige samples zodat ze semantisch consistent zijn met de schone samples. Dit overdraagt gaze-gerelateerde informatie van schone naar ruisige samples zonder afhankelijk te zijn van de onbetrouwbare labels.

Het totale verlies is een som van deze componenten: $L_{all} = L_{gaze} + L^C_{align} + \lambda L^N_{align}$ .

3. Belangrijkste Bijdragen

Eerste Onderzoek: Dit is het eerste werk dat domein-generalisatie in gaze-schatting systematisch onderzoekt vanuit het perspectief van labelruis, een probleem dat inherent is aan het verzamelen van gaze-datasets.
Novel Framework (SeeTN): Een nieuw raamwerk dat continue gaze-hoeken en features verbindt in een semantisch manifold. Het introduceert een methode om ruis te detecteren via affiniteitsconsistentie en een strategie voor robuust leren via gescheiden regularisatie.
Uitgebreide Validatie: Omfassende experimenten tonen aan dat SeeTN de negatieve impact van ruis effectief mitigeert en superieure cross-domein generalisatie bereikt zonder de nauwkeurigheid binnen het bron-domein te schaden.

4. Resultaten

De auteurs hebben SeeTN getest op vier populaire datasets (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) in diverse cross-domein instellingen.

Prestatieverbetering: In vergelijking met de baseline (ResNet-18/50) en state-of-the-art generalisatiemethoden (zoals PureGaze, GazeCF, AGG), behaalde SeeTN aanzienlijke verbeteringen.
- Bijvoorbeeld: Op de instelling DG → DM (Gaze360 naar MPIIFaceGaze) verbeterde SeeTN de prestatie met 17,2% ten opzichte van de baseline.
- Het presteerde beter dan bestaande ruis-bestrijdingsmethoden (zoals DivideMix en SUGE), die vaak faalden in regressie-taken of binnen-domein settings.
Robuustheid: Zelfs bij synthetisch toegevoegde ruis (tot 30% van de samples) behield SeeTN een robuuste generalisatie, terwijl baselines sterk degradeerden.
Kwalitatieve Analyse: Visualisaties (t-SNE) tonen aan dat SeeTN features clusteren op basis van gaze-richting in plaats van hoofdhouding (wat de baseline deed). Dit bewijst dat het model echt gaze-semantiek leert en minder afhankelijk is van domein-specifieke stijl.

5. Betekenis en Conclusie

Dit paper is significant omdat het een fundamenteel probleem in gaze-schatting adresseert: de kwaliteit van de supervisie (labels).

Het toont aan dat het negeren van labelruis een grote beperking is voor domein-generalisatie.
De voorgestelde aanpak bewijst dat het expliciet modelleren van de relatie tussen features en labels in een semantisch manifold, en het onderscheiden van schone/ruisige data, leidt tot modellen die veel beter generaliseren naar onbekende real-world scenario's.
De methode biedt een nieuwe richting voor onderzoek in regressie-taken met ruisige data, waarbij traditionele classificatie-gebaseerde ruis-mitigatie niet direct toepasbaar is.

Kortom, SeeTN "kijkt door de ruis heen" door de onderliggende semantische structuur van de gaze-data te beschermen, wat resulteert in betrouwbaardere en generaliseerbaardere gaze-schattingssystemen.