FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

Technische Samenvatting: FIELDS

Probleemstelling
Monoculaire 3D-gezichtsreconstructie beoogt een 3D Morphable Model (3DMM)-representatie te schatten vanuit een enkele afbeelding, wat geometrie-bewuste expressiecodes oplevert die nuttig zijn voor gezichtsuitdrukkingherkenning (FER) en affectieve analyse. Hoewel huidige pipelines aanzienlijke vooruitgang hebben geboekt, worden ze voornamelijk getraind met behulp van beeldniveau-zelfsupervisie (reconstructieconsistentie) en geëvalueerd op basis van geometrische getrouwheid. De auteurs stellen dat deze aanpak niet noodzakelijkerwijs de "affectieve bruikbaarheid" van de geleerde expressierepresentatie maximaliseert. Bovendien kan het naïef koppelen van affect-supervisie aan consistentieverliezen op beeldniveau leiden tot "intensiteit-versterkende shortcuts", waarbij het model overdreven expressies genereert om aan emotiebeperkingen te voldoen, wat de geometrische plausibiliteit in gevaar brengt. Bestaande methoden die proberen deze kloof te overbruggen, vertrouwen vaak op zwakke emotieconsistentieverliezen op beeldniveau of externe vooraf getrainde emotiemodules, wat kan leiden tot een afruil tussen het vastleggen van affect en het renderen van plausibele beelden.

Methodologie: FIELDS
Het artikel stelt FIELDS voor (Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision), een taakgestuurd framework dat is ontworpen om de spanning tussen affectieve bruikbaarheid en geometrische plausibiliteit op te lossen. FIELDS breidt de TEASER zelf-gesuperviseerde monoculaire 3D-gezichtsreconstructie-pipeline uit door hybride 2D/3D-supervisie te introduceren.

De architectuur bestaat uit:

1. Encoder: Een FLAME-gebaseerde encoder die vorm ($\beta$), expressie ($\Psi$) en pose ($\Theta$) parameters voorspelt, samen met een uiterlijk-token (appearance token).
2. Neural Synthesizer: Een token-gestuurde synthesizer die het beeld reconstrueert vanuit de FLAME-mesh, de achtergrondmasker en de uiterlijk-tokens.
3. Auxiliary Emotion Head: Een lichtgewicht MLP die gezamenlijk wordt getraind om continue valentie-arousal scores en discrete emotiecategorieën te voorspellen rechtstreeks vanuit de FLAME-parameters.

De kerninnovatie ligt in de Hybride Supervisiestrategie:

• Scan-afgeleide Expressie-verankering: Om de expressie-geometrie te stabiliseren en intensiteitsversterking te voorkomen, gebruikt het framework beperkte "fit-afgeleide" targets. Specifiek worden FLAME-expressieparameters gefit op BP4D 3D-scandata. Deze scan-afgeleide parameters dienen als directe ankers voor de expressie-encoder via een Mean Squared Error (MSE) loss ($L_{3D-expr}$).
• Directe Affect-supervisie in de Parameterruimte: In plaats van te vertrouwen op emotieconsistentie op beeldniveau, introduceert FIELDS een hulp-emotieherkenningskop die supervisie direct toepast in de 3DMM-parameterruimte. Deze kop wordt getraind met een combinatie van regressie (voor valentie-arousal) en classificatie (voor discrete emoties) losses ($L_{emo}$). Dit moedigt de expressiecodes aan om informatief te zijn voor affect zonder te vertrouwen op perceptuele vergelijkingen tussen gerenderde en echte beelden.
• 2D Consistentie: Het framework behoudt standaard 2D-consistentieverliezen (fotometrisch, perceptueel en landmark-gebaseerd) om ervoor te zorgen dat het gereconstrueerde beeld visueel plausibel blijft.
• Regularisatie: Een vooraf getraind basismodel (afgestemd op MICA) wordt gebruikt om de vorm- en expressieparameters te regulariseren, waardoor wordt gegarandeerd dat de geleerde manifold stabiel blijft.

De trainingsprocedure wisselt af tussen een Encoder Pass (optimalisatie voor 2D-consistentie, 3D-expressie-verankering en emotie-supervisie) en een Synthesizer Pass (waarbij alleen de synthesizer wordt geoptimaliseerd voor 2D-consistentie en cyclusconsistentie), om te voorkomen dat één component de fouten van de andere compenseert.

Belangrijkste Bijdragen

1. Framework: De voorstel van FIELDS, een taakgestuurd framework dat zelf-gesuperviseerde beeldniveau-consistentie combineert met scan-afgeleide expressie-verankering en een gezamenlijk getrainde affect-herkenningskop die supervisie direct toepast in de 3DMM-parameterruimte.
2. Scan-afgeleide Ankers: De afleiding van scan-gebaseerde (fit-afgeleide) expressie-targets uit de BP4D-dataset om als beperkte ankers te dienen voor de directe supervisie van FLAME-expressieparameters, wat het risico op intensiteit-versterkende shortcuts vermindert.
3. Evaluatie: Een uitgebreide evaluatie die aantoont dat FIELDS de affect-voorspelling (zowel discreet als continu) verbetert, terwijl het concurrerende geometrische getrouwheid behoudt op held-out en out-of-domain benchmarks.

Resultaten
De auteurs evalueren FIELDS op meerdere benchmarks en vergelijken het met baselines zoals EMOCA, SMIRK en TEASER.

• Affectieve Bruikbaarheid: Op de AffectNet dataset bereikt FIELDS state-of-the-art resultaten voor zowel discrete emotieclassificatie (56,0% nauwkeurigheid) als valentie-arousal regressie (0,737 V-CCC), waarmee het eerdere methoden overtreft.
• Geometrische Plausibiliteit: Op de BP4D dataset (gebruikmakend van held-out subjecten) behoudt FIELDS een concurrerende 3D-geometrische getrouwheid (vertex en keypoint errors) die vergelijkbaar is met reconstructie-gecentreerde baselines. Cruciaal is dat het de overeenkomst met scan-afgeleide expressie- en kaakparameters aanzienlijk verbetert (het reduceren van de FLAME-parameter MSE van ~5,9 naar ~0,17) vergeleken met baselines die geen directe 3D-supervisie hebben.
• Externe Validatie: Op RAF-DB (gebruikmakend van KNN probing op enkel expressieparameters) vertoont FIELDS een superieure transfereerbaarheid (73,0% nauwkeurigheid). Op MultiREX (out-of-domain geometrie) blijft het vergelijkbaar met bestaande baselines, wat bevestigt dat de affectieve winst niet ten koste gaat van de algemene geometrische kwaliteit.
• Kwalitatieve Analyse: Visuele vergelijkingen geven aan dat FIELDS de input-consistente lokale geometrie (bijv. subtiele vormen van de mondhoeken, spanning in het onderste deel van het gezicht) beter behoudt dan baselines, die vaak overmatig gladgestreken of overdreven deformaties vertonen.

Betekenis en Claims
Het artikel claimt dat FIELDS een praktische route biedt naar het verkrijgen van FER-klare 3DMM-representaties die robuust zijn in de praktijk ("in the wild") en nuttig zijn voor downstream affectieve computing-toepassingen. Door de 3DMM-parameters expliciet te superviseren met scan-afgeleide ankers en directe affect-labels, omzeilt het framework de traditionele afruil tussen het vastleggen van affect en het renderen van plausibele beelden. De auteurs stellen dat hun aanpak affect-informatieve expressie-representaties leert die minder gevoelig zijn voor storende factoren (pose, verlichting) en beter zijn afgestemd op onderliggende gezichtsspierbewegingen, terwijl de geometrische plausibiliteit behouden blijft.

Het artikel sluit bescheiden af met de opmerking dat toekomstig werk kan bestaan uit temporele modellering voor video-FER, het verkennen van multi-loss weegstrategieën voor betere robuustheid over datasets, en het integreren van aanvullende gestructureerde priors zoals action units wanneer deze beschikbaar zijn.