Facial Expression Generation Aligned with Human Preference for Natural Dyadic Interaction

Deze paper introduceert een methode voor het genereren van gezichtsuitdrukkingen die zijn afgestemd op menselijke voorkeuren voor natuurlijke interactie, door menselijke feedback te integreren in een gesloten feedbacklus die een visueel-taal-actie model combineert met versterkende leerstrategieën.

De kern

Stel je voor dat je op een feestje bent en je praat met iemand. Als diegene iets grappigs zegt, lach jij mee. Als ze verdrietig zijn, maak jij een bezorgd gezicht. Dit noemen we een natuurlijke dialoog.

Nu, probeer je een robot of een virtuele vriend te bouwen die dit ook kan. Het probleem is: robots zijn vaak een beetje "dom" in hun reacties. Als iemand boos is, kan de robot per ongeluk gaan lachen, of juist een heel saai gezicht trekken alsof er niets aan de hand is. Dat voelt ongemakkelijk en onmenselijk.

Dit papier beschrijft een slimme nieuwe manier om die robot te trainen, zodat hij precies de juiste reactie geeft, gebaseerd op wat mensen echt leuk en gepast vinden.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Valse" Robot

Stel je voor dat je een acteur hebt die alleen maar zijn script leest. Hij doet precies wat er op papier staat, maar hij kijkt niet naar de ander.

• De oude methode: De robot leert door te kijken naar duizenden video's van gesprekken. Hij probeert na te bootsen wat hij ziet. Maar hij leert niet wat goed voelt. Hij leert alleen hoe het eruitziet.
• Het gevolg: Soms lacht de robot als de ander boos is, omdat hij in de video's vaak lachende gezichten heeft gezien, maar hij begrijpt niet dat het niet gepast is in die specifieke situatie.

2. De Oplossing: De "Onzichtbare Pop"

De auteurs van dit papier hebben een slimme truc bedacht. Ze zeggen: "Laten we de robot niet laten denken aan zijn eigen gezicht (haar, neus, vorm), maar alleen aan de beweging."

• De Analogie: Stel je een pop voor die een onzichtbaar kostuum draagt. Als we de pop laten dansen, kijken we niet naar of hij een mooi of lelijk kostuum heeft, maar alleen naar of zijn danspasjes goed zijn.
• Waarom? Omdat mensen soms oordelen op basis van hoe iemand eruitziet (bijv. "die persoon is knap, dus zijn reactie is wel goed"). Door de robot een "identiteitsloze" pop te laten zijn, kunnen mensen eerlijk oordelen: "Is dit een goede reactie op wat de ander zegt?" zonder afgeleid te worden door de look.

3. De Twee Stappen van Leren

De robot leert in twee fases, net zoals een kind dat een instrument leert spelen:

Fase 1: Het Kijk-en-Nabootsen (Supervised Fine-Tuning)

• De robot kijkt naar duizenden voorbeelden van echte gesprekken.
• Hij leert: "Als de ander zegt 'Ik ben zo blij', dan moet ik mijn mondhoeken omhoog draaien."
• Dit is als een student die een boek leest en alle regels uit zijn hoofd leert. Hij is nu goed in de techniek, maar nog niet in de kunst.

Fase 2: De Menselijke Coach (Human-Feedback Reinforcement Learning)

• Dit is het magische deel. De robot maakt nu een paar verschillende reacties op dezelfde zin.
• De Menselijke Jury: Echte mensen kijken naar deze reacties en zeggen: "Reactie A is perfect, hij voelt empathisch. Reactie B is raar, hij lacht als de ander huilt."
• De Leerstijl: De robot krijgt een beloning voor de goede reacties en een "schop onder zijn kont" voor de slechte. Hij leert niet alleen wat hij moet doen, maar waarom het goed voelt.
• Het resultaat: De robot begint te begrijpen dat hij niet alleen moet "dansen", maar dat hij moet "luisteren" en zich moet aanpassen aan de sfeer.

4. Waarom is dit zo speciaal?

Vroeger probeerden robots alleen maar zo realistisch mogelijk te lijken (zoals een pop die perfect beweegt). Deze nieuwe methode zorgt ervoor dat de robot sociaal slim wordt.

• Voorbeeld: Als iemand vertelt over een triest ongeval, leert de robot niet alleen een verdrietig gezicht te maken, maar ook om even stil te zijn en een bezorgde blik te hebben. Hij voelt de "sfeer" van het gesprek.
• De "Gesloten Lus": Het systeem is als een gesprek tussen twee mensen. De robot kijkt naar wat jij zegt, reageert, en past zich direct aan aan jouw volgende reactie. Het is geen eenrichtingsverkeer meer.

Samenvatting in één zin

Dit papier beschrijft een manier om robots te leren niet alleen te nabootsen, maar om sociaal intuïtie te ontwikkelen door echte mensen te laten oordelen of hun reacties "voelen" als een echt menselijk gesprek, zodat ze nooit meer per ongeluk gaan lachen als iemand boos is.

Het is alsof we de robot niet alleen een stem geven, maar hem ook een hart en sociale intelligentie geven.

Technische samenvatting

Probleemstelling

Het genereren van natuurlijke gezichtsexpressies in een dyadische interactie (twee personen die met elkaar communiceren) is een complexe uitdaging. Bestaande methoden, vaak gebaseerd op diepe generatieve modellen (zoals diffusion networks of GANs), focussen voornamelijk op het imiteren van bewegingen of het synchroniseren met spraak. Een cruciaal ontbrekend element is echter de afstemming op menselijke voorkeur.

De huidige systemen genereren expressies die vaak niet consistent zijn met sociale normen of emotionele verwachtingen. Bijvoorbeeld: als een spreker verdriet of walging uitdrukt, kan een luisteraar per ongeluk een blijde expressie genereren. Dit leidt tot een gebrek aan sociale cohesie en een verstoord gesprek. De belangrijkste obstakels zijn:

1. Identiteitsbias: Menselijke feedback is vaak verward met de visuele realisme of de identiteit van het gezicht, waardoor het moeilijk is om objectieve feedback over de kwaliteit van de expressie te krijgen.
2. Open-loop generatie: Veel modellen werken in een open lus en passen hun output niet dynamisch aan op basis van veranderende conversatiecues, wat nodig is voor een natuurlijk gesprek.

Methodologie

De auteurs stellen een nieuwe methode voor die gezichtsexpressiegeneratie afstemt op menselijke voorkeuren door een gesloten feedbacklus te creëren. De aanpak bestaat uit twee hoofdfasen:

1. Framing als Actie-Leren in een Identiteits-onafhankelijke Ruimte

In plaats van direct afbeeldingen te genereren, wordt het probleem geformuleerd als een sequentiële beslissingsprobleem. De luisteraar leert een beleid ($\pi$) om controleerbare, lage-dimensionale expressie-acties te genereren voor een 3D Morphable Model (FLAME).

• Door te werken met parameters (uitdrukking en houding) in plaats van pixels, wordt de expressie losgekoppeld van de specifieke identiteit van het gezicht. Dit stelt menselijke beoordelaars in staat om feedback te geven op de sociale en emotionele geschiktheid van de expressie, zonder beïnvloed te worden door hoe mooi of realistisch het gezicht eruitziet.

2. Twee-staps Trainingsproces

Het systeem maakt gebruik van een Vision-Language-Action (VLA) model, gebaseerd op een Large Language Model (LLM, specifiek LLaMA 2), en wordt getraind in twee fasen:

• Fase 1: Supervised Fine-Tuning (SFT)

  • Het model leert de mapping van multimodale input (beeld en tekst van de spreker) naar gezichtsacties van de luisteraar.
  • Het gebruikt een dual-stream visuele encoder (DINO en SigLIP) om zowel fijne gezichtsdetails als globale emotionele context te vangen.
  • De continue acties worden gekwantiseerd in discrete tokens om ze verwerkbaar te maken voor de LLM.
  • Het doel is om een robuust basisbeleid te creëren dat visueel coherente en identiteits-consistente reacties produceert.

• Fase 2: Reinforcement Learning met Menselijke Feedback (RLHF)

  • Om de sociale afstemming te verbeteren, wordt een Direct Preference Optimization (DPO) strategie toegepast.
  • Data Collectie: Voor een gegeven input genereert het SFT-model meerdere kandidaat-antwoorden. Menselijke annotatoren beoordelen deze reacties op vier criteria: Empathie, Geschiktheid, Betrokkenheid en Natuurlijkheid.
  • Optimalisatie: De best beoordeelde reactie wordt gekozen als "preferred" en de slechtste als "dispreferred". Het beleid wordt vervolgens geoptimaliseerd om de kans op de "preferred" reactie te maximaliseren ten opzichte van de "dispreferred" reactie, zonder dat er een expliciete reward-model nodig is (via DPO).

Belangrijkste Bijdragen

1. Eerste gesloten lus met menselijke feedback: Dit is, naar weten van de auteurs, het eerste werk dat menselijke feedback expliciet en in een gesloten lus gebruikt om gezichtsexpressies in dyadische interacties af te stemmen op menselijke voorkeuren.
2. Identiteits-onafhankelijke actie-ruimte: Door expressiegeneratie te frameren als actie-leren in een ruimte die losstaat van de identiteit, wordt bias in menselijke feedback geëlimineerd.
3. Integratie van VLA en RL: Het succesvol combineren van een Vision-Language-Action model met Reinforcement Learning om zowel visuele coherentie als sociale intelligentie te bereiken.

Resultaten

De methode is geëvalueerd op twee benchmarks: L2L-trevor en Realtalk.

• Kwantitatieve Resultaten:

  • Het model (SFT + RL) presteert superieur op emotionele afstemningsmetrieken (L2 Affect) en gepaarde Frechet Distance (P-FD), wat aangeeft dat de reacties beter aansluiten bij de emotionele toestand van de spreker.
  • Hoewel er een kleine toename is in reconstructiefouten (L2/FD) vergeleken met puur SFT-modellen, is dit een bewuste afweging: het model prioriteert sociale geschiktheid boven pure geometrische exactheid.
  • Het overtreft state-of-the-art methoden zoals MMLHG en LM-listener significant.

• Kwalitatieve Resultaten & Gebruikersstudie:

  • In visuele vergelijkingen toont het model aan dat het correct reageert op complexe scenario's (bijv. een ernstige reactie op een somber verhaal, in plaats van een "hallucinerende" glimlach).
  • Een gebruikersstudie met 25 deelnemers toonde aan dat het SFT+RL-model significant hoger scoorde op Geschiktheid (4.5 vs 3.0 bij baselines), Empathie, Betrokkenheid en Natuurlijkheid.

Significantie

Dit werk markeert een belangrijke stap voorwaarts in Human-Computer Interaction (HCI) en sociale robotica. Het bewijst dat het mogelijk is om AI-agenten niet alleen visueel realistisch, maar ook sociaal intelligent te maken. Door menselijke feedback te integreren in het leerproces, kunnen systemen leren om de ongeschreven regels van sociale interactie te begrijpen en toe te passen. Dit is essentieel voor de ontwikkeling van virtuele assistenten, therapeutische bots en interactieve avatars die echt menselijke connectie kunnen aangaan zonder sociale dissonantie te creëren.