Morphology-Independent Facial Expression Imitation for Human-Face Robots

Dit paper introduceert een morfologie-onafhankelijke methode voor het imiteren van gezichtsuitdrukkingen op menselijke robots, die uitdrukkingen ontkoppelt van gezichtsstructuur om realistischere interacties te bereiken, en wordt gevalideerd op een speciaal ontworpen robot genaamd Pengrui.

De kern

Stel je voor dat je een robot wilt bouwen die precies zo'n menselijk gezicht heeft dat hij elke emotie van jou kan nabootsen: een glimlach, een frons, een verbaasde blik. Het doel is dat de robot eruit ziet alsof hij écht voelt wat jij voelt.

Maar hier zit een groot probleem: iedereen heeft een ander gezicht.

Het Probleem: De "Verkeerde Kaart"

De meeste robots tot nu toe werken als een strakke vertaler. Als jij je mondhoeken optrekt (een glimlach), kijkt de robot naar jouw mondhoeken en zegt: "Oké, ik moet mijn motortje X ook zo ver omhoog duwen."

Het probleem is dat dit werkt alsof je een kaart gebruikt om een reis te plannen, maar die kaart is getekend voor een specifiek landschap.

• Als jij een smal gezicht hebt, betekent een kleine beweging van je mond een grote glimlach.
• Als iemand anders een breed gezicht heeft, betekent dezelfde kleine beweging misschien maar een lichte krimp.

Als de robot de kaart van de "smalle persoon" gebruikt voor de "brede persoon", gaat het mis. De robot denkt dat de brede persoon boos is, terwijl hij eigenlijk alleen maar een beetje glimlacht. De robot verward de vorm van het gezicht (de morfologie) met de gevoelens (de expressie).

De Oplossing: De "Gevoels-Vertaler"

De onderzoekers van dit paper hebben een slimme nieuwe manier bedacht, genaamd "Morphology-Independent" (onafhankelijk van de gezichtsvorm). Ze hebben een robot gebouwd die heet Pengrui.

Hun methode werkt in twee stappen, alsof je een geheimzinnige vertaler hebt:

Stap 1: De "Scheiding" (Expression Decoupling)

Stel je voor dat je een foto van iemand maakt. De robot kijkt niet alleen naar de foto, maar probeert de foto te "ontleden" in drie losse lagen:

1. De Gevoelens: Wat probeert deze persoon te zeggen? (Bijvoorbeeld: "Ik ben blij").
2. De Vorm: Hoe ziet dit gezicht eruit? (Bijvoorbeeld: "Dit is een rond gezicht met een brede neus").
3. De Hoek: Kijkt de persoon naar links of rechts?

De robot leert deze lagen te scheiden. Hij leert dat "blij zijn" een universeel concept is, ongeacht of het gezicht rond, lang, smal of breed is. Het is alsof hij de "gevoelsboodschap" uit de "gezichtspakket" haalt en apart legt.

Stap 2: De "Vertaling" (Expression Transfer)

Nu heeft de robot de pure "gevoelsboodschap" (bijv. "Blij!"). Hij kijkt nu naar zijn eigen gezicht (Pengrui).

• Hij denkt: "Oké, ik moet 'blij' zijn. Maar mijn gezicht is anders dan dat van de mens. Hoe moet ik mijn eigen motortjes bewegen om mijn gezicht blij te laten lijken?"

Hij gebruikt een slimme formule om te berekenen welke motortjes hij moet aandrijven, zodat zijn gezicht precies datzelfde gevoel uitstraalt, zonder zich te laten storen door de vorm van het menselijke gezicht.

De Robot: Pengrui

Om dit te testen, hebben ze Pengrui gebouwd. Dit is geen gewone robot met een plastic masker.

• Huid: Hij heeft een zachte siliconen huid, net als menselijke huid.
• Spieren: Onder die huid zitten 32 kleine motortjes (zoals spieren) die aan de huid trekken.
• Beweging: Omdat ze stroomstappenmotoren gebruiken, kan Pengrui heel snel en soepel bewegen. Hij kan zijn wenkbrauwen, lippen, kaak en zelfs zijn nek bewegen.

Waarom is dit belangrijk?

Vroeger moest je elke robot voor elke persoon apart "calibreren" (instellen). Als je een nieuwe persoon zag, moest je de robot opnieuw leren hoe die persoon eruitzag.

Met deze nieuwe methode is de robot slimmer en flexibeler. Hij kan naar een willekeurige persoon kijken, de emotie "ontleden", en die emotie direct en natuurlijk nabootsen op zijn eigen gezicht. Het maakt de interactie tussen mens en robot veel natuurlijker, alsof de robot echt luistert en reageert, in plaats van alleen maar een vooraf ingesteld programma af te spelen.

Kortom: Ze hebben een robot gebouwd die niet kijkt naar hoe je gezicht eruitziet, maar naar wat je voelt, en dat gevoel dan op zijn eigen manier perfect nabootst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Morphology-Independent Facial Expression Imitation for Human-Face Robots", geschreven in het Nederlands.

Probleemstelling

Bestaande methoden voor het imiteren van gezichtsuitdrukkingen op menselijke robots vertrouwen vaak op een directe mapping van 2D gezichtspunten (landmarks) naar de actuatorcommando's van de robot. Een fundamenteel probleem hierbij is dat deze representaties inherent gekoppeld zijn aan de faciale morfologie (de fysieke vorm van het gezicht) van de persoon die de uitdrukking maakt.

• Interferentie: Wanneer de robot probeert een uitdrukking na te bootsen van iemand met een ander gezichtstype dan de persoon in de trainingsdata, worden morfologische verschillen vaak ten onrechte geïnterpreteerd als bewegingen van de uitdrukking.
• Gevolg: Dit leidt tot foutieve actuatorcommando's, vervormde robotische uitdrukkingen en een gebrek aan robuustheid bij variaties in gezichtsstructuur. Er ontbreekt een methode die uitdrukkingen echt ontkoppelt van de onderliggende gezichtsvorm.

Methodologie

De auteurs stellen een morphologie-onafhankelijke methode voor die uitdrukkingen en gezichtsvorm ontkoppelt in een zelftoezichtende (self-supervised) leeromgeving. Het systeem bestaat uit twee kernmodules, zoals geïllustreerd in Figuur 1 van het artikel:

1. Expression Decoupling Module (EDM):

   • Doel: Het extraheren van ontkoppelde (disentangled) representaties van een gezichtsbeeld: de uitdrukking ($e$), de houding ($p$) en de morfologie ($m$).
   • Architectuur: Een encoder-decoder structuur gebaseerd op ResNet50. De encoder verwerkt een inputafbeelding en genereert de drie latenterepresentaties.
   • Zelftoezicht (Self-Supervision): Omdat er geen datasets bestaan met dezelfde uitdrukking van verschillende mensen met gelabelde grondwahrheid, gebruiken de auteurs het FLAME-model (een statistisch 3D hoofdmodel). De decoder reconstrueert een 3D gezichtsmesh op basis van de gegenereerde representaties. De training wordt gestuurd door de fout te minimaliseren tussen de 2D landmarks van de originele foto en de geprojecteerde landmarks van de gereconstrueerde 3D mesh. Hierdoor leert het netwerk de uitdrukking te scheiden van de vorm zonder expliciete labels.

2. Expression Transfer Module (ETM):

   • Doel: Het omzetten van de ontkoppelde uitdrukkingrepresentatie ($e$) naar specifieke actuatorcommando's ($\tilde{a}$) voor de robot.
   • Uitdaging: Er bestaat geen nauwkeurig fysiek model voor de mapping tussen uitdrukkingen en de 32 actuators van de robot.
   • Oplossing: De auteurs gebruiken een encoder-decoder architectuur met een inversie-strategie.
     • De Encoder ($ETM_\phi$) voorspelt actuatorcommando's uit de uitdrukking.
     • De Decoder ($ETM_{INV_\psi}$) is een inversie-module die, gegeven actuatorcommando's, de bijbehorende uitdrukkingrepresentatie voorspelt.
   • Trainingsdoel: Het systeem wordt getraind door de reconstructiefout van de uitdrukking te minimaliseren (d.w.z. als de decoder de oorspronkelijke uitdrukking kan terugvinden uit de gegenereerde commando's, dan zijn de commando's correct). Dit garandeert perceptuele trouw in plaats van alleen het minimaliseren van commandofouten.

Belangrijkste Bijdragen

1. Nieuwe Methode: Een pionierende methode die gezichtsuitdrukkingen expliciet ontkoppelt van faciale morfologie in een zelftoezichtende setting, waardoor robots uitdrukkingen kunnen nabootsen die robuust zijn tegen variaties in gezichtsvorm.
2. Pengrui Robot: De ontwikkeling van een nieuwe, hooguitdrukkingskrachtige menselijke robot genaamd Pengrui.
   • Specificaties: 32 actuators (22 voor gezicht, 9 voor ogen/hals, 1 voor nek) met 48 graden van vrijheid.
   • Innovatie: Gebruik van stepmotoren met starre koppelingen die direct verbonden zijn met een siliconen huid. Dit biedt snellere dynamische respons en een groter bewegingsbereik dan traditionele pees-aangedreven of flexibele micro-actuator-systemen.
   • Doel: Dient als een openbaar experimenteel platform voor de validatie van de methode.

Resultaten

De methode werd geëvalueerd op synthetische data (gegenereerd met FLAME) en op de fysieke Pengrui-robot.

• Ontkoppeling (Decoupling):

  • De voorgestelde methode reduceerde de variabiliteit (Coefficient of Variation - CV) van uitdrukkingen over verschillende gezichtsvormen aanzienlijk vergeleken met landmark-based methoden. Bijvoorbeeld, voor "verrassing" en "afkeer" werd de variatie met respectievelijk 3,686 en 5,592 verlaagd.
  • Visualisaties (t-SNE) tonen aan dat de voorgestelde methoden strakkere clusters vormen per uitdrukking, ongeacht de gezichtsvorm, terwijl landmark-methoden sterk verspreid zijn.
  • De fouten (MSE en MAE) voor het herleiden van morfologie en uitdrukking waren significant lager dan bij baselines (tot 74% reductie in MSE).

• Translatie naar Robot (Transfer):

  • De volledige pijplijn (EDM + ETM) presteerde superieur ten opzichte van baselines zoals willekeurige initialisatie, fijnafgestelde netwerken en Nearest Neighbor strategieën.
  • De MSE voor actuatorcommando's werd met 58,4% verlaagd ten opzichte van de sterkste baseline.
  • Experimenten op de fysieke robot (Fig. 6) tonen aan dat Pengrui uitdrukkingen van verschillende personen nauwkeurig en consistent kan nabootsen zonder specifieke kalibratie per gebruiker.

Betekenis en Toekomstperspectief

• Significantie: Dit werk doorbreekt de beperking van bestaande systemen die afhankelijk zijn van specifieke gezichtsvormen. Het stelt mens-robotinteractie in staat om natuurlijker en expressiever te zijn, ongeacht wie de menselijke partner is. De openbaarmaking van de code en het robotontwerp (Pengrui) bevordert de reproduceerbaarheid in de gemeenschap.
• Beperkingen: De methode toont nog enige beperkingen bij zeer subtiele uitdrukkingen (zoals verrassing en afkeer) en langdurige stabiliteit van het siliconen materiaal kan leiden tot drift.
• Toekomst: De auteurs plannen om de representatielering te verbeteren voor subtiele emoties, menselijke perceptiestudies uit te voeren voor evaluatie, en de hardware van Pengrui te upgraden voor nog betere stabiliteit en natuurlijkheid.