Technische Samenvatting: Genereren van 3D-modellen uit schetsen van menselijke gezichten

Probleemstelling

Het genereren van 3D-modellen uit 2D-lijnschetsen van menselijke gezichten vormt een aanzienlijke uitdaging binnen Computer Graphics. Hoewel bestaande methoden 3D-vormen kunnen genereren uit abstracte schetsen of modellen kunnen vervormen op basis van contourmatching, kampen zij vaak met de specifieke complexiteiten van gezichtsuitdrukkingen. Gezichtsuitdrukkingen veranderen de contouren van een gezicht aanzienlijk, waardoor kenmerken (rimpels, plooien) ontstaan die afwezig zijn in een neutraal gezicht. Bovendien lijden bestaande datasets vaak onder biases in geslacht of etniciteit, en vertrouwen veel benaderingen op slecht gedefinieerde emotionele categorieën (bijvoorbeeld "blij" of "verdrietig") in plaats van precieze anatomische bewegingen, wat leidt tot karikatuur-achtige output of een gebrek aan realisme. Het kernprobleem dat wordt aangepakt, is hoe een realistisch 3D-gezichtmodel, inclusief de specifieke uitdrukking, nauwkeurig kan worden gereconstrueerd uit een eenvoudige handgetekende schets.

Methodologie

De voorgestelde aanpak combineert drie distincte componenten: Convolutional Neural Networks (CNN's) voor uitdrukkingdetectie, een parametrisch 3D-gezichtmodel voor initiële reconstructie, en Actieve Slangcontouren (Active Snake Contours) voor verfijnde vervorming. De workflow verloopt in drie hoofdfasen:

1. Datasetgeneratie en Uitdrukkingdetectie (Deep Learning)

Om het systeem te trainen in het herkennen van uitdrukkingen in schetsen, genereerden de auteurs een aangepaste dataset van meer dan 21.000 paren bestaande uit 3D-modellen en bijbehorende schetsen.

• Generatie: Met behulp van het parametrische gezichtmodel "Valley Girl" en rendering via Suggestive Contours randomiseerden de auteurs 53 parameters, waaronder gezichtshandelingen (FACS Action Units), hoofdrotatie, gezichtseigenschappen (ooggrootte, -vorm), geslacht en etniciteit. Dit zorgde voor een bias-vrije dataset met willekeurige variaties.
• Training: De auteurs trainden 12 afzonderlijke Convolutional Neural Networks (CNN's) om specifieke Facial Action Coding System (FACS) Action Units (AUs) te detecteren uit de schetsen. Elke CNN was een fijnafgestelde GoogLeNet-architectuur met toegevoegde convolutie-, max-pooling- en softmax-lagen. De taak was een binaire classificatie (actief versus inactief) voor AUs zoals frontalis, brow furrow, smile, squint en grimace.
• Invoerverwerking: Voor een nieuwe invoerschets detecteren deze getrainde CNN's de actieve AUs, waardoor de in de tekening vervatte uitdrukking effectief wordt ontcijferd.

2. Initialisatie van het Parametrische Model

Zodra de actieve AUs zijn gedetecteerd, dupliceert het systeem deze uitdrukking op het parametrische 3D-model "Valley Girl". Valley Girl is een fysiologisch accuraat model ontwikkeld in Autodesk Maya, waarbij gezichtsspieren worden gemodelleerd met behulp van blendshapes die worden aangestuurd door FACS AU-parameters. Deze stap levert een 3D-model op met de juiste uitdrukking, maar mogelijk onjuiste geometrische proporties ten opzichte van de specifieke schets.

3. Contourmatching en Vervorming (Actieve Slangcontouren)

Om het parametrische model af te stemmen op de specifieke kenmerken van de invoerschets, maakt het systeem gebruik van Actieve Slangcontouren.

• Proces: De invoerschets en een grijswaardenrendering van het uitdrukkingsgematchte Valley Girl-model worden uitgelijnd (via gebruikersinput) en van formaat veranderd. De schets wordt omgezet naar binair en contouren worden geëxtraheerd.
• Slangmapping: Deze contouren fungeren als "slangen" (vervormbare modellen) die worden gemapt op de rendering van het 3D-model. De slangen minimaliseren een energiefunctie bestaande uit interne energie (gladheid) en externe energie (beeldkrachten zoals randen en helderheid).
• Transformatie: Het systeem berekent de delta (verplaatsing) tussen de positie van de slang op de schets en zijn positie op de modelrendering. Deze delta's worden per doelvertex gemiddeld om overcorrectie te voorkomen. Grote delta's worden verworpen om mappingfouten te voorkomen.
• Toepassing: De berekende transformaties worden toegepast op de 3D-modelvertices met behulp van "Soft Select"-vervorming. Hierdoor kan het model vervormen en de gaten dichten tussen de parametrische basis en de specifieke contouren van de schets, waardoor kenmerken worden verwerkt die het parametrische model alleen niet zou kunnen genereren.

Belangrijkste Bijdragen

Het artikel identificeert drie primaire bijdragen aan het vakgebied:

1. Creatie van een Synthetische Dataset: Het genereren van een grootschalige, gerandomiseerde dataset van 3D-model/schets-paren met behulp van Valley Girl. In tegenstelling tot datasets die zijn afgeleid van echte foto's (die demografische biases kunnen bevatten), zorgt deze dataset voor randomisatie in geslacht, etniciteit en uitdrukking, en biedt zo een robuuste trainingsomgeving voor deep learning.
2. FACS AU-detectie uit Schetsen: Dit werk vertegenwoordigt het eerste geval in de literatuur waarin CNN's specifiek worden getraind om FACS Action Units direct uit handgetekende gezichtsschetsen te detecteren. Dit gaat voorbij aan grove emotionele categorisering naar precieze anatomische uitdrukkingherkenning.
3. Hybride Generatiepijplijn: De innovatieve combinatie van deep learning (voor uitdrukking), procedurale modellering (Valley Girl) en contourmatching (Actieve Slangen) om 3D-modellen te genereren. Deze aanpak maakt het mogelijk om uitdrukkingen op een parametrisch model te reproduceren, gevolgd door geometrische vervorming om de specifieke contouren van de schets te matchen.

Resultaten

Het systeem werd geëvalueerd aan de hand van vier voorbeelden: één gegenereerd uit de synthetische dataset en drie handgetekende schetsen.

• Uitdrukkingdetectie: De CNN's detecteerden succesvol actieve AUs in de schetsen. Hoewel er enkele vals-positieven voorkwamen (bijvoorbeeld het detecteren van "grimace" wanneer alleen "grimaceL" aanwezig was, of het verkeerd interpreteren van een lipdeuk als een "sneer"), waren de gedetecteerde uitdrukkingen over het algemeen accuraat en voldoende om het parametrische model aan te sturen.
• Vervorming: De Actieve Slangcontouren mapten de schetscontouren succesvol op het 3D-model. De resulterende "pixel-delta's" maakten vervorming van het model mogelijk om de specifieke geometrie van de schets te matchen.
• Eindoutput: De uiteindelijke 3D-modellen werden beschreven als realistisch en voldoende overeenkomend met de invoerschetsen. Het systeem slaagde erin diverse uitdrukkingen te verwerken, waaronder glimlachen, fronsen en complexe combinaties zoals knijpen en sneren.
• Prestaties: Op een Macbook Pro bedroeg de gemiddelde verwerkingstijd ongeveer 35,56 seconden per model (23,33s voor AU-detectie, 4,10s voor slangverwerking en 8,13s voor toepassing van transformaties).

Betekenis en Claims

Het artikel positioneert dit werk als een stap voorwaarts in het faciliteren van 3D-gezichtmodellering voor zowel professionele kunstenaars als beginners.

• Nieuwheid in Uitdrukkingdetectie: De auteurs stellen dat het detecteren van FACS AUs uit schetsen eerder niet was geprobeerd, waardoor hun werk zich onderscheidt van methoden die vertrouwen op brede emotionele categorieën of op foto's gebaseerde datasets.
• Aanpak van Beperkingen van Puur Deep Learning: Door CNN's te combineren met contourmatching, adresseren de auteurs de beperking van puur op deep learning gebaseerde benaderingen (zoals DeepSketch2Face), die moeite hebben met nieuwe kenmerken of specifieke contourdetails die niet aanwezig zijn in de trainingsverdeling. Het gebruik van Actieve Slangen stelt het systeem in staat contouren te identificeren en te verwerken die niet matchen met het parametrische model, en biedt zo een weg naar het oplossen van het probleem van "nieuwe kenmerken" (bijvoorbeeld littekens of ongewone rimpels), zelfs als de huidige implementatie deze specifieke contouren uitsluit.
• Praktische Bruikbaarheid: De methode stelt gebruikers in staat om snel karakterontwerpen te prototypen of schetsen te visualiseren als 3D-renderings, waardoor de kloof tussen 2D-conceptkunst en 3D-productieassets wordt overbrugd.

De auteurs blijven bescheiden over de huidige mogelijkheden van het systeem, en erkennen beperkingen zoals het onvermogen om volledig nieuwe kenmerken te creëren (bijvoorbeeld een derde oog) en de afhankelijkheid van gebruikersinput voor initiële uitlijning. Zij suggereren dat toekomstig werk zou kunnen bestaan uit het uitbreiden van de dataset, het verbeteren van de UI voor interactie, en het verfijnen van de verwerking van asymmetrieën en nieuwe contouren.