💻 computer science

FG-Portrait: 3D Flow Guided Editable Portrait Animation

Die Arbeit stellt FG-Portrait vor, ein 3D-Flow-gesteuertes Verfahren zur Porträtanimation, das durch den Einsatz lernfreier, geometriebasierter 3D-Flüsse und einer tiefengeführten Abtastung sowohl eine präzisere Bewegungsübertragung als auch eine zuverlässige Identitätserhaltung und bearbeitbare Gesichtsausdrücke ermöglicht.

Ursprüngliche Autoren: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast ein altes Foto von einem Freund (das Quellbild) und möchtest, dass er auf dem Foto genau so lacht, den Kopf schüttelt oder die Augenbrauen hebt wie in einem neuen Video oder einem anderen Foto (dem Antriebsbild). Das ist das Ziel von "Porträt-Animation".

Das Problem ist bisher: Die Computerprogramme waren oft wie blinde Maler. Sie schauten sich das neue Video an und versuchten, es auf das alte Foto zu übertragen. Aber sie verstanden nicht wirklich, wie sich die Gesichter von A nach B bewegen. Das Ergebnis war oft verzerrt, oder das Gesicht sah plötzlich aus wie das des Fahrers, nicht mehr wie das deines Freundes.

Hier kommt FG-Portrait ins Spiel. Die Forscher haben eine clevere Lösung gefunden, die wir uns wie einen 3D-Flugplan vorstellen können.

1. Der alte Weg: Raten und Vermuten

Bisherige Methoden versuchten, die Bewegung nur aus dem flachen 2D-Bild zu erraten. Das ist wie der Versuch, die Route eines Flugzeugs nur anhand einer 2D-Karte zu planen, ohne zu wissen, wie hoch es fliegt oder wie sich die Berge im Hintergrund bewegen. Das führt zu Fehlern.

2. Die neue Lösung: Der 3D-Flugplan (3D Flow)

FG-Portrait macht etwas ganz anderes. Statt nur auf das Bild zu schauen, baut es für beide Gesichter (das alte und das neue) sofort ein virtuelles 3D-Modell aus Ton (ein digitales Skelett mit Haut).

Die Analogie: Stell dir vor, dein Freund ist eine Puppe aus Knete. Du hast eine Puppe in der Ausgangsposition (Quellbild) und eine in der Zielposition (Antriebsbild).
Der "Flow": Das System zeichnet unsichtbare Linien von jedem Punkt auf der Ziel-Puppe zurück zu ihrem Ursprungsort auf der Quell-Puppe. Wenn die Nase nach links wandert, zeigt eine Linie genau, wie weit und wohin sie sich bewegt hat.
Der Vorteil: Da diese Linien auf einem echten 3D-Modell basieren, gibt es keine Rätselraten mehr. Das System weiß exakt, wie sich die Haut über dem Knochen bewegt, egal ob der Kopf stark gedreht wird oder die Person eine andere Frisur hat.

3. Der Tiefen-Kompass (Depth-Guided Sampling)

Aber es gibt noch ein Problem: Ein 2D-Bild ist flach. Wenn wir eine Linie im 3D-Raum ziehen, wissen wir nicht genau, wo sie im flachen Bild landen soll. Ist der Punkt auf der Nase oder auf dem Hintergrund?

Die Analogie: Stell dir vor, du wirfst einen Ball in einen dunklen Raum und willst wissen, wo er landet. Wenn du einfach raten würdest, triffst du oft daneben. FG-Portrait nutzt aber eine Taschenlampe (Tiefenkarte), die genau beleuchtet, wie tief die Nase oder die Wange im Raum liegt.
Die Lösung: Das System nutzt dieses "Tiefen-Licht", um die 3D-Linien genau dorthin zu lenken, wo sie im 2D-Bild hingehören. So wird die Bewegung perfekt auf das flache Foto projiziert.

4. Der Drehknopf für den Nutzer (Bearbeitung)

Das Coolste an FG-Portrait ist, dass du nicht nur ein Video abspielen musst. Du kannst als Nutzer selbst zum Regisseur werden.

Die Analogie: Stell dir vor, du hast eine Marionette. Andere Programme können nur die Marionette so bewegen, wie ein anderer Schauspieler es getan hat. FG-Portrait gibt dir aber einen Drehknopf.
Die Funktion: Du kannst sagen: "Mach den Mund noch ein bisschen weiter auf" oder "Drehe den Kopf ein paar Grad nach links". Das System berechnet sofort den neuen 3D-Flugplan und passt das Bild an. Du kannst also die Mimik und den Kopfstand deines Freundes auf dem Foto ganz nach deinem Geschmack ändern.

Zusammenfassung

Kurz gesagt: FG-Portrait ist wie ein genialer 3D-Architekt für Gesichter.

Es baut ein 3D-Modell, um die Bewegung exakt zu verstehen (kein Raten mehr).
Es nutzt eine "Tiefen-Lampe", um die Bewegung perfekt auf das Foto zu übertragen.
Es gibt dir die Kontrolle, um die Mimik und den Kopfstand deines Freundes auf dem Foto selbst zu steuern.

Das Ergebnis sind lebensechte, natürliche Animationen, bei denen dein Freund immer noch wie dein Freund aussieht, aber genau das tut, was du von ihm verlangst.

Problemstellung

Das Ziel der Porträt-Animation ist es, eine Bildquelle (Source) mit der Identität der Person zu animieren, während die Kopfpose und der Gesichtsausdruck einer treibenden Bildquelle (Driving) übernommen werden.
Die bestehenden Ansätze, insbesondere diffusion-basierte Methoden (z. B. X-Portrait, Face-Adapter), leiden unter folgenden Problemen:

Fehlende Korrespondenz: Sie konditionieren die Diffusionsmodelle nur auf die treibende Bewegung, ohne explizite Korrespondenzen zwischen Quelle und Ziel herzustellen. Dies führt zu suboptimaler Bewegungsübertragung, besonders bei großen Pose- oder Aussehensunterschieden.
Ungenauigkeit bei 2D-Schätzung: Bisherige Versuche, dichte Bewegungsfelder (Motion Fields) direkt aus 2D-Bildern zu lernen, sind mathematisch schlecht gestellt (ill-posed). Die Schätzung von 3D-Bewegungen aus 2D-Eingaben ist mehrdeutig und führt oft zu ungenauen Animationen oder Identitätsverlust.
Mangelnde Editierbarkeit: Viele Modelle unterstützen keine benutzerdefinierte Bearbeitung von Pose oder Ausdruck während der Inferenz.

Methodik

Die Autoren stellen FG-Portrait vor, ein Framework, das 3D-Flows als lernfreie, geometriebasierte Bewegungsentsprechung nutzt, um Diffusionsmodelle zu steuern.

1. 3D-Flows (Die Kerninnovation):
Anstatt Bewegungsfelder aus 2D-Bildern zu lernen, werden diese direkt aus parametrischen 3D-Kopfmodellen (FLAME) berechnet.

Berechnung: Aus dem Quellbild ( $I_{src}$ ) und dem treibenden Bild ( $I_{dri}$ ) werden die entsprechenden FLAME-Modelle ( $M_{src}$ und $M_{dri}$ ) geschätzt. Ein Zielmodell ( $M_{tgt}$ ) wird durch Kombination der Quellform ( $\beta_{src}$ ) mit der treibenden Pose ( $\theta_{dri}$ ) und dem Ausdruck ( $\psi_{dri}$ ) erstellt.
Korrespondenz: Für jeden Punkt im Zielraum wird der korrespondierende Punkt im Quellraum über ein Oberflächenfeld (Surface Field) gesucht. Der 3D-Flow ist die Differenzvektor zwischen diesen Punkten ( $f = p_{src} - p_{tgt}$ ).
Vorteil: Da dies auf einem geometrischen Modell basiert, ist die Methode lernfrei, robust gegenüber großen Poseänderungen und liefert korrekte semantische Korrespondenzen.

2. 3D-Flow-Encoding mit Tiefen-gesteuertes Sampling:
Um diese 3D-Informationen in ein 2D-Diffusionsmodell zu integrieren, wird ein neues Conditioning-Verfahren entwickelt:

Backprojection: Für jedes Pixel im Zielbild wird ein Strahl in den 3D-Raum zurückprojiziert.
Depth-Guided Sampling: Anstatt Punkte entlang des Strahls gleichmäßig zu samplingen (was zu Fehlern führt), wird die Sampling-Tiefe basierend auf einer gerenderten Tiefenkarte des Zielkopfes gesteuert. Dies stellt sicher, dass die abgefragten 3D-Punkte nahe an der tatsächlichen 3D-Oberfläche liegen und die 2D-Bewegung korrekt widerspiegeln.
Encoding: Die resultierenden 3D-Verschiebungen werden als Encoding ( $F_{src \leftarrow tgt}$ ) gestapelt und als Eingabe für das ControlNet des Diffusionsmodells verwendet.

3. Architektur:
Das System nutzt Stable Diffusion (SD 1.5) als Backbone. Es gibt drei Zweige:

Appearance Control: Ein Netzwerk extrahiert Merkmale aus dem Quellbild (Identität/Hintergrund).
Motion Control: Das ControlNet nimmt das 3D-Flow-Encoding entgegen.
Generierung: Ein U-Net denoist das Bild basierend auf diesen Bedingungen.

4. Editierbarkeit:
Während der Inferenz können Benutzer die FLAME-Parameter für Pose ( $\theta$ ) und Ausdruck ( $\psi$ ) manuell anpassen. Das System berechnet daraus neue 3D-Flows und generiert das bearbeitete Bild, ohne das Modell neu trainieren zu müssen.

Wichtige Beiträge

Einführung von 3D-Flows: Eine lernfreie, geometriebasierte Methode zur Beschreibung der Bewegungsentsprechung zwischen Quelle und Ziel, die auch bei starken Variationen robust ist.
3D-Flow-Encoding & Depth-Guided Sampling: Ein neuer Mechanismus, der 3D-Bewegungsdaten präzise in 2D-Pixel-Koordinaten abbildet und so eine exakte Ausrichtung für Diffusionsmodelle ermöglicht.
Inferenz-basierte Editierung: Unterstützung für benutzerdefinierte Änderungen von Gesichtsausdruck und Kopfhaltung in Echtzeit während der Generierung.
Umfassende Evaluation: Quantitative und qualitative Überlegenheit gegenüber State-of-the-Art-Methoden auf den Datensätzen VFHQ und FFHQ.

Ergebnisse

Die Methode wurde auf den Datensätzen VFHQ (Video-Face-High-Quality) und FFHQ getestet.

Quantitative Ergebnisse:
- Bewegungsgenauigkeit: FG-Portrait erzielt signifikant niedrigere Fehlerwerte für Pose (APD) und Ausdruck (AED) im Vergleich zu SOTA-Methoden wie X-Portrait, Face-Adapter und HunyuanPortrait.
  - Beispiel (Self-Reenactment): APD von 2.682 (Ours) vs. 3.660 (X-Portrait).
  - Beispiel (Cross-Reenactment): APD von 7.764 (Ours) vs. 11.220 (X-Portrait).
- Identitätserhaltung: Die Methode behält die Identität der Quelle gut bei (gemessen durch CSIM), wobei ein optimaler Kompromiss zwischen genauer Bewegungsübertragung und Identitätserhaltung gefunden wird.
- Bildqualität: Niedrigere LPIPS-Werte (bessere Bildähnlichkeit) als viele Baselines.
Qualitative Ergebnisse:
- Die Animationen zeigen realistischere Bewegungen, besonders bei großen Kopfdrehungen oder unterschiedlichen Identitäten.
- Im Gegensatz zu Methoden, die nur den Kopf segmentieren, passt sich der Hintergrund in FG-Portrait kohärent an die Bewegung an.
- Die benutzerdefinierte Editierung funktioniert präzise, ohne Artefakte zu erzeugen.
Ablationsstudien:
- Der Einsatz von Depth-Guided Sampling verbessert die Metriken drastisch im Vergleich zu gleichmäßigem Sampling.
- Der Vergleich mit anderen Motion-Conditions (nur Landmarken oder vorhergesagte 2D-Flows) zeigt, dass die 3D-Flows überlegen sind.

Bedeutung und Limitationen

Bedeutung: FG-Portrait löst das fundamentale Problem der fehlenden geometrischen Korrespondenz in der Porträt-Animation. Durch die Nutzung von 3D-Modellen als „Ground Truth" für die Bewegung wird die Notwendigkeit großer, fehleranfälliger Trainingsdaten für Bewegungsfelder umgangen. Die Fähigkeit zur direkten Editierung macht das Tool für Anwendungen in Filmproduktion und digitalen Zwillingen besonders wertvoll.
Limitationen: Die Genauigkeit hängt von der Qualität des FLAME-Modells ab. Feine Details der Mimik (z. B. sehr spezifische Augenlidbewegungen) können aufgrund der begrenzten Auflösung des Meshes manchmal nicht perfekt wiedergegeben werden. Die Autoren planen, fortschrittlichere 3D-Kopfmodelle in zukünftigen Arbeiten zu integrieren.

Zusammenfassend bietet FG-Portrait einen neuen Paradigmenwechsel weg von rein datengetriebenen 2D-Bewegungsschätzungen hin zu einer geometriegetriebenen, präzisen und editierbaren 3D-gesteuerten Animation.