💻 computer science

Loki: Representation over Architecture for Diffusion-Based Portrait Animation

Loki introduit un nouveau cadre d'animation de portraits basé sur la diffusion qui remplace le conditionnement basé sur les RGB par un modèle de visage paramétrique orthogonal à l'identité et une injection légère de clés-valeurs, permettant un contrôle supérieur de la pose et de l'expression avec nettement moins de paramètres et de données d'entraînement tout en rendant possible la réanimation zero-shot entre identités différentes.

Auteurs originaux : Pouyan Navard, Sernam Lim

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pouyan Navard, Sernam Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Changer le « Langage » de l'Animation

Imaginez que vous voulez prendre une photo d'un ami (la Référence) et le faire parler et bouger comme une autre personne dans une vidéo (le Conducteur). Cela s'appelle « l'Animation de Portrait ».

La plupart des systèmes d'IA actuels tentent de le faire en considérant la vidéo et la photo comme des pixels (de minuscules points colorés). Le problème est que les pixels sont désordonnés. Dans une image pixelisée, la forme du visage de la personne, son sourire et la façon dont elle tourne la tête sont tous mélangés dans le même tas de points. Pour les séparer, l'IA doit apprendre des astuces complexes et coûteuses pour « démêler » l'identité du mouvement. C'est comme essayer de séparer un smoothie mixé pour retrouver les fruits entiers, le lait et la glace simplement en regardant le liquide.

Loki adopte une approche complètement différente. Au lieu de regarder les pixels, il examine le plan du visage.

L'Innovation Centrale : Le « Plan du Visage » (FLAME)

Les auteurs utilisent un outil appelé FLAME, qui est un modèle mathématique 3D d'un visage humain. Imaginez FLAME non pas comme une image, mais comme une sculpture en argile numérique avec des boutons et des cadrans spécifiques :

Bouton A : Contrôle la forme du visage (Identité).
Bouton B : Contrôle le sourire, la moue ou l'ouverture de la mâchoire (Expression).
Bouton C : Contrôle le fait de tourner la tête à gauche ou à droite (Pose).

Dans la plupart des autres systèmes, ces boutons sont emmêlés. Dans Loki, ils sont parfaitement séparés. Vous pouvez tourner le bouton « Sourire » sans modifier accidentellement le bouton « Forme du Visage ».

Comment Loki Fonctionne : Le Système à Deux Voies

Loki utilise un modèle de « diffusion » (un type d'IA qui génère des images à partir du bruit). Habituellement, ces modèles ont besoin de beaucoup de machinerie lourde pour comprendre ce qu'ils doivent dessiner. Loki simplifie cela en divisant les instructions en deux voies distinctes :

1. La Voie du Conducteur (La « Carte de Mouvement »)
Au lieu de fournir à l'IA la vidéo du conducteur, Loki prend la vidéo du conducteur, extrait les boutons FLAME (combien ils ont souri, combien ils ont tourné) et transforme ces nombres en une carte spéciale.

L'Analogie : Imaginez une carte topographique d'une montagne. Les lignes sur la carte ne vous disent pas qui se tient sur la montagne ; elles vous disent simplement où se trouvent les sommets et les vallées, et à quel point ils sont pentus.
Loki crée une carte qui dit : « Voici un sourire » et « Voici un mouvement de tête », mais elle ne contient aucune information sur qui est la personne. Elle est purement axée sur le mouvement.

2. La Voie de l'Identité (Le « Masque de Visage »)
L'IA prend ensuite la photo de la personne que vous souhaitez animer (la Référence). Elle alimente cette photo dans le système pour apprendre à quoi ressemble le visage.

L'Analogie : C'est comme prendre un moule en argile vide et y presser le visage de la Référence pour en obtenir la forme.

Le Tour de Magie :
Parce que la « Carte de Mouvement » (Conducteur) ne contient aucune identité, et que le « Moule de Visage » (Référence) ne contient aucun mouvement, Loki peut simplement échanger les cartes.

Il prend le mouvement de la carte du conducteur.
Il l'applique à la forme du visage de la référence.
Résultat : La personne de référence bouge exactement comme le conducteur, mais conserve son propre visage.

Pourquoi C'est une Grande Nouvelle

1. C'est Moins Cher et Plus Rapide
Parce que l'IA n'a pas besoin d'apprendre à démêler l'identité du mouvement (puisque le plan les sépare déjà pour elle), elle a besoin de 43 % de paramètres en moins (moins de puissance de cerveau) et de 1 496 fois moins de données vidéo pour s'entraîner.

Analogie : Les autres systèmes sont comme un élève essayant d'apprendre une langue en mémorisant chaque phrase d'un dictionnaire. Loki est comme donner à l'élève un livre de grammaire qui explique déjà les règles parfaitement. Ils apprennent beaucoup plus vite.

2. Cela Fonctionne avec des Inconnus (Cross-ID)
Habituellement, pour qu'un système fonctionne bien lorsque le conducteur et la référence sont des personnes différentes, il faut l'entraîner sur des milliers d'exemples de différentes personnes agissant ensemble.

Le Secret de Loki : Parce que les mathématiques du plan sont si claires, Loki peut apprendre sur une seule personne en train d'agir, puis fonctionner instantanément sur n'importe quelle autre personne. C'est comme apprendre à faire du vélo avec des roulettes, puis pouvoir immédiatement faire du VTT sans jamais avoir pratiqué dessus. Aucun entraînement supplémentaire n'est nécessaire.

3. Une Meilleure Précision
Le papier introduit deux nouvelles façons de mesurer le succès. Au lieu de simplement demander : « L'image est-elle nette ? » (ce que vérifient les anciennes méthodes), ils demandent : « La tête a-t-elle tourné exactement de la même quantité ? » et « La bouche s'est-elle ouverte exactement de la même largeur ? »

Loki excelle dans ces tâches spécifiques. Il capture les mouvements grands et dramatiques (comme une bouche grand ouverte ou un mouvement de tête vif) bien mieux que les systèmes précédents, qui rendent souvent les mouvements « médiocres » ou génériques.

Résumé

Loki est une nouvelle façon d'animer des visages qui arrête d'essayer de « deviner » le mouvement à partir d'une vidéo floue. Au lieu de cela, il utilise un plan mathématique qui sépare naturellement « qui est la personne » de « ce qu'elle fait ».

Ancienne Méthode : Essayer de démêler un smoothie pour retrouver les fruits. (Difficile, coûteux, désordonné).
Méthode Loki : Utiliser une carte de recette qui liste les fruits et le lait séparément. (Facile, peu coûteux, précis).

Cela permet au système d'être plus petit, de s'entraîner sur moins de données, et d'effectuer l'astuce de « cross-identité » (faire agir un inconnu comme quelqu'un d'autre) sans avoir besoin d'un entraînement spécial pour cela.

Résumé Technique : Loki – Représentation plutôt qu'Architecture pour l'Animation de Portraits par Diffusion

Énoncé du Problème

L'animation de portraits vise à transférer les expressions faciales et la pose de la tête d'un clip vidéo pilote vers une seule image de référence tout en préservant l'identité de cette référence. Le défi pratique réside dans la réanimation inter-identités, où le pilote et la référence sont des individus différents.

Les systèmes actuels de pointe basés sur la diffusion abordent ce problème en empilant des modules distincts et entraînés pour l'identité, l'expression et la pose. Ces systèmes conditionnent généralement sur des signaux RVB (ou audio). L'article soutient que le RVB entrelace fondamentalement l'identité, la pose et l'expression à chaque pixel. Par conséquent, la disjonction effectuée par ces modules empilés est statistique plutôt que structurelle, ce qui entraîne des problèmes tels que la fuite de l'identité du pilote vers la sortie et l'atténuation des détails d'expression fins vers une a priori générique. De plus, ces architectures complexes nécessitent des ensembles de données d'entraînement massifs et un nombre important de paramètres.

Méthodologie : Loki

Loki propose un changement de paradigme passant de la complexité architecturale au choix de la représentation. Au lieu d'apprendre à disjoindre les caractéristiques du RVB, Loki conditionne le noyau de diffusion sur un modèle de visage paramétrique (FLAME) dont les axes pour l'identité, l'expression et la pose sont indépendants par construction.

1. Le Chemin du Pilote (Expression et Pose)

Loki rasterise les paramètres FLAME en une carte pilote spatiale qui sert de signal de conditionnement pour l'expression et la pose de la tête. Cette carte se compose de deux groupes de canaux distincts :

Encodage Positionnel (42 canaux) : Encode les coordonnées canoniques de l'espace-template des sommets du maillage FLAME en utilisant un encodage positionnel sinusoïdal. Cela identifie quel point du visage est visible à chaque pixel. Crucialement, parce que ces valeurs sont dérivées de l'espace-template, elles sont invariantes à l'identité ; le même point anatomique (par exemple, le bout du nez) produit toujours le même encodage, quelle que soit l'identité de la personne.
Déformation d'Expression (3 canaux) : Encode les vecteurs de déplacement 3D ( $\Delta x, \Delta y, \Delta z$ ) des sommets du maillage par rapport à une expression neutre. Cela capture comment le visage a bougé (par exemple, les coins des lèvres qui s'étirent, la mâchoire qui s'ouvre). Puisque la base d'expression de FLAME est orthogonale à sa base d'identité, ces déformations dépendent uniquement des coefficients d'expression, et non de l'identité ou de la pose.

Cette carte pilote est sous-échantillonnée par un encodeur léger et injectée dans le UNet de génération. Parce que la carte ne contient aucune information d'identité par construction, le modèle n'a pas besoin d'apprendre à séparer l'identité de l'expression.

2. Le Chemin de l'Identité

L'identité est acheminée séparément à travers les propres caractéristiques pré-entraînées du noyau de diffusion. Une copie figée du UNet de Stable Diffusion 2.1 traite l'image de référence, et ses caractéristiques d'auto-attention sont injectées dans le UNet de génération via une injection clé-valeur. Cela exploite l'a priori génératif existant du noyau pour maintenir l'identité sans nécessiter d'adaptateur d'identité dédié et entraîné ni de fonction de perte spécifique.

3. Inférence Inter-Identités par Substitution Paramétrique

Le mécanisme central permettant la réanimation inter-identités sans données d'entraînement spécifiques est la substitution paramétrique. Lors de l'inférence, le système construit une carte pilote en utilisant :

La forme d'identité de la référence ( $\vec{\beta}_{ref}$ ) et la caméra.
L'expression ( $\vec{\psi}_{drv}$ ) et la pose ( $\vec{\theta}_{drv}$ ) du pilote.

Parce que les canaux d'encodage positionnel sont invariants à l'identité et que les canaux de déformation dépendent uniquement de l'expression, la carte pilote résultante est structurellement identique à ce que le modèle a vu lors de l'entraînement sur une seule identité, simplement disposée sur une géométrie de visage différente. Le UNet de génération effectue le même passage avant pour lequel il a été entraîné, transférant efficacement le mouvement du pilote vers la forme de la référence.

Contributions Clés

Conditionnement Paramétrique Disjoint : Un cadre qui élimine le besoin de modules entraînés séparés pour l'expression, la pose et l'identité. En utilisant une représentation FLAME rasterisée, l'expression et la pose sont délivrées via un signal spatial unique, tandis que l'identité est gérée par l'a priori du noyau. Cela réduit les paramètres d'inférence de ~43 % par rapport aux bases de diffusion de pointe.
Efficacité de l'Entraînement : Le modèle est entraîné sur 1 496 fois moins de données vidéo (environ 1,7 heure contre des milliers d'heures pour les bases) et atteint des capacités inter-identités purement par substitution paramétrique, sans nécessiter de paires d'entraînement inter-identités.
Nouvelles Métriques d'Évaluation : L'article introduit deux métriques ancrées dans le modèle de visage paramétrique pour mesurer directement la fidélité au pilote, comblant le vide des métriques existantes qui échouent à mesurer le suivi du mouvement :
- Suivi de la Pose de la Tête (HPF) : Mesure la distance angulaire géodésique entre les trajectoires de rotation de la tête du pilote et de celle générée.
- Suivi de l'Expression (HEF) : Mesure la différence pixel par pixel des cartes de déformation d'expression lorsque l'expression du pilote est substituée dans la pose et la forme de la cible.

Résultats

Évalué sur l'ensemble de données HDTF pour la réanimation inter-identités :

Fidélité du Mouvement : Loki mène ou partage la tête sur les métriques HPF et HEF proposées. Il atteint un HEF de 0,0828 (plus bas est mieux), surpassant les bases pilotées par la vision comme HunyuanPortrait (0,0850) et surpassant significativement les méthodes pilotées par l'audio (0,11–0,12).
Performance Qualitative : Loki reproduit les grandes rotations de tête, les ouvertures de bouche larges et les expressions asymétriques avec une fidélité supérieure aux bases, qui ont tendance à sous-rotater les têtes ou à atténuer l'amplitude de l'expression vers un a priori modéré.
Efficacité des Ressources : Loki s'entraîne sur 10 649 clips (environ 1,7 heure) avec 1,77 milliard de paramètres, tandis que les bases de pointe s'entraînent sur plus de 166 000 clips (jusqu'à 2 543 heures) avec 2,18 à 3,11 milliards de paramètres.
Études d'Ablation : Supprimer la rasterisation (en utilisant des vecteurs bruts) ou les canaux d'encodage positionnel dégrade considérablement les performances inter-identités, confirmant que le biais inductif spatial et le système de coordonnées invariant à l'identité sont critiques.

Signification et Limites

L'article affirme que la complexité architecturale des systèmes récents d'animation de portraits peut être remplacée par un choix de représentation : conditionner sur un modèle paramétrique avec des axes indépendants. Cette approche permet à la réanimation inter-identités d'émerger naturellement comme une substitution de coefficients plutôt que comme une capacité apprise.

Cependant, les auteurs sont modestes concernant les limites du système :

Dépendance à FLAME : Le conditionnement est borné par la fidélité des ajustements FLAME sous-jacents. Les expressions en dehors de la base du modèle, les visages occlus ou les échecs d'ajustement se propagent directement dans la carte pilote.
Métriques Pixel : Le système se classe plus bas sur les métriques traditionnelles alignées sur les pixels (PSNR, SSIM, LPIPS) par rapport aux bases conditionnées par le RVB. Les auteurs attribuent cela au fait que les métriques pixel récompensent les systèmes qui préservent le cadrage de vérité terrain, tandis que le suivi fidèle du pilote par Loki introduit des variations de pose et d'expression que les métriques pixel pénalisent.
Travaux Futurs : Combler l'écart dans les métriques pixel sans réintroduire l'entrelacement de l'identité est identifié comme une direction pour la recherche future.