Notational Animating: An Interactive Approach to Creating and Editing Animation Keyframes

Cet article présente le concept d'« animation notée », une nouvelle approche interactive où les animateurs esquissent des notations haut niveau sur des dessins statiques pour générer automatiquement des images clés d'animation, un système qui formalise ces croquis, offre un contrôle paramétrique et intègre une boucle de rétroaction pour résoudre les ambiguïtés, le tout validé par une étude préliminaire auprès de professionnels.

L'essentiel

Imaginez que vous êtes un réalisateur de dessin animé. Autrefois, pour faire bouger un personnage, il fallait dessiner chaque image à la main, une par une, comme un flipbook. C'était long et fastidieux. Aujourd'hui, on utilise des ordinateurs, mais souvent, il faut encore régler des centaines de petits boutons et de curseurs pour dire à l'ordinateur : « Bouge la main de 5 pixels vers la gauche, puis tourne le cou de 10 degrés ». C'est comme essayer de conduire une voiture en parlant à chaque boulon du moteur séparément.

Ce papier de recherche propose une nouvelle façon de faire, qu'ils appellent « l'animation par notation » (Notational Animating). Voici comment ça fonctionne, expliqué simplement :

1. L'Idée de Base : Parlez le langage des dessinateurs

Les animateurs professionnels ont toujours utilisé des croquis rapides pour communiquer leurs idées. Si un animateur veut qu'un personnage saute, il ne va pas écrire un code complexe. Il va dessiner une flèche vers le haut, peut-être un peu courbée, avec un mot comme « Vite ! » ou « Puissant ».

L'idée de ce système est simple : Laissez l'animateur dessiner ses intentions directement sur le dessin, comme il le ferait sur un carnet de croquis.

• Vous dessinez une flèche ? L'ordinateur comprend : « Ah, il doit bouger dans cette direction ».
• Vous dessinez une ligne ondulée ? L'ordinateur comprend : « Il doit trembler ou vibrer ».
• Vous écrivez « Lourd » ? L'ordinateur comprend : « Le mouvement doit être lent et pesant ».

C'est comme si vous donniez des instructions à un assistant très doué, mais qui a besoin que vous lui montriez où et comment bouger, plutôt que de lui donner des coordonnées GPS précises.

2. Le Problème : L'ordinateur n'est pas un devin (encore)

Le problème, c'est que les croquis des humains sont souvent flous. Une flèche peut signifier « aller vite », « aller loin », ou « faire une courbe ». C'est ambigu. Si on laisse l'ordinateur deviner seul, il risque de faire n'importe quoi (comme faire sauter un personnage dans le mur au lieu de vers le ciel).

Pour régler ça, les chercheurs ont créé un traducteur intelligent (basé sur l'IA) qui fait deux choses :

1. Il interprète le croquis : Il regarde votre dessin et votre flèche et dit : « Je pense que tu veux que le bras monte vite ».
2. Il vous montre ce qu'il a compris : Il ne se contente pas de faire le mouvement. Il vous affiche une étiquette colorée à côté de votre flèche qui dit : « J'ai compris : Bras qui monte, vitesse rapide ».

C'est comme si vous commandiez un plat dans un restaurant. Le serveur (l'IA) répète votre commande : « Un steak saignant, s'il vous plaît ? ». Si vous dites « Non, je voulais bien cuit », vous pouvez corriger immédiatement avant que le plat ne soit cuisiné.

3. La Magie : Du croquis à l'image

Une fois que l'animateur a validé ce que l'ordinateur a compris, il clique sur un bouton. L'ordinateur utilise alors de la technologie avancée (l'IA générative) pour créer la prochaine image clé du dessin animé.

• Avant : Vous deviez dessiner l'image suivante vous-même.
• Maintenant : Vous dessinez une flèche, l'IA génère l'image suivante où le personnage a bougé selon votre intention.

Ensuite, l'animateur peut recommencer sur cette nouvelle image : il ajoute une autre flèche pour la suite du mouvement, et l'IA génère encore une autre image. C'est un jeu de « va-et-vient » entre l'humain et la machine.

4. Les Petits Boutons de Réglage (Pour les détails)

Parfois, une flèche ne suffit pas. L'animateur veut dire : « Oui, il monte, mais pas trop haut ». Le système propose alors de petits curseurs dynamiques (des barres de réglage) qui apparaissent à l'écran.

• C'est comme si vous aviez un chef cuisinier (l'IA) qui prépare le plat, et vous avez un petit bouton pour dire « Un peu plus de sel » ou « Moins de piment » sans avoir à refaire tout le plat.

5. Ce que les experts en ont pensé

Les chercheurs ont testé ce système avec de vrais animateurs professionnels. Voici ce qu'ils ont découvert :

• C'est intuitif : Les animateurs n'ont pas eu besoin d'apprendre un nouveau langage informatique. Ils ont juste utilisé leur crayon, comme d'habitude.
• C'est plus rapide pour l'idée : Au lieu de passer des heures à régler des paramètres, ils peuvent « sentir » le mouvement et le créer rapidement.
• Changement d'état d'esprit : Au lieu de penser « Je dois bouger ce bras de 5 pixels », ils pensent « Je veux que ce bras ait de l'élan ». C'est un passage du « réglage technique » à la « direction artistique ».

En résumé

Imaginez que vous êtes le capitaine d'un navire.

• L'ancienne méthode : Vous deviez aller dans la salle des machines et tourner manuellement chaque valve pour changer la direction du navire.
• La nouvelle méthode (Notational Animating) : Vous êtes sur le pont, vous tracez une ligne sur la carte avec un feutre pour indiquer la route. L'équipage (l'IA) comprend votre intention, ajuste les voiles et le moteur, et vous montre le résultat. Si ce n'est pas parfait, vous effacez la ligne, vous en redessinez une autre, et l'équipage s'adapte.

Ce système ne remplace pas l'animateur, il lui donne des super-pouvoirs pour exprimer ses idées plus vite et plus librement, en gardant le contrôle créatif entre ses mains. C'est un pont entre l'imagination humaine (qui est floue et artistique) et la précision de l'ordinateur.

Résumé technique

Voici un résumé technique détaillé de l'article « Notational Animating: An Interactive Approach to Creating and Editing Animation Keyframes », présenté en français.

1. Problématique et Contexte

L'animation expressive vise à dépeindre des mondes imaginaires crédibles et émotionnels, au-delà de la simple simulation physique. Bien que l'IA générative (GenAI) ait permis de nouvelles approches d'animation basées sur le langage naturel, le texte seul s'avère souvent trop ambigu pour capturer les nuances subtiles de l'intention artistique (mouvement, poids, timing, émotion).

Parallèlement, les outils d'animation existants basés sur le croquis (sketch-based) imposent généralement des vocabulaires visuels rigides et prédéfinis (ex: une flèche signifie toujours un mouvement dans une direction spécifique), limitant la créativité et l'improvisation des artistes. De plus, les notations utilisées par les animateurs professionnels dans leur pratique traditionnelle sont souvent contextuelles, ambiguës et combinatoires, ce que les systèmes actuels peinent à interpréter sans contraintes strictes.

Le défi principal est donc de créer un paradigme d'interaction qui permet aux utilisateurs de définir librement leurs propres notations visuelles (flèches, traits, textes) pour exprimer leur intention, tout en fournissant au système une structure capable d'interpréter cette ambiguïté et de générer des clés d'animation (keyframes) précises.

2. Méthodologie

La recherche suit une approche itérative combinant analyse de domaine, conception de système et évaluation utilisateur.

A. Analyse de Conception (Design Study)

Les auteurs ont analysé 135 croquis réels produits par des animateurs, complétés par des entretiens avec deux experts de l'industrie (25 et 15 ans d'expérience).

• Classification des notations : Ils ont identifié trois catégories principales :
  1. Guides géométriques : Décrivent la déformation de la forme, la cinématique et la dynamique (ex: flèches de force, lignes d'action). C'est le focus principal de l'étude.
  2. Guides spatiaux : Définissent les changements de position et d'échelle sur plusieurs images clés.
  3. Amplificateurs de mouvement : Effets visuels destinés au public (ex: lignes de vitesse), non utilisés pour la planification interne.
• Caractéristiques clés identifiées :
  • Contextualité : Le sens d'un trait dépend du contexte (une même flèche peut signifier une force, une trajectoire ou un style).
  • Combinaison : Les animateurs superposent souvent plusieurs notations pour exprimer des intentions complexes.
  • Ambiguïté : Les notations sont rarement précises au niveau du pixel ; elles indiquent une intention haute niveau.

B. Représentation Formelle de l'Intention

Pour combler le fossé entre l'ambiguïté du croquis et la rigueur requise par l'IA, les auteurs proposent une représentation structurée de l'intention d'animation. Au lieu de formaliser les notations elles-mêmes, ils formalisent l'intention sous forme de triplet pour chaque unité d'animation :

• Source : L'origine du mouvement (partie du corps ou objet concerné).
• Chemin (Path) : La nature du mouvement (force, trajectoire, direction).
• Cible (Target) : L'état final ou la destination du mouvement.
• Notations secondaires : Éléments stylistiques (couleur, épaisseur, texte) ajoutant des détails temporels ou expressifs.

C. Prototype du Système

Un prototype a été développé intégrant :

1. Toile de dessin : Pour le croquis libre.
2. Moteur d'interprétation (VLM) : Utilisation d'un modèle Vision-Language (OpenAI o3) pour analyser le croquis, superposer une grille de coordonnées pour la localisation spatiale, et extraire les triplets (Source, Path, Target) sous forme structurée (JSON).
3. Boucle de rétroaction à deux niveaux :
   • Niveau haut : Étiquettes de mouvement in-situ (sur le dessin) montrant l'interprétation sémantique et un score de confiance.
   • Niveau bas : Widgets UI dynamiques (sliders) générés automatiquement pour ajuster finement l'intensité, la portée spatiale et le timing.
4. Génération d'images clés : Le VLM traduit l'interprétation structurée en prompts naturels optimisés pour un modèle de génération d'images (Gemini), produisant les images clés suivantes.

3. Contributions Clés

1. Le concept de "Notational Animating" : Un nouveau paradigme où les notations dessinées par l'utilisateur servent d'abstractions définies par l'utilisateur pour guider la création et l'édition de clés d'animation, plutôt que de simples contraintes rigides.
2. Représentation formelle de l'intention : Une méthode pour mapper des notations informelles et ambiguës vers une structure exécutable par la machine (Source, Path, Target), permettant de gérer l'ambiguïté via l'inférence contextuelle.
3. Prototype interactif : Un système intégrant une boucle de rétroaction transparente (étiquettes in-situ) et des contrôles paramétriques dynamiques pour affiner les résultats de l'IA.
4. Étude d'experts : Une évaluation qualitative avec 7 animateurs professionnels démontrant la viabilité et l'utilité de l'approche.

4. Résultats de l'Évaluation

L'étude avec 7 animateurs professionnels a révélé :

• Intuitivité et Adoption : Les participants ont trouvé le système intuitif, car il s'aligne sur leur flux de travail existant (croquis et annotations) sans nécessiter l'apprentissage d'un nouveau langage ou d'une syntaxe rigide.
• Modèles Mentaux et Patterns de Notation : Quatre patterns d'utilisation ont été identifiés, allant de l'approche abstraite globale ("vibe") à la définition précise de la pose cible. Cela confirme que le système doit supporter une grande flexibilité dans la manière dont les intentions sont exprimées.
• Gestion de l'Ambiguïté : Les utilisateurs ont apprécié la transparence du système (étiquettes in-situ) pour comprendre comment l'IA interprétait leurs croquis. En cas d'erreur, ils préféraient itérer sur leurs propres notations (ajouter des flèches, changer l'épaisseur) plutôt que de modifier directement les paramètres du système.
• Changement de Mentalité : L'outil a permis un passage d'une approche "une chose à la fois" (ajustement paramétrique séquentiel) à une approche "plusieurs choses ensemble" (composition systémique du mouvement, du timing et des interactions entre objets).
• Limitations Observées :
  • Difficulté à exprimer des rotations 3D complexes ou des occlusions fines sur un canevas 2D.
  • Parfois, le modèle de génération d'images résiste aux déformations exagérées (squash-and-stretch) ou modifie le style artistique de base.
  • La latence du modèle d'IA peut ralentir le flux créatif.

5. Signification et Perspectives

Signification :
Ce travail marque une étape importante vers l'animation assistée par l'IA qui préserve l'agence de l'artiste. Il démontre que les notations dessinées, traditionnellement considérées comme trop ambiguës pour l'automatisation, peuvent être le moteur principal de la création d'animation si elles sont interprétées via une couche de représentation structurée et une boucle de rétroaction transparente. Cela comble le fossé entre l'intention créative abstraite et l'exécution technique.

Perspectives Futures :

• Amélioration des modèles : Réduire la latence et améliorer la fidélité de la génération d'images (respect des déformations et du style).
• Gestion de la caméra et de la lumière : Étendre les notations pour inclure le mouvement de caméra et les changements d'éclairage.
• Intégration dans le flux de travail professionnel : Combiner ce système avec des outils existants (comme After Effects) pour une hybridation entre le "vibe" rapide et le contrôle précis.
• Génération des images intermédiaires (In-betweens) : Utiliser les clés générées par ce système comme base pour des modèles vidéo capables de générer automatiquement les images intermédiaires, rendant le processus entièrement interactif.

En résumé, "Notational Animating" propose une voie prometteuse où l'IA agit comme un collaborateur capable de comprendre le langage visuel naturel des animateurs, transformant le processus de création de clés d'animation d'une tâche technique fastidieuse en un acte de conception fluide et expressif.