Résumé Technique : PointT2I

Énoncé du Problème

Les modèles de génération de texte en image (T2I), particulièrement les architectures basées sur la diffusion comme Stable Diffusion (SD) et SDXL, ont réalisé des progrès significatifs dans la génération d'images de haute qualité alignées avec des prompts en langage naturel. Cependant, ces modèles peinent à assurer un contrôle précis sur les poses humaines complexes. Les méthodes existantes telles que ControlNet, T2T-Adapter, GLIGEN et HumanSD améliorent la contrôlabilité en acceptant des entrées auxiliaires (par exemple, des points clés ou des cartes de squelettes), mais elles dépendent intrinsèquement de sources de données externes pour fournir ces conditions structurelles. Cette dépendance crée un goulot d'étranglement : si les données de pose externes sont indisponibles ou mal alignées avec l'intention sémantique spécifique d'un prompt textuel, la génération échoue. De plus, les approches actuelles manquent souvent de la capacité d'interpréter des instructions de pose descriptives complexes (par exemple, « effectuant une pose de bateau » ou « tenant une pose en forme de V ») directement à partir du texte sans un entraînement spécifique préalable à la pose.

Méthodologie

Les auteurs proposent PointT2I, un cadre conçu pour combler le fossé entre les descriptions textuelles de haut niveau et le guidage de pose structurel sans nécessiter d'entraînement spécifique à la pose ou de données auxiliaires externes. PointT2I fonctionne comme un traducteur sémantique-vers-structurel, exploitant les Grands Modèles de Langage (LLM) pour inférer les points clés de la pose humaine directement à partir des prompts textuels. Le cadre se compose de trois composants séquentiels :

1. Génération de Points Clés

Au lieu de s'appuyer sur des jeux de données de pose externes, PointT2I utilise un LLM (spécifiquement ChatGPT o1-preview dans les expériences) pour interpréter le prompt d'entrée et générer directement des points clés de pose humaine en 3D.

• Processus : Le LLM analyse le prompt pour extraire la sémantique liée à la pose (configuration du corps, indices de contact avec le sol) tout en filtrant le contexte non pertinent.
• Sortie : Il génère les coordonnées 3D de 17 articulations majeures du corps humain.
• Contraintes : Pour garantir la plausibilité anatomique, le générateur impose des contraintes telles que l'ancrage des points de contact (pieds, mains) au plan du sol ($z=0$) et le maintien de proportions corporelles réalistes.
• Projection : Les points clés 3D générés sont projetés sur un plan d'image 2D à l'aide d'un modèle de caméra orthographique. Le système sélectionne la vue de projection (parmi huit directions possibles) qui maximise la variance des coordonnées 2D afin de minimiser le chevauchement des articulations et de préserver au mieux la structure spatiale.

2. Génération d'Images

Les points clés 2D projetés servent de guidage structurel (guidage de pose) pour un backbone T2I sensible à la pose.

• Backbones : Le cadre est compatible avec divers modèles conditionnés par la pose, notamment GLIGEN et HumanSD (construits sur l'architecture SD), ainsi que ControlNet et T2I-Adapter.
• Mécanisme : Le générateur d'images se conditionne à la fois sur le prompt textuel original et sur le guidage de pose dérivé du LLM. Cela permet au backbone de rendre la pose spécifique décrite dans le texte, débloquant ses capacités de rendu structurel latent sans que le modèle ait besoin d'interpréter directement la sémantique de la pose à partir du langage.

3. Système de Feedback Basé sur le LLM

Pour affiner la sortie et assurer la cohérence sémantique, PointT2I emploie une boucle de rétroaction à deux modules alimentée par des LLM :

• Module 1 (Raffinement des Points Clés) : Évalue les points clés 3D générés par rapport au prompt original. Si des incohérences (par exemple, des positions d'articulations incorrectes) sont détectées, le LLM fournit une explication et régénère les points clés.
• Module 2 (Raffinement de l'Image) : Évalue l'image générée par rapport au prompt et aux points clés. Si l'image ne s'aligne pas avec la pose prévue, le système déclenche la régénération de l'image.
• Itération : Ce processus itère (généralement jusqu'à trois tours) pour améliorer progressivement l'alignement entre le texte, le guidage structurel et la sortie visuelle finale.

Principales Contributions

Le papier identifie trois contributions primaires :

1. Première Génération de Points Clés Pilotée par LLM : PointT2I est le premier cadre qui exploite les LLM pour générer des points clés de pose humaine directement à partir de prompts textuels, agissant comme un pont sémantique-vers-structurel. Cela permet aux backbones T2I sensibles à la pose de générer des images précises à partir du texte seul, sans aucun entraînement ou annotation de pose spécifique.
2. Système de Feedback Basé sur le LLM : Les auteurs introduisent un mécanisme de rétroaction à deux modules qui affine à la fois les points clés prédits et les images générées. Ce système améliore la cohérence de la pose et l'alignement avec la description textuelle sans dépendre de labels de pose de vérité terrain ou de la supervision humaine.
3. Robustesse aux Variations de Prompts : Le cadre démontre une forte robustesse à travers diverses formulations de prompts, interprétant efficacement tant les noms de poses explicites (ex: « Tree pose ») que les instructions descriptives (ex: « debout sur une jambe avec l'autre pied contre la face interne de la cuisse »).

Résultats Expérimentaux

Les auteurs ont évalué PointT2I sur un ensemble diversifié de poses humaines, incluant des actions communes, des poses de yoga et des manœuvres acrobatiques, en comparant les performances avec les modèles T2I de référence (SD 1.4 et SDXL).

• Performance Quantitative :
  • VQAScore & CLIPScore : PointT2I a nettement surpassé les modèles de référence en VQAScore (qui mesure le raisonnement compositionnel et la fidélité de l'action) et en CLIPScore dans toutes les catégories. Par exemple, dans la catégorie « Boat pose », PointT2I a atteint un VQAScore de 0,816 (HumanSD) et 0,669 (GLIGEN), alors que SD 1.4 et SDXL ont obtenu des scores proches de zéro (0,001 et 0,001, respectivement).
  • Précision de Classification : En utilisant un classificateur ResNet affiné sur le jeu de données Yoga-82, PointT2I a atteint une précision de classification nettement plus élevée (ex: 93,9 % en moyenne pour HumanSD contre 40,0 % pour SD 1.4), indiquant que les images générées sont des représentations plus distinctes et précises de poses de yoga spécifiques.
• Résultats Qualitatifs : Les comparaisons visuelles ont montré que les modèles de référence échouaient souvent à capturer les structures corporelles correctes ou interprétaient mal les prompts (ex: générant un véritable bateau au lieu d'une pose de yoga). PointT2I a réussi à préserver la fidélité de la pose, rendant avec précision des configurations complexes comme les grands écarts, les poiriers et les postures de yoga.
• Études d'Ablation :
  • Système de Feedback : L'augmentation des tours de feedback a systématiquement amélioré le VQAScore et le CLIPScore, validant la nécessité du processus de raffinement itératif.
  • Robustesse des Prompts : Le cadre a maintenu des performances élevées à travers les prompts originaux et reformulés, démontrant une insensibilité à la formulation spécifique.
  • Compatibilité : La méthode s'est généralisée avec succès à travers différents générateurs d'images (ControlNet, T2I-Adapter, HumanSD, GLIGEN) et différents LLM (ChatGPT o3, Gemini 2.5 pro).
  • Sensibilité aux Templates : La suppression de la « condition d'ancrage » (définition du contact avec le sol) a entraîné la baisse de performance la plus significative, soulignant son rôle critique dans la génération de poses plausibles.

Signification et Revendications

Le papier affirme que PointT2I représente une approche novatrice de la génération de texte en image contrôlable en découplant le besoin de données de pose externes du processus de génération. En utilisant un LLM pour traduire le texte sémantique en points clés structurels, le cadre débloque le potentiel des backbones sensibles à la pose existants, permettant de générer des images précises et conditionnées par la pose uniquement à partir du texte.

Les auteurs soulignent que cela est accompli sans aucun entraînement ou adaptation spécifique à la pose, en s'appuyant plutôt sur un LLM gelé et des backbones T2I pré-entraînés. Ce travail met en lumière le potentiel des LLM à servir d'interprètes sémantiques capables de guider les modèles de diffusion dans des tâches structurelles complexes. Bien que le cadre soit prometteur, les auteurs reconnaissent modestement des limites, notamment les défis liés aux interactions multi-personnes, aux actions composites complexes (ex: jongler tout en faisant un poirier) et à la génération de poses non humaines, qui restent des domaines de recherche future. De plus, le processus de feedback itératif introduit une surcharge de calcul, présentant un compromis entre la qualité de la génération et l'efficacité.