🤖 AI

Latent Action Control for Reasoning-Guided Unified Image Generation

Ce papier propose le Contrôle d'Action Latente (LAC), une méthode qui améliore la génération unifiée d'images en représentant le raisonnement comme des actions continues cachées au sein d'un socle partagé, permettant ainsi aux modèles de traduire efficacement les connaissances inférées et les relations spatiales en sorties visuelles de haute qualité sans générer de tokens de raisonnement intermédiaires ni d'images.

Auteurs originaux : Fuxiang Zhai, Sixiang Chen, Yingjin Li, Shuaibo Li, Jianyu Lai, Tengjun Huang, Lei Zhu

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fuxiang Zhai, Sixiang Chen, Yingjin Li, Shuaibo Li, Jianyu Lai, Tengjun Huang, Lei Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un architecte brillant (l'IA) qui est incroyablement doué pour lire les plans et comprendre à quoi une maison devrait ressembler. Cependant, lorsque cet architecte tente de construire réellement la maison, il se trompe souvent sur les détails. Il peut comprendre que l'instruction demande « une maison rouge avec une porte bleue à gauche », mais le bâtiment final se retrouve avec une porte verte à droite.

Ce papier, intitulé « Latent Action Control for Reasoning-Guided Unified Image Generation », propose une nouvelle façon de combler ce fossé entre « comprendre » et « construire ». Ils appellent leur solution LAC (Latent Action Control).

Voici comment cela fonctionne, décomposé en concepts et analogies simples :

Le Problème : Le « Fossé Silencieux »

Les modèles d'IA actuels capables à la fois de comprendre et de créer des images souffrent souvent d'un décalage. Ils peuvent « réfléchir » à la bonne réponse (par exemple : « Je sais qu'il me faut un chat sur un tapis »), mais cette pensée ne se traduit pas automatiquement par les bons pixels dans l'image finale. C'est comme un chef qui sait exactement à quoi un plat doit ressembler, mais qui oublie constamment d'ajouter le sel pendant la cuisson.

La Solution : La « Répétition Interne »

Au lieu de demander à l'IA de rédiger une longue liste d'instructions (comme « Étape 1 : Dessinez un chat. Étape 2 : Dessinez un tapis... »), LAC offre à l'IA un espace de répétition interne secret.

Pensez à LAC comme à un réalisateur sur un plateau de tournage qui chuchote des instructions directement à l'oreille de l'acteur pendant que la scène est filmée, plutôt que de lui remettre un script à lire à l'avance.

L'IA passe par quatre « rôles » ou étapes spécifiques de cette répétition interne, se déroulant toutes dans un espace caché et invisible (l'espace « latent ») :

Planifier : L'IA détermine la vue d'ensemble. (Par exemple : « D'accord, il nous faut un coucher de soleil, une plage et un chien. »)
Ébaucher : L'IA crée une esquisse grossière et invisible dans son esprit. Elle ne la montre pas à l'utilisateur ; c'est simplement une hypothèse mentale pour vérifier si l'idée tient la route.
Diagnostiquer : L'IA vérifie son propre croquis mental. (Par exemple : « Attendez, le chien est trop grand pour la plage, et le soleil est mal placé. »)
Affiner : L'IA effectue de minuscules ajustements invisibles pour corriger ces erreurs avant même que l'image finale ne soit commencée.

Comment elle apprend : La « Triche du Professeur »

Puisque l'IA effectue cette réflexion dans un espace secret et invisible, les chercheurs ne pouvaient pas simplement lui dire : « Voici le processus de pensée correct ». Au lieu de cela, ils ont utilisé un astucieux tour de formation :

Le Professeur : Ils ont utilisé un modèle « professeur » pour créer des notes parfaites et structurées (comme un script) sur la façon de résoudre un problème.
La Traduction : Ils ont transformé ces notes textuelles en images visuelles (comme un organigramme ou un diagramme) que l'IA pouvait « voir » pendant l'entraînement.
L'Alignement : L'IA a appris à imiter la sensation de ces notes visuelles en générant ses propres « actions » invisibles.
Le Résultat : Une fois l'entraînement terminé, les notes du professeur ont été jetées. L'IA sait désormais générer ces « actions » invisibles par elle-même pour guider le processus de peinture.

Le « Finition Finale » : Apprendre du Résultat

Une fois que l'IA a appris les bases, ils utilisent une méthode appelée LF-GRPO. Imaginez un jeu où l'IA tente de peindre une image, reçoit une note basée sur son apparence, puis utilise cette note pour ajuster à la fois la peinture finale et les étapes de « répétition » invisibles qu'elle a suivies pour y parvenir. Cela garantit que le processus de réflexion interne aide réellement le résultat final.

Ce qu'ils ont trouvé (Les Résultats)

Lorsqu'ils ont testé ce nouveau système (appelé LAC) par rapport à d'autres modèles d'IA de premier plan :

Meilleurs Détails : Il est devenu beaucoup plus performant pour suivre des instructions complexes, comme « une voiture rouge à côté d'un arbre bleu ».
Conscience Spatiale : Il était beaucoup plus performant pour bien placer les positions (gauche vs droite, haut vs bas).
Connaissance du Monde : Il a mieux compris les faits réels (par exemple, savoir qu'un chat est plus petit qu'un chien, ou que le soleil se lève à l'est).

La Preuve : « Éteindre l'Interrupteur »

Pour prouver que cette « répétition » invisible travaillait réellement, les chercheurs ont mené une expérience intéressante. Ils ont pris l'IA entraînée et ont désorganisé ou supprimé les actions invisibles pendant le processus de génération.

Le Résultat : La qualité de l'image a considérablement diminué.
La Conclusion : Cela a prouvé que l'IA ne « pensait » pas juste pour le plaisir ; elle utilisait activement ces étapes invisibles pour contrôler la construction de l'image.

En Résumé

LAC transforme la « réflexion » de l'IA en un ensemble d'actions continues et invisibles qui guident le processus de création d'image de l'intérieur vers l'extérieur. Au lieu de simplement comprendre une instruction puis d'essayer aveuglément de la dessiner, l'IA dispose désormais d'une « répétition » interne structurée (Planifier, Ébaucher, Diagnostiquer, Affiner) qui garantit que l'image finale correspond parfaitement à l'instruction. C'est comme donner à l'artiste un ensemble de mains invisibles pour guider le pinceau, assurant que la peinture finale est exactement ce qui avait été imaginé.

Résumé technique : Contrôle par action latente pour une génération d'images unifiée guidée par le raisonnement

Énoncé du problème

Les modèles multimodaux unifiés ont réussi à intégrer la compréhension visuelle et la génération d'images au sein de backbones partagés. Cependant, un « fossé compréhension–génération » persistant subsiste : les modèles peuvent correctement inférer des objets, des relations ou des contraintes lors de la phase de compréhension, mais échouent à les instancier fidèlement dans l'image générée. Les approches existantes pour combler ce fossé externalisent généralement le raisonnement sous forme de plans en langage naturel, de listes de contrôle textuelles ou d'instructions d'édition itératives. Ces méthodes traitent le raisonnement comme des artefacts extérieurs à la dynamique des états cachés du générateur, nécessitant une réinterprétation en tant que signaux de conditionnement. Alternativement, les méthodes de raisonnement latent déplacent la délibération dans des espaces continus, mais échouent souvent à formuler ces états comme des actions exécutables spécifiques à un rôle, capables de piloter directement la synthèse. Par conséquent, une interface de contrôle manquante empêche la conversion des contraintes inférées en signaux de conditionnement au moment de la génération, avant le début de la synthèse visuelle.

Méthodologie : Contrôle par action latente (LAC)

Les auteurs proposent le Contrôle par action latente (LAC), un cadre qui transforme le raisonnement en une interface de contrôle interne pour la génération d'images unifiée. Au lieu de décoder le raisonnement en texte, le LAC émet des actions latentes continues qui sont réinjectées dans le flux caché du modèle pour conditionner le processus de génération.

1. Contrôle par action latente structuré par rôle

Le LAC opère en déroulant une trajectoire d'action latente $Z$ organisée en quatre rôles distincts et ordonnés :

Planification : Planification de l'intention globale.
Brouillon : Formation d'une hypothèse visuelle interne (étape unique, aucune image intermédiaire émise).
Diagnostic : Diagnostic des échecs.
Raffinement : Raffinement ciblé.

Ces actions sont des vecteurs continus ( $z \in \mathbb{R}^d$ ) injectés dans le flux caché d'un générateur unifié (instancié sur BAGEL-7B-MoT). La longueur de la trajectoire est variable, déterminée par une tête d'arrêt apprise, et le processus se conclut par un jeton sentinelle. Le modèle conditionne la génération d'images par flux subséquente sur les états cachés résultant de ce déroulement latent.

2. Alignement variationnel d'actions latentes guidé par un a priori

Puisque les trajectoires d'actions de vérité terrain ne sont pas disponibles, le LAC emploie une stratégie d'alignement variationnel d'actions latentes guidé par un a priori durant l'entraînement :

Signaux enseignants : Les enregistrements enseignants structurés (pour la planification, le diagnostic, le raffinement) sont rendus sous forme d'images de style document compact et encodés comme des embeddings cibles denses. Pour le rôle « brouillon », les cibles sont dérivées des caractéristiques visuelles d'images candidates imparfaites.
Objectif variationnel : Le modèle apprend une politique autorégressive $q_\theta$ pour échantillonner des actions. Un a priori gaussien à variance fixe est construit à partir des signaux enseignants ( $E$ ). La politique est entraînée pour aligner son déroulement échantillonné sur ces a priori en utilisant une perte variationnelle ( $L_{var}$ ), garantissant que les actions sont exécutables sans injecter directement les signaux enseignants comme entrées lors de l'inférence.
Affinement supervisé (SFT) : L'objectif total combine l'alignement variationnel, une perte d'ancrage lexical (pour ancrer les états latents dans la sémantique), une perte d'arrêt supervisée et une perte d'appariement de flux d'images.

3. GRPO Flux-Latent aligné sur le résultat (LF-GRPO)

Pour optimiser les actions latentes en fonction de la qualité finale de l'image plutôt que des seuls a priori enseignants locaux, les auteurs introduisent le GRPO Flux-Latent (LF-GRPO).

Mécanisme : Pour un prompt donné, un groupe de déroulements est échantillonné. Chaque déroulement consiste en une trajectoire d'action latente et une trajectoire de génération par flux.
Récompense : Une récompense d'image terminale est calculée pour l'image générée finale.
Attribution de crédit : En utilisant l'avantage relatif de groupe (GRPO), la récompense terminale est attribuée comme un signal d'avantage partagé à la fois aux actions latentes continues et aux transitions de génération par flux. Cela permet aux retours au niveau de l'image de façonner la trajectoire d'action cachée, alignant les étapes de planification, de brouillon, de diagnostic et de raffinement sur le résultat visuel final.

Contributions clés

Formulation du raisonnement comme contrôle : L'article formule le raisonnement dans la génération d'images unifiée comme un Contrôle par action latente, où des actions continues spécifiques à un rôle convertissent les contraintes inférées en signaux de conditionnement au moment de la génération, maintenant la délibération dans l'espace continu caché.
Alignement guidé par a priori et LAC-15K : Les auteurs introduisent une méthodologie d'entraînement utilisant un alignement variationnel guidé par un a priori et construisent LAC-15K, un jeu de données structuré par rôle fournissant des a priori sémantiques rendus, des cibles de brouillon visuel et des signaux d'arrêt supervisés.
Objectif LF-GRPO : Un objectif novateur au niveau du résultat qui optimise conjointement les actions latentes cachées et les transitions de génération par flux sous des récompenses d'images terminales partagées, permettant au générateur d'apprendre à utiliser le raisonnement latent pour améliorer la synthèse.

Résultats expérimentaux

La méthode a été évaluée sur GenEval (génération compositionnelle) et WISE (génération ancrée dans la connaissance du monde), en utilisant BAGEL-7B-MoT comme base.

GenEval : Le LAC a amélioré le score global de 0,77 (référence BAGEL) à 0,82. Les gains ont été les plus significatifs dans les catégories sensibles aux contraintes : Position (+0,11), Couleurs (+0,13) et Attribut de couleur (+0,05). Avec des prompts réécrits par un LLM, le score a atteint 0,90.
WISE : Le LAC a amélioré le score pondéré global de 0,49 à 0,54, avec des gains notables en Biologie (+0,18) et Chimie (+0,07).
Études d'ablation :
- Parcours d'entraînement : La suppression des a priori sémantiques rendus ou de l'ancrage de brouillon visuel (Latent-SFTNR) n'a entraîné aucune amélioration par rapport à la référence, confirmant que la nature spécifique des a priori est cruciale.
- Intervention latente : Le remplacement des actions latentes apprises par des vecteurs nuls ou aléatoires a causé des baisses de performance significatives (par exemple, -7,92 sur GenEval), prouvant que le générateur consomme activement ces actions. Le mélange de l'ordre des rôles a également dégradé les performances, validant la nécessité fonctionnelle de la structure planification-brouillon-diagnostic-raffinement.
- Suppression de rôle : La suppression du rôle « brouillon » a causé la plus grande baisse, soulignant l'importance des hypothèses visuelles internes pour la liaison des attributs et le suivi des objets.

Importance et affirmations

L'article affirme que la génération d'images unifiée bénéficie considérablement lorsque la compréhension n'est pas simplement encodée mais rendue actionnable durant le processus de génération. En convertissant les contraintes inférées en une trajectoire d'action cachée ordonnée, le LAC fournit un chemin de contrôle direct du raisonnement à la synthèse. Les résultats suggèrent que le « fossé compréhension–génération » peut être réduit en traitant le raisonnement comme une interface de contrôle interne et exécutable plutôt que comme un artefact textuel externe. Les auteurs notent que, bien que l'approche montre des gains constants, elle repose actuellement sur des a priori dérivés d'enseignants et nécessite des travaux supplémentaires pour réduire la dépendance aux enseignants et améliorer l'efficacité de l'apprentissage par renforcement.