Résumé Technique : IRIS (Intrinsic Reward Image Synthesis)

Énoncé du Problème

Bien que l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) ait réussi à améliorer le raisonnement des grands modèles de langage (LLM) dans des domaines comme les mathématiques et le code, son application à la génération de texte-vers-image (T2I) autorégressive se heurte à des obstacles importants. La principale contrainte est la rareté des données de préférences humaines de haute qualité et évolutives. Les alternatives existantes reposent sur des modèles de récompense externes, tels que ceux entraînés sur les préférences esthétiques humaines (par exemple, HPSv2) ou des systèmes automatisés spécialisés comme les détecteurs d'objets (par exemple, GroundingDINO) et les modèles de Question-Réponse Visuelle (VQA). Cependant, ces approches externes souffrent d'une extensibilité limitée, de subjectivité et d'un manque de généralisabilité ; les modèles entraînés sur des récompenses externes spécifiques échouent souvent à transférer leurs capacités à d'autres domaines (par exemple, améliorer l'esthétique tout en dégradant le raisonnement spatial). De plus, des découvertes récentes en raisonnement mathématique suggèrent que la maximisation des signaux intrinsèques comme l'auto-certitude améliore les performances, mais il reste incertain si cela s'applique également à la tâche intrinsèquement subjective de la génération d'images.

Méthodologie : IRIS

Le papier propose IRIS (Intrinsic Reward Image Synthesis), un cadre qui améliore les modèles T2I autorégressifs en utilisant uniquement une récompense intrinsèque, sans dépendre de données étiquetées par l'humain ou de vérificateurs externes.

Insight Fondamental : Certitude Négative (Negative Self-Certainty)

Les auteurs observent une divergence critique entre les tâches de raisonnement et les tâches génératives concernant la confiance du modèle :

• Raisonnement (Mathématiques/Code) : Une auto-certitude plus élevée est corrélée à de meilleures performances.
• Génération (T2I) : Une auto-certitude plus élevée conduit à des images simples, uniformes et moins détaillées, qui s'alignent mal avec les préférences humaines. Inversement, les modèles ayant une auto-certitude plus faible ont tendance à générer des images vives et riches en détails.

Sur cette base, IRIS utilise la Certitude Négative (NSC - Negative Self-Certainty) comme signal de récompense. Au lieu de maximiser la confiance du modèle (Self-Certainty), IRIS la minimise.

Implémentation Technique

1. Définition de la Récompense : La récompense à la position du jeton $t$ est définie comme le négatif de l'Auto-Certitude (SC), calculée via la divergence de Kullback-Leibler (KL) directe entre la distribution de sortie du modèle $\pi_\theta$ et une distribution uniforme $U$ :
   $$NSC(o_t|q, \vec{o}_{<t}) := -KL(U \parallel \pi_\theta(o_t|q, \vec{o}_{<t}))$$
   L'utilisation de la KL directe encourage un comportement de "couverture de mode" (mode-covering), récompensant les distributions de probabilité qui couvrent plusieurs résultats plausibles, plutôt qu'un comportement de "recherche de mode" (mode-seeking) favorisé par les métriques d'entropie.

2. Optimisation : Les auteurs emploient l'Optimisation de Politique Relative par Groupe (GRPO - Group-wise Relative Policy Optimization). Pour chaque prompt, le modèle génère un groupe de sorties (descriptions textuelles suivies d'images). L'avantage est estimé en comparant la NSC cumulative de chaque trajectoire par rapport à la moyenne du groupe.

   • Optimisation Duale : Contrairement aux tâches de raisonnement mathématique où seule l'auto-certitude textuelle est maximisée, IRIS minimise l'auto-certitude pour à la fois les jetons textuels (pour encourager l'exploration descriptive) et les jetons d'image (pour encourager la diversité visuelle).
   • CoT Sémantique : Le cadre incorpore un raisonnement par Chaîne de Pensée (CoT) sémantique, où le modèle génère d'abord une description textuelle détaillée avant de synthétiser l'image. Les auteurs constatent que minimiser l'auto-certitude textuelle est crucial pour cette phase d'exploration.

Contributions Clés

1. Premier RL Intrinsèque pour le T2I : IRIS est le premier cadre qui améliore les modèles T2I autorégressifs en utilisant uniquement un signal de récompense intrinsèque, éliminant le besoin de modèles de récompense externes ou de données de préférences humaines.
2. Auto-Certitude Dépendante de la Tâche : Le papier établit que l'auto-certitude présente des comportements dépendants de la tâche : la maximiser bénéficie au raisonnement objectif, tandis que la minimiser bénéficie aux tâches de génération subjective comme le T2I.
3. Généralisation : En exploitant le savoir a priori intrinsèque du modèle plutôt que des signaux externes étroits, IRIS atteint une meilleure généralisation à travers divers domaines par rapport aux bases de référence de récompense externe.
4. Raisonnement Émergent : La méthode encourage l'émergence d'un raisonnement CoT nuancé et descriptif, qui est directement corrélé à une qualité et une diversité d'image plus élevées.

Résultats Expérimentaux

La méthode a été évaluée sur le modèle Janus-Pro (1B et 7B paramètres) en utilisant trois benchmarks diversifiés : T2I-CompBench (compréhension compositionnelle), WISE (connaissance du monde et sémantique) et TIIF-Bench (suivi d'instructions).

• Performance vs Modèles de Base : L'application d'IRIS améliore significativement le modèle Janus-Pro 1B de base, produisant des gains de 13,3 % sur T2I-CompBench, 28,8 % sur WISE, et 10,7 % / 4,2 % sur TIIF-short/long.
• Comparaison avec les Récompenses Externes :
  • IRIS surpasse les modèles entraînés sur des récompenses externes individuelles (HPSv2, GDINO, GIT, ORM) sur la plupart des métriques.
  • IRIS atteint une performance comparable aux modèles entraînés sur un ensemble de quatre récompenses externes (T2I-R1), malgré l'absence de signaux externes durant l'entraînement.
  • Notamment, IRIS évite le "hacking de récompense" ou les décalages de distribution observés lors de l'entraînement par récompense externe (par exemple, HPSv2 améliorait l'esthétique mais dégradait le réalisme ; IRIS améliore les deux).
• Études d'Ablation :
  • RL vs Descente de Gradient : Maximiser directement la NSC via la descente de gradient menait à des sorties dénuées de sens, confirmant la nécessité de l'algorithme GRPO pour maintenir la cohérence sémantique tout en explorant l'incertitude.
  • CoT : L'entraînement avec des CoT sémantiques est systématiquement plus performant que l'entraînement sans eux.
  • Direction de la Certitude : Minimiser l'auto-certitude de l'image était essentiel ; la maximiser provoquait une chute rapide des performances. Minimiser l'auto-certitude textuelle était également supérieur à la maximiser, car cela encourageait le modèle à explorer des descriptions sémantiques diverses.

Signification et Revendications

Le papier affirme qu'IRIS offre une alternative scalable et généralisable au RLHF traditionnel pour la génération T2I. En déplaçant le paradigme de la maximisation de la confiance vers la minimisation de celle-ci (via la NSC), la méthode débloque les capacités de raisonnement latentes du modèle sans les goulots d'étranglement de la collecte de données ou de l'ingénierie de récompense spécifique au domaine. Les auteurs concluent que les récompenses intrinsèques permettent une exploration plus robuste de l'espace des solutions, permettant aux modèles de généraliser à des "régimes non vus" là où les modèles de récompense externes échouent. Ce travail met en lumière les rôles distincts de l'auto-certitude dans différentes tâches d'IA, fournissant une ligne directrice pour le développement futur des modèles génératifs multimodaux.