💻 computer science

ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning

Cet article introduit ConsistentRFT, un cadre général qui atténue les hallucinations visuelles dans l'apprentissage par renforcement par flux en abordant les problèmes d'exploration limitée et d'imitation de trajectoire grâce à un mécanisme de Déploiement à Granularité Dynamique et une Optimisation de Gradient de Politique Consistante.

Auteurs originaux : Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

Publié 2026-02-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste talentueux (un générateur d'images par IA) qui est très doué pour dessiner des images basées sur vos descriptions. Cependant, lorsque vous lui demandez de « peindre un joueur de baseball en train de lancer », il arrive qu'il devienne tellement obsédé par la texture de l'herbe ou les coutures de la balle qu'il en oublie que le joueur tient en réalité une batte, ou qu'il ajoute accidentellement un troisième bras. C'est ce qu'on appelle une hallucination visuelle.

Cette publication présente une nouvelle méthode d'entraînement appelée ConsistentRFT pour corriger cela. Voici comment cela fonctionne, expliqué simplement :

Le Problème : L'Artiste « Sur-Optimisé »

Les chercheurs ont découvert que les méthodes actuelles pour enseigner à ces artistes de l'IA (appelées l'Affinage par Renforcement ou Reinforcement Fine-Tuning) présentent deux défauts majeurs :

Le Piège du « Zoom » (Problème d'Exploration) :
Imaginez que l'IA essaie d'apprendre à quoi ressemble un « bon » dessin en générant de nombreuses variations. Les méthodes actuelles agissent comme un photographe qui ne fait que zoomer sur de minuscules détails (comme une seule feuille sur un arbre) pour voir s'ils sont nets. Ils ignorent l'arbre entier.
- Le Résultat : L'IA devient si douée pour rendre les détails minuscules parfaits qu'elle commence à inventer de faux détails (comme ajouter un motif de grille ou des fleurs supplémentaires) juste pour obtenir un score élevé, même si l'image principale n'a aucun sens.
La Confusion du « Copieur » (Problème d'Exploitation) :
Pour apprendre, l'IA essaie de copier les dessins « gagnants » qu'elle a réalisés pendant l'entraînement. Mais parce que la méthode d'entraînement était un peu chaotique (bruit aléatoire), l'IA commence à copier le chaos en même temps que les bonnes parties.
- Le Résultat : L'IA oublie les règles fluides et logiques qu'elle a apprises lors de sa création initiale. Elle commence à prendre des raccourcis bizarres, ce qui conduit à des images incohérentes ou floues.

La Solution : ConsistentRFT

Les auteurs proposent un nouveau coach d'entraînement avec deux stratégies pour corriger ces problèmes :

1. La Stratégie du « Zoom Dynamique » (Dynamic Granularity Rollout)

Au lieu de seulement zoomer sur les détails ou de ne regarder que l'image entière, la nouvelle méthode apprend à l'IA à faire les deux, mais au bon moment.

L'Analogie : Imaginez un professeur disant à un élève : « D'abord, regarde toute la forêt pour t'assurer que les arbres sont au bon endroit (Sémantique Globale). Ensuite, zoome pour vérifier que les feuilles sont réalistes (Détails Locaux). »
Comment ça marche : Le système alterne entre une approche « à grain grossier » (regarder l'image globale) et « à grain fin » (regarder les détails) pendant l'entraînement. Il utilise également un filtre intelligent pour choisir les exemples les plus diversifiés à étudier, afin que l'IA ne se contente pas de mémoriser la même feuille « parfaite » encore et encore.

2. La Stratégie de la « Main Stable » (Consistent Policy Gradient Optimization)

Cette partie empêche l'IA de copier les dessins « chaotiques » de l'entraînement et la force à s'en tenir aux règles logiques qu'elle connaît déjà.

L'Analogie : Imaginez que l'IA apprenne à faire du vélo. L'ancienne méthode lui disait de copier le chemin sinueux et instable d'un cycliste ivre juste parce qu'il a atteint la ligne d'arrivée. La nouvelle méthode dit : « Non, copie le chemin fluide et droit d'un cycliste expérimenté, même s'il a pris un itinéraire légèrement différent. »
Comment ça marche : Elle ajoute une règle qui stipule : « Ce que tu dessines à l'étape 10 doit être logiquement connecté à ce que tu as dessiné à l'étape 9. » Cela empêche l'IA d'halluciner des détails bizarres et déconnectés juste pour obtenir un score de récompense élevé.

Les Résultats : Un Meilleur Artiste

Les auteurs ont testé cette nouvelle méthode sur un générateur d'images populaire appelé FLUX1.dev.

Moins d'Hallucinations : Elle a réduit les hallucinations de « bas niveau » (textures bizarres, lignes de grille) de 49 % et les hallucinations de « haut niveau » (objets erronés, parties manquantes) de 38 %.
Meilleure Généralisation : Contrairement à d'autres méthodes qui devenaient meilleures sur les questions de test spécifiques mais moins performantes sur tout le reste, cette méthode a amélioré la capacité de l'IA à comprendre de nouveaux prompts inédits de 5,1 %.
Vitesse : Elle fonctionne aussi vite que les méthodes standards, ce qui en fait une mise à jour pratique.

En résumé : ConsistentRFT apprend à l'IA à équilibrer l'observation de l'image globale et celle des détails, et la force à rester logique, produisant ainsi des images qui sont à la fois magnifiques et qui ont réellement du sens.

Résumé Technique : ConsistentRFT

1. Énoncé du Problème

Le réglage fin par renforcement (Reinforcement Fine-Tuning - RFT) sur les modèles génératifs basés sur le flux est essentiel pour aligner la génération d'images avec les préférences humaines. Cependant, les méthodes de RFT basées sur le flux existantes (par exemple, DDPO, DPO, variantes de GRPO) introduisent fréquemment des hallucinations visuelles. Celles-ci se manifestent de trois manières principales :

Sur-optimisation des détails : Génération de détails non pertinents, sur-accentuation (over-sharpening) et artefacts de grille.
Désalignement sémantique : Un décalage entre l'image générée et le texte de commande (prompt).
Incohérence inter-étapes : Dégradation sémantique et divergence lors de l'utilisation d'un échantillonnage à peu d'étapes (few-step sampling).

Les auteurs identifient que les méthodes actuelles échouent car elles opèrent sous une perspective unifiée d'Exploration (rollouts SDE) et d'Exploitation (mises à jour du gradient de politique) qui est fondamentalement erronée pour les modèles de flux :

Exploration limitée : Les rollouts d'équations différentielles stochastiques (SDE) produisent souvent un domaine d'exploration étroit. En utilisant le même bruit initial avec des bruits de processus variables, les modèles génèrent des images très similaires qui ne diffèrent que par des détails locaux. Cela conduit à une optimisation à grain fin qui sur-accentue les textures locales tout en négligeant la sémantique globale.
Distorsion de l'imitation de trajectoire : Les méthodes de gradient de politique (comme GRPO) sont réinterprétées comme une imitation de trajectoire pondérée par la récompense. Elles contraignent le modèle à imiter des trajectoires SDE stochastiques et non linéaires pour maximiser les récompenses. Cela entre en conflit avec l'objectif de pré-entraînement consistant à apprendre un champ de vitesse déterministe et cohérent, ce qui distord le champ vectoriel fondamental du modèle et provoque de l'instabilité.

2. Méthodologie : ConsistentRFT

Pour atténuer ces hallucinations, les auteurs proposent ConsistentRFT, un cadre général compatible avec les méthodes de RFT en ligne (DDPO, DPO, GRPO). Il se compose de deux composantes clés :

A. Dynamic Granularity Rollout (DGR)

Ce mécanisme traite la limitation d'Exploration en équilibrant la sémantique globale et les détails locaux grâce à un ordonnancement dynamique du bruit.

Ordonnancement Inter-Groupes (Inter-Group Schedule) : Le processus d'entraînement est divisé en périodes contenant à la fois des rollouts à grain fin et à grain grossier.
- Grain fin : Utilise une injection de bruit progressive (variation du bruit de processus) pour affiner les détails locaux.
- Grain grossier : Utilise différentes sources de bruit initial pour explorer les variations sémantiques globales.
- Cela empêche le modèle de rester bloqué dans des optima locaux focalisés uniquement sur les détails.
Ordonnancement Intra-Groupe (Intra-Group Schedule) : Pour améliorer la diversité au sein des groupes à grain fin sans calcul excessif, la méthode utilise un rollout sensible au progrès avec clustering.
- Elle effectue une prédiction intermédiaire à une étape pour évaluer l'état.
- Les échantillons sont regroupés (clustered) dans l'espace latent pour sélectionner des groupes représentatifs (un pour le raffinement détaillé, un pour la perception grossière), assurant la diversité tout en réduisant la charge de calcul.

B. Consistent Policy Gradient Optimization (CPGO)

Ce mécanisme traite la distorsion d'Exploitation en préservant la cohérence intrinsèque du modèle.

Insight Central : Au lieu d'imiter purement des trajectoires SDE stochastiques, le CPGO impose une fidélité de prédiction à étape unique via des contraintes d'équations différentielles ordinaires (ODE).
Implémentation : Il aligne la prédiction du modèle actuel à l'étape $t$ $t$ avec la prédiction de l'ancien modèle à l'étape $t-1$ $t - 1$ en utilisant un solveur basé sur l'ODE.
- La fonction d'objectif ajoute un terme de cohérence : $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$ .
Effet : Cela contraint l'optimisation à suivre des trajectoires plus lisses et plus cohérentes, empêchant le modèle d'imiter des échantillons hallucinés interpolés à partir de la distribution pré-entraînée.

C. Visual Hallucination Evaluator (VH-Evaluator)

Les auteurs introduisent une nouvelle métrique d'évaluation combinant des métriques objectives de bas niveau (ex: variance de Laplacian, détection de motifs de grille) et des évaluations de haut niveau via des modèles de langage multimodaux (MLLM) pré-entraînés pour quantifier spécifiquement la sur-optimisation des détails et les hallucinations perceptuelles.

3. Contributions Clés

Analyse des causes de l'hallucination : L'article fournit une analyse préliminaire attribuant les hallucinations visuelles dans le RFT de flux à deux choix de conception spécifiques : un domaine d'exploration limité dans les rollouts SDE (menant à la sur-optimisation des détails) et la distorsion du champ vectoriel causée par l'imitation de trajectoire dans les gradients de politique.
Dynamic Granularity Rollout (DGR) : Un mécanisme d'ordonnancement novateur qui équilibre dynamiquement l'exploration sémantique globale et le raffinement des détails locaux, empêchant le modèle de se focaliser exclusivement sur les artefacts à grain fin.
Consistent Policy Gradient Optimization (CPGO) : Une formulation de gradient de politique qui impose la cohérence temporelle et l'alignement avec un a priori stable, atténuant les incohérences introduites par l'imitation de trajectoires stochastiques.
Évaluation complète : L'introduction du VH-Evaluator et des expériences étendues démontrant une réduction significative des hallucinations à travers de multiples métriques.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur le modèle FLUX.1-dev en utilisant le jeu de données HPDv2 et le benchmark HPS-v2.

Réduction des hallucinations : ConsistentRFT a obtenu une réduction moyenne de 49 % des hallucinations perceptuelles de bas niveau (ex: motifs de grille, bruit) et de 38 % des hallucinations perceptuelles de haut niveau par rapport aux méthodes de base.
Généralisation hors domaine : Contra o aux méthodes de base qui sacrifient souvent les performances hors domaine pour des gains en domaine (ex: MixGRPO améliore le HPS mais fait chuter le score CLIP de 10,8 %), ConsistentRFT améliore les métriques hors domaine. Spécifiquement, il a montré une amélioration de 5,1 % des scores globaux sur FLUX1.dev, alors que la méthode de base a diminué de 0,4 %.
Performance vs SOTA : La méthode surpasse les meilleures méthodes de RFT actuelles (DDPO, DPO, variantes de GRPO) en termes de scores de préférence humaine (ImageReward, PickScore) et de qualité esthétique tout en maintenant l'alignement sémantique.
Efficacité : La méthode est compatible avec les gradients de politique standards et offre des accélérations. Par exemple, l'Intra-Group DGS a réduit le temps d'entraînement d'environ 18,6 % par rapport au DanceGRPO standard tout en maintenant ou en améliorant les performances.
Échantillonnage à peu d'étapes (Few-Step Sampling) : La méthode a démontré une stabilité supérieure dans les scénarios d'échantillonnage à peu d'étapes, là où les autres méthodes se dégradent généralement.

5. Signification et Revendications

L'article affirme que ConsistentRFT offre une solution générale au problème persistant des hallucinations visuelles dans le réglage fin par renforcement basé sur le flux. En découplant l'optimisation de la sémantique globale et des détails locaux (via DGR) et en imposant la cohérence du champ vectoriel (via CPGO), le cadre permet aux modèles de s'aligner sur les préférences humaines sans sacrifier l'intégrité structurelle et le réalisme des images générées.

Les auteurs présentent ce travail comme une investigation préliminaire sur les causes spécifiques des hallucinations dans la phase de post-entraînement des modèles de flux. Ils soulignent que, bien que leur méthode fournisse une stratégie de mitigation robuste, le défi des hallucinations visuelles nécessite également des modèles de récompense plus puissants et scalables, qu'ils anticipent de voir développés par la communauté à l'avenir. Le travail ne prétend pas résoudre tous les problèmes d'hallucination, mais démontre une étape significative vers l'équilibre entre l'alignement des préférences et la fidélité visuelle.