SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning

Le papier propose SpatialReward, un modèle de récompense qui comble le fossé de perception dans l'apprentissage par renforcement en ligne pour l'édition d'images en intégrant un raisonnement spatial explicite, permettant ainsi d'obtenir des performances de pointe sur plusieurs benchmarks et d'améliorer significativement les modèles de génération comme OmniGen2.

L'essentiel

🎨 Le Problème : L'IA qui "rêve" au lieu de regarder

Imaginez que vous demandez à un artiste IA de modifier une photo : "Changez le tissu de la robe en soie, mais gardez tout le reste exactement pareil."

Le problème actuel, c'est que les "juges" (les IA qui notent la qualité du travail) sont souvent comme des spectateurs distraits. Ils regardent la nouvelle robe, disent "Oh, elle est belle !", et donnent un 10/10. Mais ils oublient de comparer avec la photo d'origine. Ils ne remarquent pas que l'IA a aussi involontairement changé la couleur des cheveux de la personne ou déplacé le fond.

Les chercheurs appellent ce phénomène "l'Effondrement de l'Attention" (Attention Collapse). C'est comme si le juge fermait les yeux sur la photo de départ et ne regardait que le résultat final, sans se soucier de ce qui a été détruit ou modifié par erreur.

💡 La Solution : SpatialReward, le Détective avec une Loupe

Pour régler ce problème, l'équipe a créé SpatialReward. C'est un nouveau type de juge IA qui ne se contente pas de regarder l'image finale. Il agit comme un détective méticuleux avec une loupe.

Voici comment il fonctionne, grâce à une astuce appelée "Penser avec des Boîtes" (Think-with-Boxes) :

1. Le Repérage (La Boîte) : Avant de donner une note, le détective dessine d'abord des rectangles (des boîtes) autour des zones qui ont été modifiées. Il dit : "Attends, c'est ici que la robe a changé."
2. La Comparaison (La Loupe) : Une fois la zone identifiée, il compare spécifiquement cette zone dans la photo originale et dans la photo modifiée. Il vérifie : "La soie est-elle belle ? Oui. Mais est-ce que le visage a bougé ? Non, c'est bien."
3. La Note Juste : Grâce à cette comparaison précise, il peut donner une note qui reflète vraiment la qualité : "La robe est parfaite, mais tu as changé le fond, donc je te donne un 8/10 au lieu de 10."

🏗️ Comment ils l'ont construit ? (L'École de Détectives)

Pour entraîner ce nouveau juge, ils n'ont pas juste montré des milliers de photos. Ils ont créé une école spéciale avec 260 000 exercices :

• L'Entraînement : Ils ont appris à l'IA à toujours dessiner ces "boîtes" avant de parler. C'est comme apprendre à un enfant à ne pas dire "C'est beau" avant d'avoir regardé les détails.
• Le Test : Ils ont créé un nouveau concours (le MultiEditReward-Bench) avec des tâches très complexes, comme modifier plusieurs objets en même temps sur une photo, pour voir si le juge reste concentré.

🚀 Les Résultats : Une Révolution pour la Création

Les résultats sont impressionnants :

• Plus précis que les géants : SpatialReward bat des modèles très puissants (comme GPT-4 ou Gemini) sur la capacité à détecter les erreurs subtiles.
• Un moteur pour l'IA : Quand on utilise ce juge pour entraîner d'autres IA (via une méthode appelée "Apprentissage par Renforcement"), ces IA apprennent beaucoup plus vite et font moins d'erreurs. C'est comme passer d'un élève qui apprend par hasard à un élève qui a un professeur très strict et précis.
• Le gain concret : Sur un test d'édition d'images, l'IA entraînée avec SpatialReward a amélioré ses performances de 0,90 point, ce qui est énorme (presque le double de l'amélioration obtenue avec les meilleurs juges actuels).

🌟 En Résumé

SpatialReward, c'est comme passer d'un critique de cinéma qui dit "Le film est cool" à un réalisateur qui dit "La scène d'action est parfaite, mais le décor de la cuisine a changé par erreur, il faut corriger ça."

En forçant l'IA à pointer du doigt (avec des boîtes) ce qu'elle regarde, on lui évite de faire des erreurs d'inattention. C'est la clé pour que les IA puissent modifier nos photos de manière précise, créative et sans gâcher l'original.

Résumé technique

1. Problématique : Le "Fossé de Perception" et l'Effondrement de l'Attention

L'apprentissage par renforcement en ligne (Online RL) offre une voie prometteuse pour l'édition d'images complexe, mais son efficacité est actuellement limitée par la rareté de signaux de récompense fiables et granulaires. Les auteurs identifient un problème critique qu'ils nomment "Attention Collapse" (effondrement de l'attention) :

• Le problème : Les modèles évaluateurs existants (basés sur des MLLM - Multimodal Large Language Models) ont tendance à négliger la comparaison entre l'image source et l'image éditée. Au lieu de se concentrer sur les régions modifiées tout en préservant le contexte original, leur attention "s'effondre" vers un état aveugle.
• La conséquence : Cela conduit à des jugements erronés où le modèle approuve des modifications qui violent l'identité de la source (par exemple, changer la pose d'une personne alors qu'elle ne devait être que vêtue différemment) ou ignore des détails fins. Les récompenses obtenues sont mal calibrées et divergent des préférences humaines, empêchant l'alignement efficace des modèles génératifs via le RL.

2. Méthodologie : SpatialReward et le mécanisme "Think-with-Boxes"

Pour combler ce fossé, les auteurs proposent SpatialReward, un modèle de récompense qui intègre un raisonnement spatial explicite. L'approche repose sur plusieurs piliers techniques :

A. Architecture "Think-with-Boxes"

Contrairement aux approches précédentes qui génèrent directement un score, SpatialReward force le modèle à suivre un processus de vérification structuré en deux flux :

1. Flux de Cohérence Sémantique (SC) : Le modèle doit d'abord localiser les régions éditées en prédisant des boîtes englobantes (bounding boxes). Ensuite, il génère un raisonnement textuel ancré sur ces coordonnées (via des tokens spéciaux comme <|bbox_id|>). Cela force le modèle à "regarder" les pixels spécifiques avant de juger.
2. Flux de Qualité Perceptuelle (PQ) : Pour évaluer la qualité visuelle globale (naturel, artefacts), le modèle analyse uniquement l'image éditée, sans référence à la source, afin d'éviter les biais de comparaison inutiles.

B. Pipeline de Données Guidé par les Priors Spatiaux (SPATIALREWARD-260K)

Pour entraîner ce modèle, les auteurs ont construit un jeu de données massif de 260 000 échantillons :

• Étape 1 (Ancrage Spatial) : Utilisation d'un VLM robuste (Qwen-3-VL) pour générer les coordonnées des boîtes englobantes des zones éditées.
• Étape 2 (Annotation par Routage Expert) : Les données sont routées vers des modèles experts (Gemini-2.5-Pro pour les visages, GPT-5 pour les objets généraux) pour générer des raisonnements et des scores initiaux.
• Étape 3 (Vérification et Alignement) : Un processus de vérification rigoureux détecte et élimine les "hallucinations" (raisonnements contradictoires avec les boîtes prédites) avant de fusionner les données en un format structuré.

C. Stratégie d'Entraînement en Deux Étapes

1. SFT (Supervised Fine-Tuning) : Affinage du modèle de base (Qwen-3-VL-8B) sur le jeu de données synthétique pour apprendre le format de sortie structuré (Boîtes, Raisonnement, Score).
2. RL en Ligne (GRPO) : Utilisation de l'optimisation de politique relative par groupe (Group Relative Policy Optimization) sur des échantillons difficiles. Un superviseur externe (Gemini-3-Flash) fournit des récompenses de cohérence pour supprimer les raisonnements non ancrés et stabiliser l'apprentissage.

3. Contributions Clés

1. Identification du "Perception Gap" : Démonstration que l'absence d'ancrage spatial dans les évaluateurs MLLM conduit à un effondrement de l'attention, rendant les récompenses inutiles pour le RL fin.
2. Framework SpatialReward : Première intégration d'un raisonnement spatial explicite (prédiction de boîtes avant le jugement) dans l'évaluation générative point-à-point pour l'édition d'images.
3. SPATIALREWARD-260K : Création d'un jeu de données à grande échelle contenant des traces de raisonnement de haute qualité ancrées spatialement.
4. MultiEditReward-Bench (MER-Bench) : Un nouveau benchmark rigoureux conçu pour tester la capacité des modèles à gérer des compositions multi-régions complexes et des contraintes spatiales fines.

4. Résultats Expérimentaux

Les expériences démontrent que SpatialReward surpasse l'état de l'art (SOTA) sur plusieurs fronts :

• Performance sur les Benchmarks :
  • Sur EditReward-Bench, SpatialReward améliore la performance de +11,3 % par rapport à la base générative (EditScore-8B).
  • Sur MMRB2, il gagne +9,1 %, surpassant les modèles propriétaires (GPT-4.1, GPT-5, Gemini).
  • Sur le nouveau MER-Bench, il atteint 48,3 % de précision globale, surpassant les modèles discriminatifs et génératifs existants, notamment dans les scénarios complexes (4 paires).
• Impact sur l'Online RL (OmniGen2) :
  • L'utilisation de SpatialReward comme signal de récompense pour l'entraînement par RL d'OmniGen2 a augmenté les performances sur GEdit-Bench de +0,90.
  • Ce gain est presque le double de celui obtenu avec GPT-4.1 (+0,45) et dépasse significativement les modèles discriminatifs comme EditReward.
• Analyse de l'Attention :
  • Les visualisations montrent que SpatialReward restaure une distribution d'attention symétrique et équilibrée entre l'image source et l'image éditée, éliminant le phénomène d'effondrement observé chez les baselines.

5. Signification et Conclusion

Ce travail établit que le raisonnement spatial explicite est une condition sine qua non pour un alignement efficace des modèles d'édition d'images. En forçant le modèle à localiser physiquement les modifications avant de les évaluer, SpatialReward résout le problème de l'effondrement de l'attention.

Cela permet non seulement d'obtenir des évaluateurs plus précis et interprétables, mais surtout de fournir des signaux de récompense robustes et denses nécessaires pour entraîner des modèles génératifs via l'apprentissage par renforcement en ligne. Les résultats suggèrent que l'avenir de l'édition d'images par IA repose sur des mécanismes de vérification ancrés dans la géométrie de l'image, et non uniquement sur des similarités sémantiques globales.