Résumé technique : Auto-Rubric as Reward (ARR)

Énoncé du problème

L'alignement des modèles génératifs multimodaux avec les préférences humaines est actuellement entravé par les limitations des approches dominantes d'apprentissage par renforcement à partir de retours humains (RLHF). Les méthodes existantes réduisent généralement la structure riche et multidimensionnelle du jugement humain (englobant l'esthétique, la fidélité sémantique et le contexte) en scores scalaires opaques ou en étiquettes binaires. Cette approche réductionniste élimine l'interprétabilité des critères humains, créant des représentations « entrelacées » sujettes au piratage de la récompense et à des biais systématiques d'évaluation, tels que le biais de position (où les juges favorisent des images en fonction de leur ordre plutôt que de leur qualité).

Bien que les méthodes récentes « Rubrics-as-Reward » (RaR) tentent de réintroduire une structure via des critères explicites, elles reposent souvent sur des rubriques fixes, supervisées ou conçues manuellement. Cela limite leur évolutivité, leur spécificité aux prompts et leur efficacité en termes de données, en particulier lorsqu'elles sont étendues à des contextes complexes de génération multimodale. L'article postule que le goulot d'étranglement central dans l'alignement multimodal n'est pas un déficit de connaissances préférentielles au sein des modèles de vision et de langage (VLM), mais plutôt l'absence d'une interface stable et factorisée pour appliquer ces connaissances.

Méthodologie

Les auteurs proposent Auto-Rubric as Reward (ARR), un cadre qui externalise les connaissances préférentielles implicites en rubriques explicites conditionnées par l'instance, et Rubric Policy Optimization (RPO), un algorithme d'entraînement qui utilise ces rubriques pour l'alignement génératif.

1. Auto-Rubric as Reward (ARR)

ARR reformule la modélisation de la récompense, passant d'une optimisation de poids implicite à une décomposition explicite basée sur des critères. Elle fonctionne via un pipeline sans entraînement, de génération, vérification et raffinement :

• Génération de la rubrique : Étant donné une paire de préférences (prompt $x$, image préférée $y^+$, image non préférée $y^-$), un VLM génère une rubrique en langage naturel $r_i$ expliquant pourquoi $y^+$ est préférée.
• Vérification et raffinement : Une étape de vérification distincte contrôle si la rubrique générée soutient de manière cohérente l'étiquette de préférence originale. Si la vérification échoue, la rubrique est itérativement raffinée jusqu'à un nombre maximal de tentatives ($T_{max}$). Les rubriques qui échouent après raffinement sont rejetées.
• Structuration hiérarchique : Les rubriques vérifiées et spécifiques à l'instance sont consolidées par un LLM en une seule rubrique hiérarchiquement organisée ($R_{structured}$). Cette rubrique structurée regroupe les critères par granularité sémantique (par exemple, composition, éclairage, texture) et sert de prompt système pour le juge.
• Signal de récompense : Au lieu d'une régression scalaire, le juge VLM utilise $R_{structured}$ pour prendre des décisions binaires de préférence. La sortie préférée reçoit une récompense constante positive ($+\lambda$), et la sortie non préférée reçoit une constante négative ($-\gamma$).

2. Rubric Policy Optimization (RPO)

RPO est un algorithme d'optimisation de politique en ligne conçu pour intégrer directement l'évaluation structurée d'ARR dans la boucle d'entraînement générative.

• Mécanisme : Pour chaque prompt, la politique actuelle $\pi_\theta$ génère deux trajectoires candidates. Le juge ARR figé, conditionné par la rubrique structurée, les évalue pour produire une préférence binaire.
• Objectif : La trajectoire gagnante se voit attribuer un avantage de $+\lambda$ et la perdante $-\gamma$. Cet avantage est réparti uniformément sur tous les pas de temps de génération.
• Optimisation : La politique est mise à jour en utilisant un objectif de type PPO avec régularisation KL. Contrairement aux méthodes antérieures qui traitent les rubriques comme des filtres auxiliaires, RPO conditionne l'objectif d'optimisation directement sur les décisions binaires ancrées dans la rubrique, stabilisant les gradients de politique et alignant les mises à jour sur des dimensions de qualité interprétables.

Contributions clés

1. Auto-Rubric as Reward (ARR) : Un cadre sans entraînement qui externalise les préférences humaines implicites en rubriques interprétables conditionnées par l'instance. Il permet une évaluation multimodale évolutive avec une grande efficacité des données, nécessitant seulement quelques échantillons annotés et aucune mise à jour des paramètres du modèle juge.
2. Rubric Policy Optimization (RPO) : Un cadre d'optimisation de politique qui remplace les signaux de récompense scalaires opaques par des comparaisons structurées et ancrées dans des critères. Il intègre directement les jugements conditionnés par la rubrique dans l'objectif d'optimisation, éliminant le besoin d'un modèle de récompense séparé et entraînable.
3. Diagnostic du goulot d'étranglement de l'interface : Grâce à des études d'ablation, les auteurs démontrent que le principal goulot d'étranglement dans l'alignement multimodal est l'absence d'une interface factorisée, et non un manque de connaissances. Ils montrent que la qualité des rubriques s'aligne sur les capacités d'alignement sous-jacentes du VLM, et qu'une compréhension plus profonde des critères intrinsèques favorise la robustesse plus efficacement que l'augmentation de l'échelle du modèle ou du volume de données.

Résultats expérimentaux

Les auteurs ont évalué ARR et RPO sur des benchmarks de génération d'images à partir de texte (T2I) et d'édition d'images.

• Performance d'évaluation : Sur des benchmarks incluant HPDv3, MM-RewardBench2 et EditReward-Bench, les juges VLM conditionnés par ARR (par exemple, Qwen3-VL, GPT-5, Gemini 3.1 Pro) ont surpassé à la fois les modèles de récompense scalaires entraînés et les juges VLM directs. ARR a amélioré la précision des préférences de 1,7 à 6,3 points de pourcentage. Crucial, ARR a considérablement réduit le biais de position, réduisant l'écart de performance entre l'ordre direct et l'ordre inversé des images d'environ 30–34 points (dans les modèles de base) à 8,9–10,3 points avec des rubriques guidées par l'humain.
• Performance générative : Lorsqu'il est utilisé pour entraîner des modèles via RPO, le cadre a produit des gains substantiels sans affiner le juge ni utiliser d'annotations de récompense à grande échelle.
  • Texte vers image : Sur GenEval, la performance est passée de 0,66 à 0,80 ; sur DPG-Bench, de 83,84 à 85,76.
  • Édition d'images : Sur GEdit-Bench, les scores sont passés de 7,54 à 7,85 (pour la référence Qwen-Image-Edit-2509).
• Généralisation : Le cadre a démontré une forte généralisation en zéro-shot et en few-shot. Les expériences de transfert de rubriques inter-modèles ont montré que les rubriques générées par une famille de modèles pouvaient efficacement guider des juges d'une autre famille, confirmant que la structure de la rubrique elle-même est le moteur de la robustesse.

Importance et affirmations

L'article affirme que le « goulot d'étranglement » dans l'alignement multimodal n'est pas un déficit de connaissances préférentielles au sein des VLM, mais l'absence d'une interface stable et factorisée pour les appliquer. En externalisant les préférences implicites en rubriques explicites et vérifiables, ARR-RPO atteint un alignement plus fiable et plus efficace en termes de données.

Les auteurs soulignent que cette approche :

• Atténue le piratage de la récompense : En ancrant la supervision dans des critères explicites et inspectables plutôt que dans des proxies scalaires appris.
• Améliore l'interprétabilité : Remplace l'optimisation opaque par une amélioration alignée sur les critères, permettant un transfert direct de la fidélité de l'évaluateur vers la qualité générative.
• Ne nécessite aucun affinage du juge : Le cadre fonctionne avec des VLM figés, le rendant efficace en calcul et évolutif.

L'idée centrale est que fournir une interface structurée et factorisée pour l'application des préférences suffit à entraîner des améliorations significatives tant dans la fiabilité de l'évaluation que dans la performance générative, remettant en question l'idée que des modèles plus grands ou plus de données sont les principales exigences pour un meilleur alignement.