Résumé Technique : Vision-OPD

Énoncé du Problème

Les Modèles de Langage Multimodaux (MLLM) font actuellement face à un goulot d'étranglement significatif dans la compréhension visuelle fine. Bien que ces modèles excellent dans la compréhension générale des scènes, ils échouent souvent lorsque les réponses dépendent de détails petits et décisifs n'occupant qu'une fraction de l'image. Les auteurs identifient un écart de perception du régional vers le global : un MLLM répond correctement aux questions fines lorsqu'il est conditionné par une recadrage centré sur la preuve (entrée régionale), mais échoue lorsqu'il est conditionné par l'image complète correspondante (entrée globale).

Cette observation suggère que l'échec ne provient pas d'un manque de capacité de reconnaissance locale, mais plutôt d'une incapacité à se concentrer sur les preuves pertinentes au sein du contexte visuel global dense. Les solutions existantes, telles que les modèles agents « Thinking-with-Images », tentent de résoudre ce problème en équipant les MLLM d'outils pour recadrer et zoomer lors de l'inférence. Cependant, ces méthodes introduisent une surcharge d'inférence substantielle due au codage répété des images et aux appels de modèle. Le défi central abordé par cet article est le suivant : Le bénéfice du zoom visuel peut-il être internalisé par l'entraînement afin que le modèle puisse utiliser des preuves fines à partir d'une image complète sans utilisation d'outils supplémentaires ni supervision externe ?

Méthodologie : Vision-OPD

L'article propose Vision-OPD (Distillation On-Policy Visuelle), un cadre d'auto-distillation du régional vers le global. La méthode exploite la perception régionale privilégiée du modèle pour superviser sa perception globale.

1. Synthèse des Données

Le cadre utilise un jeu de données de triplets $\{(x_i, x'_i, q_i)\}$, où :

• $x_i$ : L'image complète.
• $x'_i$ : Un recadrage centré sur la preuve de $x_i$.
• $q_i$ : Une question fine répondable à partir du recadrage.
  Les données sont synthétisées en détectant de petites régions dans des images brutes, en générant des questions spécifiques à ces régions, et en superposant des boîtes de délimitation sur l'image complète pour fournir des contraintes spatiales. Ce processus produit 6,2 K échantillons d'entraînement synthétiques sans nécessiter d'étiquettes de vérité terrain.

2. Architecture à Double Politique

Vision-OPD instancie deux politiques conditionnelles à partir du même MLLM ($p_\theta$) :

• Politique Enseignante ($p_T$) : Conditionnée sur le recadrage centré sur la preuve ($x'$) et la question ($q$). Cela fournit une vue « privilégiée » où les détails fins sont sans ambiguïté.
• Politique Élève ($p_S$) : Conditionnée sur l'image complète ($x$) et la question ($q$). Cela imite les conditions d'inférence standard.

3. Objectif d'Auto-Distillation On-Policy

Contrairement au fine-tuning supervisé (SFT) traditionnel qui souffre d'un décalage de distribution, ou à l'apprentissage par renforcement avec récompenses vérifiables (RLVR) qui fournit un feedback épars au niveau de la séquence, Vision-OPD emploie un échantillonnage on-policy avec une supervision dense au niveau des tokens.

• Génération de Trajectoire (Rollout) : L'élève génère une trajectoire de réponse $y$ à partir de l'image complète ($y \sim p_S(\cdot | x, q)$).
• Minimisation de la Divergence : Pour chaque position de token $n$ dans la trajectoire de l'élève, le modèle calcule les distributions du prochain token à la fois pour l'enseignant ($p_T(\cdot | x', q, y_{<n})$) et pour l'élève ($p_S(\cdot | x, q, y_{<n})$).
• Fonction de Perte : L'objectif minimise la divergence par token attendue (en utilisant la Divergence Généralisée de Jensen–Shannon, JSD) entre les distributions de l'enseignant et de l'élève le long des propres trajectoires de l'élève :
  $$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$$

Crucialement, les gradients ne circulent que via la politique élève. L'enseignant agit comme une cible fixe (régularisée via une Moyenne Mobile Exponentielle) conditionnée sur le recadrage privilégié. Cette configuration permet au modèle d'internaliser le bénéfice du « zoom » sans enseignants externes, étiquettes de vérité terrain, vérificateurs de récompense ou utilisation d'outils au moment de l'inférence.

Contributions Clés

1. Formulation d'Auto-Distillation du Régional vers le Global : L'article introduit un signal d'entraînement novateur où le comportement du modèle conditionné par un recadrage sert de supervision privilégiée pour son comportement d'inférence sur l'image complète.
2. Cadre Vision-OPD : Une implémentation spécifique de l'auto-distillation on-policy qui transfère une connaissance dense au niveau des tokens d'une vue régionale vers une vue globale, éliminant le besoin d'enseignants externes ou de données étiquetées.
3. Validation Empirique : Des expériences complètes démontrant que Vision-OPD réduit considérablement l'écart régional-global et améliore les performances sur les tâches fines tout en maintenant les capacités de raisonnement général.

Résultats Expérimentaux

Les auteurs ont évalué Vision-OPD sur plusieurs benchmarks, notamment V Bench*, ZoomBench, HR Bench (4K/8K) et MME-RealWorld.

• Performance vs. État de l'Art : Les modèles Vision-OPD (4B et 9B paramètres) ont atteint des performances compétitives ou supérieures par rapport à des modèles open-source beaucoup plus grands (par exemple, Qwen3.5-397B), des modèles propriétaires (par exemple, GPT-5.4, Gemini-3.1-Pro) et des modèles agents « Thinking-with-Images ». Notamment, Vision-OPD-9B a surpassé GPT-5.4 et Gemini-3.1-Pro sur les scores fins moyens.
• Comparaison avec les Stratégies d'Entraînement : Vision-OPD a surpassé les stratégies d'entraînement alternatives, y compris le SFT sur des auto-enseignants, les méthodes RLVR (GRPO, DAPO) et OPSD (qui repose sur des étiquettes de vérité terrain).
• Généralisation (Tâches de Holdout) : Contrairement aux méthodes SFT et RLVR qui ont montré un « oubli » sur les tâches de holdout (par exemple, MMVP, CV-Bench), Vision-OPD a maintenu ou amélioré les capacités de raisonnement multimodal général, indiquant que les gains n'ont pas été obtenus au prix de l'oubli.
• Réduction de l'Écart : L'analyse a montré que l'entraînement Vision-OPD a réduit de manière constante l'écart de précision entre les entrées régionales et globales, enseignant efficacement au modèle à récupérer les preuves à partir de l'image complète.

Signification et Revendications

L'article revendique que Vision-OPD offre une voie simple, efficace et efficiente pour améliorer la compréhension visuelle fine dans les MLLM. Sa signification principale réside dans :

• Internalisation du Zoom : Il internalise avec succès les bénéfices du zoom visuel dans les paramètres du modèle, permettant une compréhension fine haute performance en un seul passage avant sans la latence d'inférence de l'utilisation d'outils agents.
• Efficacité Sans Étiquettes : Il atteint ces gains sans nécessiter d'enseignants externes plus forts, d'étiquettes de vérité terrain ou de vérificateurs de récompense, s'appuyant plutôt sur les propres vues régionales privilégiées du modèle.
• Évolutivité : La méthode permet aux modèles plus petits (4B/9B) de surpasser des modèles significativement plus grands, suggérant que le goulot d'étranglement dans la compréhension fine n'est pas simplement l'échelle des paramètres, mais la capacité à se concentrer sur les preuves pertinentes, ce qui peut être appris par auto-distillation.