Résumé Technique : Affamer pour Percevoir

Problème : Le Phénomène de la Perception Paresseuse

Les Modèles Vision-Langage (VLM) déployés en tant qu'agents situés dans des environnements haute résolution nécessitent une perception active—la capacité de décider dynamiquement où regarder via des opérations telles que le zoom, le recadrage et le panoramique. Cependant, les paradigmes d'entraînement actuels (Affinement Supervisé et Apprentissage par Renforcement) produisent souvent des modèles qui exhibent une perception paresseuse. Ces modèles imitent la forme syntaxique des actions de perception (par exemple, générer des commandes de zoom correctes) sans dépendre fonctionnellement de leurs résultats.

La cause racine est une asymétrie fondamentale d'apprentissage : lorsqu'une vue globale grossière combinée à de fortes priors linguistiques suffit pour une précision modérée, le modèle n'a aucune incitation basée sur le gradient à investir dans la stratégie computationnellement plus difficile de recherche visuelle multi-étapes. Si un modèle peut réussir sans regarder activement, il n'apprendra jamais à regarder. Les preuves diagnostiques montrent que le remplacement des observations visuelles intermédiaires par des entrées vides ou la corruption des appels d'outils laisse souvent la précision du modèle inchangée, indiquant une dépendance aux priors linguistiques plutôt qu'aux preuves visuelles.

Méthodologie : Affamer pour Percevoir

Pour y remédier, les auteurs proposent Affamer pour Percevoir, un paradigme d'entraînement qui impose une bande passante visuelle contrainte. Le mécanisme central restreint l'observation visuelle à chaque étape de raisonnement à un budget de tokens strict ($B$), garantissant qu'aucune vue unique (y compris l'aperçu global initial) ne contient suffisamment d'informations pour accomplir la tâche de manière fiable. Cela force la perception active à devenir la seule stratégie viable pour réussir.

Le cadre fonctionne en deux étapes au sein des pipelines standards de post-entraînement (SFT puis RL) :

1. Ajustement des Instructions Visuelles Conscient du Budget (SFT) :

   • Objectif : Amorcer la politique avec une prior comportementale pour la perception active sous contraintes de tokens.
   • Construction des Données : Les trajectoires sont générées par Distillation de Modèle Enseignant (utilisant un enseignant puissant dans un environnement contraint avec échantillonnage par rejet) et Réécriture de Trajectoires (convertissant des ensembles de données existants de haute qualité pour l'utilisation d'outils en formats conscients du budget par sous-échantillonnage des vues et réalignement des coordonnées spatiales).
   • Contrainte : L'observation visuelle $v_t$ est générée par un opérateur de sous-échantillonnage déterministe $D(\cdot, B)$ appliqué à la région recadrée de l'image originale, garantissant que le nombre de tokens ne dépasse jamais $B$.

2. Apprentissage par Renforcement par Affaiblissement Perceptif :

   • Objectif : Développer une dépendance fonctionnelle réelle aux observations visuelles par exploration autonome.
   • Budget Conditionné par la Résolution : Le budget de tokens $B$ évolue dynamiquement avec la résolution native de l'image d'entrée ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$) pour maintenir une pression d'affaiblissement perceptif cohérente à travers des entrées diverses.
   • Signal de Récompense : Le cadre utilise une récompense minimaliste et sparse ($R=1$ pour une réponse correcte, $0$ sinon). Parce que le budget visuel interdit structurellement la résolution de détails fins à partir de la vue globale seule, le modèle doit effectuer des actions de focalisation intermédiaires pour obtenir la récompense. Aucune perte auxiliaire ni mise en forme de récompense n'est requise.
   • Optimisation : La politique est optimisée à l'aide de GRPO (Optimisation de Politique Relative par Groupe) sur des trajectoires collectées dans l'environnement contraint.

Contributions Clés

• Identification de la Perception Paresseuse : L'article identifie et trace l'échec des VLM actuels à dépendre véritablement des opérations visuelles actives vers une asymétrie d'apprentissage où les raccourcis passifs dominent.
• Paradigme Affamer pour Percevoir : Un mécanisme d'entraînement novateur qui s'intègre aux pipelines standards SFT puis RL en tant que composant plug-and-play. Il ne nécessite aucun changement d'architecture, aucune perte auxiliaire ni mise en forme complexe de récompense.
• Transférabilité des Compétences : Les auteurs fournissent la première preuve que les compétences de perception active apprises sous entraînement contraint se transfèrent de manière robuste aux environnements de test sans contraintes.
• Gains d'Efficacité : L'approche génère des dividendes d'efficacité significatifs, réduisant le temps d'entraînement d'environ 50 % et la latence d'inférence de 2,7 à 5,1 fois en raison du nombre réduit de tokens visuels traités par étape.

Résultats

Les auteurs ont évalué leur modèle (basé sur Qwen2.5-VL-7B) par rapport à des bases de référence solides (par exemple, DeepEyes, Chain-of-Focus, PixelReasoner) sur divers benchmarks incluant HR-Bench, V* Bench et des tâches de raisonnement intensives en perception (MME-RealWorld-Lite, RealWorldQA).

• Performance Sans Contrainte : Malgré un entraînement exclusivement sous contraintes de bande passante visuelle, le modèle a obtenu un score global de 64,59 sur des benchmarks sans contrainte, surpassant la base de référence la plus forte à échelle 7B augmentée d'outils (DeepEyes à 61,77) avec une marge nette.
• Robustesse Contrainte : Sous des budgets de tokens stricts ($B=256$), le modèle proposé n'a dégradé que de 0,18 point par rapport à sa performance sans contrainte. En revanche, les bases de référence entraînées sans contraintes visuelles ont subi des baisses de performance de 6,96 à 7,29 points, démontrant que leur « perception active » était superficielle et s'effondrait lorsque la richesse visuelle était supprimée.
• Études d'Ablation :
  • SFT vs RL : Le SFT conscient du budget seul a amélioré la performance par rapport au SFT standard, mais la combinaison avec un RL contraint a produit les meilleurs résultats.
  • Nécessité du SFT : Démarrer le RL à partir d'un modèle de base sans SFT a provoqué l'effondrement de la politique vers un comportement « paresseux » (dépendance aux priors linguistiques), confirmant que le SFT fournit un prior comportemental nécessaire.
  • Nécessité de la Contrainte : Le RL entraîné sans contraintes visuelles (même avec une initialisation SFT) a abouti à des ratios de perception active plus faibles et une précision finale inférieure par rapport au pipeline entièrement contraint.

Signification

L'article soutient que le raisonnement visuel supérieur n'émerge pas de la densité d'entrée mais de la pression d'optimisation pour extraire l'information efficacement. En rendant l'observation passive structurellement indisponible pendant l'entraînement, le modèle est forcé d'intérioriser la dépendance fonctionnelle entre les indices visuels locaux et la réussite de la tâche. Ce paradigme transforme la perception active d'un renforcement optionnel en une capacité fondamentale, permettant le déploiement d'agents visuels robustes et efficaces dans des environnements contraints en calcul (par exemple, applications sur appareil) sans sacrifier la performance dans des environnements haute résolution. Le travail suggère que la bande passante visuelle devrait être traitée comme une variable de conception délibérée pour construire des agents vision-langage ancrés dans la perception.