ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

1. Problématique

Les Modèles de Langage Multimodaux (MLLM) atteignent une compréhension visuelle supérieure en augmentant la fidélité des entrées (résolution spatiale et contexte temporel). Cependant, cette approche génère une explosion du nombre de "tokens visuels", rendant prohibitif le maintien simultané d'une haute résolution spatiale et d'un contexte temporel long (vidéos étendues).

Les stratégies d'efficacité existantes souffrent de limitations majeures :

• Côté modèle (Post-encodage) : Les méthodes de compression de tokens (fusion, élagage) interviennent après l'encodage. Elles risquent de jeter des preuves visuelles fines irrécupérables et perturbent souvent les noyaux d'inférence optimisés (comme FlashAttention) en modifiant la disposition des tokens.
• Côté sortie (Raisonnement agentique) : Les approches itératives (zoom, recherche) ajoutent une latence importante et dépendent d'une vue initiale trop grossière qui peut manquer les indices décisifs.

Le goulot d'étranglement identifié n'est pas la compression des représentations après encodage, mais le volume de pixels que l'encodeur reçoit initialement. Il est nécessaire de contrôler le budget visuel avant l'encodage.

---

2. Méthodologie : ResAdapt

ResAdapt propose un cadre d'adaptation côté entrée (Input-side adaptation) qui apprend à allouer dynamiquement un budget visuel par image avant l'encodage, sans modifier l'architecture du modèle de base (backbone).

Architecture Principale

• Allocator (Allouateur) : Un module léger (basé sur l'architecture SmolVLM) qui prend en entrée les caractéristiques visuelles grossières et la requête textuelle. Il prédit un vecteur d'allocation $s = (s_1, ..., s_T)$ pour chaque image de la vidéo.
• Opérateur Visuel : L'allocation est appliquée via un opérateur non différentiable (dans l'expérience, un redimensionnement ou resize). Chaque image $f_t$ est transformée en $\tilde{f}_t = O(f_t, s_t)$, où $s_t$ est un facteur d'échelle.
• Backbone MLLM : Le modèle principal reçoit la séquence d'images redimensionnées et génère la réponse en un seul passage (single pass), conservant son interface native de tokens et sa compatibilité avec les moteurs d'inférence optimisés.

Apprentissage : CAPO et Régularisation

L'allocation est formulée comme un problème de bandit contextuel. Pour entraîner l'Allocator, les auteurs proposent :

1. CAPO (Cost-Aware Policy Optimization) :

   • Un algorithme d'optimisation de politique qui transforme les retours de récompense épars (basés sur la réussite de la tâche) en un signal d'apprentissage stable.
   • Il utilise une forme asymétrique de la récompense : les trajectoires correctes et peu coûteuses reçoivent une prime modérée, tandis que les trajectoires incorrectes et coûteuses subissent une pénalité forte.
   • Il introduit un pivot de coût dynamique ($\tau_{dyn}$) qui s'adapte à la politique courante pour éviter l'effondrement vers un budget minimal uniforme.

2. Régularisation de Similarité Temporelle ($L_{sim}$) :

   • Pour éviter que l'Allocator n'alloue un budget élevé à des images consécutives identiques (redondance), une pénalité est appliquée lorsque deux images adjacentes sont très similaires et reçoivent toutes deux un budget élevé.
   • Cela encourage une allocation différenciée et consciente du contenu.

3. Objectif d'Entraînement :

   • Utilisation de PPO (Proximal Policy Optimization) avec des avantages partagés entre l'Allocator et le Backbone.
   • L'objectif maximise la qualité de la réponse tout en respectant une contrainte de budget visuel moyen.

---

3. Contributions Clés

1. Cadre d'Adaptation Côté Entrée : Introduction de ResAdapt, qui reformule l'allocation budgétaire dynamique par image comme un problème de bandit contextuel, préservant entièrement l'architecture native et les optimisations matérielles des MLLM.
2. Algorithme CAPO : Proposition d'une méthode d'optimisation stable avec régularisation de similarité temporelle, permettant d'optimiser conjointement la précision et le coût sans heuristiques manuelles.
3. Performance et Efficacité : Démonstration empirique que ResAdapt atteint ou dépasse la frontière de Pareto efficacité-précision, en particulier sur les tâches de raisonnement complexes sous forte compression.

---

4. Résultats Expérimentaux

Les évaluations ont été menées sur plusieurs benchmarks (VideoMME, LongVideoBench, MMVU, VideoMMMU, etc.) avec des modèles comme Qwen2.5-VL-7B et Qwen3-VL-8B.

• Gain de Performance sous Contrainte :

  • Avec une rétention visuelle d'environ 10-11%, ResAdapt surpasse les méthodes de compression existantes (ToMe, VisionZip, FlashVid) sur les benchmarks de raisonnement (ex: +15% sur VideoMMMU par rapport aux méthodes de base).
  • Il maintient des performances compétitives sur les tâches de perception visuelle même avec une forte compression.

• Extension du Contexte Temporel :

  • Le principal avantage est la capacité à réinvestir l'économie spatiale dans le temps. À budget égal, ResAdapt peut traiter 16 fois plus d'images (ex: 128 images au lieu de 32) tout en offrant une amélioration de performance supérieure à 15%.
  • Cela permet une inférence robuste sur des vidéos longues sans perte de contexte temporel.

• Efficacité Temporelle (Latence) :

  • Bien que l'Allocator ajoute un coût de pré-encodage, la réduction massive du nombre de tokens visuels réduit le temps de génération de manière quadratique (grâce à l'attention).
  • Pour des vidéos longues (128 images), ResAdapt réduit le temps d'inférence total de 30% à 60% par rapport à l'approche native, rendant le traitement de vidéos longues économiquement viable.

• Perception Active Émergente :

  • L'analyse montre que le modèle apprend une stratégie de "perception active" : il concentre la haute résolution sur les moments clés (changements de scène, texte, mouvements rapides) et compresse les segments redondants, agissant comme un filtre intelligent avant l'encodage.

---

5. Signification et Impact

ResAdapt représente un changement de paradigme dans l'optimisation des MLLM pour la vidéo :

• Déplacement du goulot d'étranglement : Il déplace le problème de la compression après l'encodage (où l'information est déjà perdue) vers le contrôle du budget avant l'encodage.
• Compatibilité : Contrairement aux méthodes de fusion de tokens qui nécessitent des modifications d'architecture, ResAdapt est "plug-and-play" avec les modèles existants et les infrastructures d'inférence (vLLM, FlashAttention).
• Faisabilité du Long Contexte : Il offre une voie pratique pour le raisonnement vidéo à long contexte sous des budgets visuels stricts, permettant aux modèles de "voir" plus longtemps sans exploser les coûts de calcul.

En conclusion, ResAdapt démontre qu'une allocation adaptative et apprise côté entrée est une stratégie supérieure pour équilibrer précision, coût et contexte temporel dans les systèmes multimodaux modernes.