Résumé Technique : AdaFocus

Énoncé du Problème

La compréhension de vidéos longues est actuellement contrainte par un paradigme rigide de « tir unique ». Les méthodes existantes font face à un compromis fondamental : soit elles encodent densément l'intégralité des vidéos, engendrant des coûts de mémoire et de latence prohibitifs, soit elles les compressent agressivement en ensembles de frames épars, ce qui rejette de manière irréversible les preuves visuelles fines requises pour le raisonnement en aval. Par conséquent, les modèles actuels peinent à équilibrer simultanément la couverture temporelle, la rétention des détails visuels et l'efficacité computationnelle. De plus, les méthodes tentant un « retour délibéré » reposent souvent sur un entraînement lourd par apprentissage par renforcement (RL) ou un cache dense en mémoire, limitant leur évolutivité.

Méthodologie

Les auteurs proposent AdaFocus, un cadre efficace qui reformule la compréhension de vidéos longues comme une acquisition progressive de preuves plutôt que comme un encodage en passage unique. Le système fonctionne sur une conception d'E/S Disque-vers-GPU sans cache (Zero-Cache), garantissant que la séquence vidéo complète reste sur le disque et n'est jamais pré-mise en cache dans la RAM ou la VRAM.

Le cadre se compose de trois composants étroitement couplés :

1. Échantillonneur Adaptatif de Pertinence-Diversité Conscient de la Requête (AdaRD) :

   • Ce module génère un aperçu vidéo compact et informatif à partir d'un pool de candidats à 1 ips en utilisant un encodeur CLIP gelé.
   • Il optimise un sous-ensemble de frames en équilibrant la pertinence (similarité cosinus avec la requête textuelle) et la diversité temporelle (pénalisant les sélections temporellement adjacentes).
   • Routage par Activation Maximale : Pour les requêtes globales manquant d'ancres visuelles locales fortes (où les scores de pertinence maximale sont faibles), le système bascule vers un « Mode de Regroupement Temporel ». Cela privilégie la couverture macro-temporelle en sélectionnant les frames les plus proches des centroïdes de regroupement K-Means, assurant ainsi que l'aperçu capture la structure globale de la vidéo.

2. Gestion Endogène de la Confiance :

   • Au lieu de s'appuyer sur un juge externe, le modèle de base Large Vision-Language Model (LVLM) surveille son propre incertitude.
   • Le système calcule la log-probabilité normalisée par la longueur de la réponse générée. Si ce score de confiance tombe en dessous d'un seuil calibré par la longueur, un retour d'agent est déclenché. Cette décision est endogène au processus de génération du modèle de base.

3. Raffinement Temporel sans Cache :

   • Une fois déclenché, le système récupère des preuves haute résolution directement depuis le disque sans précharger la séquence complète.
   • Ancrage Temporel : Le modèle est invité à citer les timestamps incertains. Si l'analyse par expression régulière échoue, un mécanisme de reprise par attention croisée agrège la masse d'attention à travers les couches et les têtes pour identifier la frame la plus sollicitée.
   • Récupération Fenêtrée : Au lieu de récupérer une seule frame, le système décode une courte fenêtre temporelle (par défaut 1,5 s) autour du timestamp cible.
   • Cette preuve récupérée est fusionnée avec l'aperçu initial, et le modèle régénère la réponse. Cette boucle se poursuit jusqu'à ce que la confiance soit satisfaite ou qu'une limite maximale d'itérations (3 tours) soit atteinte.

Stratégie d'Entraînement : Le modèle de base (Qwen2.5-VL-7B) subit un passage unique léger d'Optimisation de Politique Relative par Groupes (GRPO) (~64 heures-GPU A100) pour aligner le modèle sur le raisonnement en chaîne de pensée. Crucialement, tous les modules d'inférence (AdaRD, gestion de la confiance, récupération) fonctionnent avec des paramètres gelés et ne nécessitent aucun affinage par tâche.

Contributions Clés

• Cadre AdaFocus : Un système co-conçu associant un alignement léger de modèle de base par RL avec des composants d'inférence modulaires et sans entraînement pour la compréhension de vidéos longues.
• Récupération à la Demande sans Cache : Une conception novatrice permettant un raffinement sans pré-cacher la séquence dense complète. Elle utilise un ancrage temporel fenêtré et une reprise par attention croisée pour récupérer des preuves haute résolution directement depuis le disque, transformant les détails visuels rejetés en preuves récupérables.
• Évaluation Systématique : Des expériences étendues sur sept benchmarks (incluant VideoMME, MVBench et Charades-STA) avec des ablations systématiques. Ces études démontrent que l'aperçu conscient de la requête et l'ancrage ciblé contribuent indépendamment et identifient des modes de défaillance spécifiques.

Résultats Expérimentaux

Évalué sur sept benchmarks standards, AdaFocus démontre un compromis efficacité-précision supérieur par rapport à des bases solides :

• Gains de Performance : Comparé à l'encodage dense conventionnel et à l'inférence en passage unique, AdaFocus réalise des améliorations significatives, notamment +2,59 de précision sur VideoMME et +8,39 mIoU sur Charades-STA. Il surpasse des méthodes concurrentes comme VideoAuto-R1 et VideoChat-R1.5.
• Efficacité des Tokens : AdaFocus réalise ces gains tout en réduisant la consommation de tokens visuels d'environ 33 fois par rapport à un oracle dense (encodage à 1 ips, max 512 frames). Cela permet aux modèles à l'échelle de 7B de traiter des vidéos longues qui dépasseraient autrement les limites de longueur de contexte.
• Analyse des Composants :
  • AdaRD vs Agent : À la fois l'échantillonneur adaptatif et le module de routage d'agent fournissent des gains complémentaires.
  • Ciblé vs Aléatoire : Bien que la récupération aléatoire de frames supplémentaires offre une amélioration modeste, l'ancrage ciblé (via regex ou attention croisée) fournit des gains nettement plus importants, confirmant la valeur d'une récupération de preuves précise.
  • Généralisation du Modèle de Base : Les composants d'inférence améliorent les performances même sur le modèle de base pré-entraîné (non-RL), mais la combinaison de l'alignement RL et d'AdaFocus produit les meilleurs résultats, indiquant que les deux sont additifs.
• Latence : Le système engendre environ 2 fois le temps réel d'une base en passage unique en moyenne (dominé par les passages avant du LVLM plutôt que par les E/S disque), avec une surcharge maximale d'environ 4,4 fois.

Importance et Revendications

L'article revendique que l'aperçu progressif combiné au raffinement de preuves sans cache est un paradigme hautement efficace pour le raisonnement multimédia évolutif. En brisant le paradigme rigide de mise en cache en mémoire, AdaFocus transforme les détails visuels d'une perte irréversible en preuves récupérables à la demande, sans surcharge VRAM prohibitive.

Les auteurs soulignent la modularité de leur approche : puisque les composants d'échantillonnage adaptatif, de gestion de la confiance et d'E/S sans cache opèrent indépendamment des poids internes du modèle de base, le cadre est intrinsèquement évolutif et peut être intégré de manière transparente avec des LVLM émergents à plus grande échelle ou des architectures à contextes étendus. Le travail suggère que pour les modèles actuels à l'échelle de 7B, l'échantillonnage adaptatif conscient de la requête est une utilisation plus efficace des budgets d'attention limités que l'ingestion brute de frames.