VideoHarness-RSI: Recursive Harness Self-Improvement for Long-Video Understanding with Frozen Vision-Language Models

Résumé Technique : VideoHarness-RSI

Problématique

La compréhension de vidéos longues reste un défi majeur pour les modèles de langage-vision (VLM), même lorsque les modèles sous-jacents sont puissants. Le goulot d'étranglement central n'est pas nécessairement la capacité d'inférence du modèle, mais plutôt la construction du contexte : comment sélectionner et organiser un ensemble limité d'observations visuelles à partir d'une vidéo contenant des milliers de trames non pertinentes.

Les approches existantes traitent cela via la compression, la recherche, la mémoire ou l'acquisition de preuves par agent. Cependant, ces systèmes modifient généralement plusieurs composants simultanément (par exemple, en changeant à la fois le modèle, le mécanisme de recherche et le flux de raisonnement). Cela rend difficile l'isolement d'une question précise : Quel gain de performance peut être obtenu uniquement en améliorant le programme exécutable qui construit le contexte, tout en gardant le VLM et son interface totalement fixes ?

Méthodologie : VideoHarness-RSI

Le papier présente VideoHarness-RSI (Recursive Harness Self-Improvement), un cadre contrôlé pour la recherche récursive de constructeurs de contexte exécutables optimaux (harnesses) autour d'un VLM gelé.

Cadre Central

Le système traite le harnais comme un programme $H$ qui mappe une paire vidéo-question $(V, q)$ vers un contexte multimodal borné $C_H$, qui est ensuite transmis à un VLM gelé $M$ pour générer une réponse $\hat{y}$.
$$\hat{y} = M(H(V, q; K), q)$$
L'objectif d'optimisation est de maximiser la précision de développement sur l'espace des programmes exécutables $H_{exec}$, sous une contrainte de contexte fixe $K$.

La Décomposition du Harnais

Les auteurs décomposent analytiquement tout harnais en trois étapes fonctionnelles, bien que celles-ci ne soient pas des objectifs d'optimisation séparés mais plutôt un chemin pour la mutation du programme :

1. Écriture ($Write_H$) : Construit une représentation adressable de la vidéo (par exemple, un flux, une liste de légendes ou un index d'embeddings).
2. Lecture ($Read_H$) : Récupère des preuves conditionnées par la question $q$.
3. Emballage ($Pack_H$) : Ordonne et formate le contexte borné pour le VLM.

Protocole de Recherche Récursive

La recherche opère via une boucle externe qui propose, exécute et évalue des mutations de harnais :

1. Proposeur : Un LLM-proposeur (Claude Opus 4.6) génère du code de harnais candidat basé sur une frontière des meilleurs programmes actuels ($F_t$) et une archive ($A_t$) de codes, de scores et de traces d'exécution historiques.
2. Évaluation : Les candidats subissent un "test de fumée" (smoke-test) et sont évalués de bout en bout sur un ensemble de développement ($D_{dev}$).
3. Sélection : La règle de mise à jour est stricte. Un candidat $H_{t,j}$ est promu dans la frontière $F_{t+1}$ uniquement si sa précision de développement $S(H_{t,j})$ dépasse strictement la précision de la frontière actuelle.
4. Contraintes : Le VLM (Qwen3-VL-8B-Instruct), sa configuration de décodage et les métriques d'évaluation restent fixes tout au long de la recherche. La recherche ne touche pas aux paramètres du modèle.

Configuration Expérimentale

• Jeu de données : LVBench (1 232 paires QA après filtrage). 350 questions utilisées pour la recherche/développement ; 882 réservées pour l'évaluation sur données non vues (held-out).
• Baselines : Comparaison avec l'échantillonnage uniforme pré-spécifié, des harnais faits main inspirés de la littérature (ex: AKS, style WorldMM, style Homer) et des VLMs propriétaires sous échantillonnage uniforme.
• Métrique de Coût : Le coût du contexte côté entrée est mesuré comme la somme des tokens visuels et de texte auxiliaire par question, excluant les coûts d'indexation hors ligne.

Résultats Clés

1. Gains de Performance issus de la Recherche

La recherche récursive améliore systématiquement les performances par rapport aux baselines faibles et fortes :

• Par rapport à l'échantillonnage uniforme : En partant d'une baseline d'échantillonnage uniforme aléatoire (36,3 % de précision), la recherche a découvert EMBEDNAVIGATE-HYBRID, qui a atteint 45,4 % sur l'ensemble de test.
• Par rapport aux baselines fortes faites main : En partant d'une baseline forte faite main (AKS, 46,5 %), la recherche a découvert TIMESTAMPED-AKS, qui a amélioré la précision sur l'ensemble de test à 50,3 %.
• Transfert Trans-Benchmark : Les harnais sélectionnés sur LVBench ont été gelés et appliqués directement à Video-MME et MLVU sans nouvelle recherche ni adaptation. Ils ont surpassé l'échantillonnage uniforme sur les deux benchmarks (ex: 61,5 % contre 59,9 % sur Video-MME), suggérant que les politiques découvertes sont transférables.

2. Mécanisme d'Amélioration

L'analyse des harnais découverts révèle des stratégies distinctes :

• Navigation vs Récupération : La recherche a découvert que la combinaison de la navigation temporelle (utilisant des légendes pour focaliser l'échantillonnage sur les régions temporelles pertinentes) avec la récupération par similitude visuelle (utilisant les embeddings CLIP) produit de meilleurs résultats que l'une ou l'autre seule.
• Visibilité des Preuves : Le harnais hybride a amélioré la précision non seulement en exposant plus d'intervalles de preuves annotées (augmentant les trames "visibles"), mais aussi en améliorant les performances sur les cas où les preuves avaient été manquées, suggérant qu'une meilleure organisation et densité du contexte est cruciale.
• Sensibilité au Type de Question : Les stratégies de navigation étaient particulièrement efficaces pour les questions temporelles et de raisonnement, tandis que la récupération visuelle aidait pour les questions d'entités et d'informations clés.

3. Compromis Coût-Précision

La recherche a révélé une frontière de Pareto entre la précision et le coût en tokens d'entrée.

• EMBEDNAVIGATE-HYBRID a atteint une haute précision mais a engendré un surcoût textuel important dû à un passage de navigation supplémentaire.
• TIMESTAMPED-AKS a atteint la précision la plus élevée avec une empreinte d'entrée plus faible, démontrant que la recherche peut trouver des configurations efficaces que les baselines faites main pourraient manquer.

Signification et Revendications

Le papier positionne VideoHarness-RSI comme une baseline contrôlée pour l'étude de la conception automatisée de harnais. Ses principales contributions et revendications sont :

1. Isolation des Variables : Il établit que la construction du contexte exécutable est une couche d'optimisation distincte. Des gains significatifs peuvent être obtenus en optimisant le "harnais" (le programme gérant ce que le modèle voit) sans réentraîner le modèle ou changer son interface.
2. Reproductibilité : Les auteurs fournissent une archive auditable de code candidat, de parenté, de traces d'exécution et de scores, offrant une baseline reproductible pour les recherches futures.
3. Transférabilité : Les résultats démontrent que les harnais découverts sur un benchmark peuvent se transférer à d'autres sans nouvelle recherche, indiquant que la recherche découvre des politiques de construction de contexte généralisables plutôt que de s'ajuster aux particularités d'un jeu de données spécifique.
4. Limites : Les auteurs notent modestement que la frontière de recherche plafonne souvent après les premières améliorations et que la sélection stricte par estimation ponctuelle ne garantit pas statistiquement la généralisation, bien que les résultats empiriques sur les ensembles de test soutiennent l'approche. Ils précisent également que leurs métriques de coût reflètent le volume de tokens d'entrée, et non la latence de bout en bout ou le coût monétaire, car les coûts d'indexation hors ligne varient.

En résumé, le papier soutient que pour la compréhension de vidéos longues, le "système" entourant un VLM gelé est un composant critique et optimisable qui peut être amélioré via une recherche de programme récursive et automatisée.