Résumé Technique : VIDEO2LORA

Problématique

Les modèles de vision-langage (VLM) actuels font face à un goulot d'étranglement fondamental dans la compréhension vidéo : la dépendance aux abstractions riches en jetons (tokens). Les approches standards encodent les images vidéo sous forme de jetons visuels et les concatènent dans la fenêtre de contexte du modèle. Une seule image à une résolution standard peut contribuer à des centaines de jetons ; par conséquent, même des clips courts génèrent des dizaines de milliers de jetons avant l'ajout d'une requête textuelle. Cela entraîne de graves problèmes d'évolutivité où la mémoire et la latence augmentent linéairement avec chaque image et chaque requête répétée.

Au-delà des contraintes de ressources, cette architecture atteint un « plafond de capacité ». Une fois la fenêtre de contexte saturée, les VLM génèrent souvent des textes incohérents ou répétitifs sans rapport avec le contenu vidéo. Les stratégies d'atténuation existantes — telles que le sous-échantillonnage d'images, la compression de jetons visuels, les architectures à contexte long et les méthodes de streaming — réduisent la charge mais ne parviennent pas à éliminer la contrainte fondamentale : les jetons visuels restent présents dans le contexte au moment de la requête, et chaque requête réitère la surcharge d'encodage.

Méthodologie : VIDEO2LORA

Les auteurs proposent VIDEO2LORA, un cadre pour l'internalisation paramétrique de la vidéo. Au lieu de compresser l'information visuelle pour qu'elle tienne dans la fenêtre de contexte, la méthode élimine entièrement les jetons visuels de la requête en encodant la vidéo dans les paramètres du modèle avant toute émission de requête.

Architecture Centrale

Le système se compose de trois composants principaux :

1. Encodeur VLM gelé ($E$) : Un VLM pré-entraîné (spécifiquement SmolVLM2) encode la vidéo d'entrée en états cachés par couche. L'encodeur reste gelé pendant l'entraînement.
2. Hyperréseau Perceiver entraînable ($H_\phi$) : Un hyperréseau traite les états cachés provenant de l'encodeur gelé. Il utilise une architecture de resampleur de type Perceiver pour porter attention à des requêtes latentes apprises à partir des états cachés conditionnés par la vidéo. Ce réseau projette la représentation vidéo directement en poids d'adaptation de bas rang (LoRA) en une seule passe avant (forward pass).
3. Modèle de réponse gelé ($F$) : Le même VLM utilisé pour l'encodage sert de modèle de réponse. Au moment de l'inférence, l'adaptateur LoRA généré est attaché à ce modèle. Le modèle répond aux requêtes textuelles en aval en utilisant uniquement les poids de l'adaptateur et la requête textuelle, avec zéro jeton visuel dans le contexte.

Objectif d'Entraînement

Le processus d'entraînement est distinct du réglage fin (fine-tuning) standard :

• Gel : Le codeur vidéo et le modèle de réponse restent tous deux gelés. Seuls les paramètres de l'hyperréseau ($\phi$) sont mis à jour.
• Supervision : L'hyperréseau est entraîné via une perte d'entropie croisée par force du professeur (teacher-forced cross-entropy loss). Le signal de supervision provient de générations hors ligne, mises en cache, produites par un VLM « professeur » gelé, conditionné sur les images de la vidéo et la requête cible.
• Efficacité : Parce que l'hyperréseau prédit directement les poids plutôt que d'effectuer des mises à jour de gradient itératives par exemple, la méthode évite l'impraticabilité computationnelle de l'optimisation par exemple pour des données visuelles à haut volume.

Principales Contributions

1. Première internalisation paramétrique de la vidéo : L'article introduit un hyperréseau Perceiver qui convertit une vidéo en un adaptateur LoRA en une seule passe avant. Cela permet à un VLM gelé de répondre à des requêtes sur une vidéo sans aucun jeton visuel dans le contexte.
2. Équivalence statistique à l'inférence directe : La méthode atteint une non-infériorité statistique et une équivalence avec l'inférence vidéo directe en contexte sur cinq benchmarks de légende (ActivityNet Captions, PLM-RDCap, PLM-RCap, VDC, CaReBench) à des échelles de 500M et 2,2B de paramètres. Elle est également équivalente sur sept des huit paires de benchmarks de questions-réponses (QA) vidéo.
3. Généralisation et compositionnalité émergente :
   • Échelle de résolution/longueur : Bien qu'entraîné uniquement sur 12 images à une résolution de 384px, VIDEO2LORA reste stable jusqu'à 1 024 images et 1 024px de résolution, un régime où l'inférence vidéo directe en contexte dégénère souvent.
   • Composition d'adaptateurs : Les auteurs démontrent que les adaptateurs générés indépendamment pour des segments vidéo non chevauchants peuvent être composés dans l'espace de rang, suggérant une voie vers l'internalisation de vidéos longues par morceaux sans entraînement dédié.

Résultats et Efficacité

Métriques de Performance

• Légende (Captioning) : À l'échelle 2,2B, VIDEO2LORA récupère 91,9 % du score du juge LLM du modèle de base. À l'échelle 500M, il récupère 84,2 %. En termes de Token-F1, la méthode égale ou dépasse souvent le modèle de base, avec un delta moyen apparié de 0,000 à l'échelle 2,2B.
• QA Vidéo : Bien qu'entraînée exclusivement sur la légende, la méthode se transfère en mode zéro-shot aux tâches de QA. Elle passe les tests de non-infériorité et d'équivalence sur 7 des 8 combinaisons d'échelle de benchmarks.
  • Note sur les métriques QA : L'article note une divergence entre les scores du juge LLM et le Token-F1 pour les réponses courtes de type QA. VIDEO2LORA a tendance à produire des réponses plus verbeuses et descriptives (en raison de l'entraînement sur la légende) par rapport aux réponses concises de la ligne de base directe. Bien que le Token-F1 pénalise cette verbosité, le juge LLM confirme la justesse sémantique.

Gains d'Efficacité

Le principal avantage de VIDEO2LORA est le découplage du traitement vidéo de la latence de requête :

• Réduction des jetons : Il réduit la charge de jetons visuels au moment de la réponse jusqu'à 1 500× (par exemple, en passant zéro jeton lors de l'inférence).
• Latence (TTFT) : Le temps jusqu'au premier jeton (Time-To-First-Token, TTFT) de la requête est réduit de 6 à 80×.
• Amortissement : Pour des requêtes répétées sur la même vidéo, le coût unique de génération de l'adaptateur est amorti. Par exemple, sur le modèle 500M, le TTFT moyen chute de 6,45s (inférence directe) à 0,55s.
• Stabilité : Contrairement au cache KV ou à la compression de jetons, qui évoluent avec le nombre de jetons, VIDEO2LORA maintient un TTFT de requête quasi constant et une qualité de sortie stable à mesure que la longueur et la résolution de la vidéo augmentent.

Signification et Revendications

L'article affirme que VIDEO2LORA représente un changement de paradigme dans la compréhension vidéo, passant de « faire tenir plus de vidéo dans le contexte » à « encoder la vidéo dans les paramètres ». Les auteurs soutiennent que la fenêtre de contexte est une contrainte à éliminer plutôt qu'à gérer.

La signification réside dans :

• Faisabilité : Démontrer qu'un contexte visuel volumineux peut être compressé en mises à jour de paramètres compactes (adaptateurs LoRA) sans optimisation itérative.
• Évolutivité : Fournir une solution qui reste stable aux longueurs et résolutions de vidéo où les VLM de pointe actuels échouent en raison de la saturation du contexte.
• Efficacité : Offrir un mécanisme pour la requête vidéo répétée qui réduit considérablement la latence et la charge de calcul, rendant l'analyse vidéo interactive plus viable.

Les auteurs restent modestes quant aux limites, reconnaissant que l'implémentation actuelle nécessite des hyperréseaux distincts pour différentes échelles de modèles, que le transfert vers la QA est en zéro-shot (entraînant des décalages de style dans la longueur des réponses), et que des détails fins (comme le mouvement de caméra) peuvent être perdus dans le processus de compression. Ils notent également que l'expérience de composition par morceaux est un test préliminaire sur deux morceaux qui ne modélise pas encore explicitement l'ordre temporel.