Résumé Technique : LiteFrame : Des Encodeurs Visuels Efficaces Déclenchent la Mise à l'Échelle des Trames dans les LLM Vidéo

1. Énoncé du Problème

Le défi fondamental dans la mise à l'échelle des Modèles de Langage Vidéo (Video LLM) vers des vidéos de longue durée réside dans l'explosion de la longueur du contexte des tokens visuels. Les Video LLM actuels suivent généralement une architecture multi-étapes : un encodeur d'images (par exemple, Vision Transformer) traite les trames, un projecteur d'alignement mappe les caractéristiques, et un LLM raisonne sur des tokens visuels et textuels entrelacés. À mesure que le nombre de trames augmente, les coûts computationnels s'accroissent en raison à la fois du traitement par trame de l'encodeur visuel et de la complexité quadratique de l'auto-attention du LLM.

Les stratégies existantes se concentrent principalement sur la réduction de tokens « a posteriori », où un encodeur visuel lourd et figé extrait des caractéristiques denses, lesquelles sont ensuite réduites (par élagage ou fusion spatiale/temporelle) avant d'entrer dans le LLM. Bien que cela allège la charge computationnelle du LLM, les auteurs observent un angle mort critique de mise à l'échelle : à mesure que le calcul du LLM diminue, le goulot d'étranglement de latence se déplace vers le traitement coûteux par trame de l'encodeur visuel. Par conséquent, une réduction agressive a posteriori échoue à débloquer une compréhension efficace des vidéos longues, car la latence de l'encodeur visuel devient le plancher prohibitif pour l'inférence de bout en bout.

2. Méthodologie

Pour répondre à cela, les auteurs introduisent LiteFrame, un backbone d'encodeur vidéo léger et efficace conçu pour internaliser la compression de tokens spatio-temporels, couplé à un cadre d'entraînement novateur.

2.1. Architecture : Encodage Compressif de Tokens Spatio-Temporels

LiteFrame utilise un encodeur étudiant compact (87M de paramètres, backbone ViT-Base) comparé à l'enseignant lourd (304M de paramètres, backbone ViT-Large). L'architecture est conçue pour réduire progressivement les redondances spatio-temporelles :

• Couches Entrelacées : Des couches d'attention spatiale standard sont entrelacées avec des couches de convolution 1D temporelles légères et à profondeur (DW).
• Sous-échantillonnage Stridé : Des couches de convolution à profondeur stridée sont intégrées à des intervalles stratégiques (après les 4e et 8e blocs) pour sous-échantillonner progressivement les cartes de caractéristiques dans les dimensions spatiale et temporelle.
• Efficacité : Cette conception permet au modèle de capturer les dynamiques temporelles avec une latence et des FLOPs significativement inférieurs par rapport à une attention spatio-temporelle complète ou à des blocs d'attention temporelle standard.

2.2. Distillation de Tokens Compressés (CTD)

L'entraînement d'un étudiant compact pour correspondre à un grand enseignant tout en réduisant le nombre de tokens n'est pas trivial. La distillation standard force l'étudiant à apprendre des détails redondants. Les auteurs proposent la Distillation de Tokens Compressés (CTD) :

• Cible de Supervision : Au lieu d'imiter la sortie dense de l'enseignant, l'étudiant est entraîné à prédire la représentation compressée produite par l'enseignant.
• Moyenne Pondérée (WAP) : Les auteurs identifient la WAP comme un primitif de compression supérieur par rapport à une fusion ou un élagage de tokens complexes. La WAP agrège les tokens denses dans un espace latent compact en utilisant un pondération basée sur l'attention au sein des blocs spatio-temporels.
• Objectif : L'étudiant minimise l'Erreur Quadratique Moyenne (MSE) entre sa sortie et les caractéristiques compressées par WAP de l'enseignant. Cela transfère efficacement le mécanisme de pondération basé sur l'attention dans les paramètres statiques de l'étudiant, contournant ainsi le besoin d'attention en temps réel sur des patches redondants.

2.3. Adaptation du Modèle de Langage (LMA)

Pour combler le fossé modal et optimiser l'espace latent compressé pour le LLM, une étape minimale d'Adaptation du Modèle de Langage (LMA) est employée :

• Le LLM et l'encodeur sont affinés sur des paires vidéo-texte en utilisant l'Adaptation à Rang Faible (LoRA).
• Cette étape aligne l'espace latent de l'étudiant avec le LLM et permet au modèle de gérer des contextes temporels étendus (jusqu'à 512 trames).

3. Contributions Clés

1. Identification d'un Angle Mort de Mise à l'Échelle : L'article met en évidence que la réduction de tokens a posteriori déplace le goulot d'étranglement de latence du LLM vers l'encodeur visuel, empêchant une mise à l'échelle efficace vers des vidéos longues.
2. Architecture LiteFrame : Un encodeur vidéo léger qui internalise la compression de tokens via une architecture spatio-temporelle utilisant des convolutions temporelles à profondeur et un sous-échantillonnage stridé.
3. Distillation de Tokens Compressés (CTD) : Un cadre d'entraînement novateur qui enseigne à un encodeur étudiant à prédire directement des représentations compressées spatio-temporellement riches en information (via WAP) à partir d'un enseignant, plutôt que des caractéristiques denses.
4. Redéfinition de la Frontière de Pareto : L'intégration de LiteFrame et de LMA atteint un nouveau compromis latence-précision, traitant significativement plus de trames avec une latence de bout en bout inférieure.

4. Résultats Expérimentaux

Les auteurs évaluent LiteFrame par rapport à la ligne de base InternVL3-8B et à diverses méthodes de pointe a posteriori (par exemple, FastVID, PruMerge, ToMe) et encodeurs efficaces (par exemple, VideoPanda, AutoGaze).

• Latence et Précision : Par rapport à InternVL3-8B, LiteFrame réalise une réduction de 35 % de la latence de bout en bout tout en traitant 8 fois plus de trames. Par exemple, à 64 trames, LiteFrame réduit la latence totale d'environ 208 ms à environ 150 ms tout en améliorant la précision moyenne sur les benchmarks (Video-MME, MLVU, LongVideoBench).
• Comparaison avec les Méthodes a Posteriori : Bien que les méthodes a posteriori (comme FastVID) réduisent les tokens du LLM, elles restent limitées par le lourd encodeur visuel d'origine. LiteFrame surpasse ces méthodes tant en efficacité qu'en précision en évitant le « plancher computationnel » de l'encodeur d'origine.
• Comparaison avec AutoGaze : LiteFrame surpasse nettement AutoGaze. Alors qu'AutoGaze tente de résoudre les goulots d'étranglement du ViT et du LLM, son module auxiliaire de pré-réduction introduit une surcharge substantielle (représentant près de la moitié du temps total d'inférence dans certaines configurations). LiteFrame atteint une latence inférieure et une précision supérieure sans cette surcharge auxiliaire.
• Mise à l'Échelle Spatiale : LiteFrame démontre de fortes capacités de mise à l'échelle spatiale en zero-shot. Sur le benchmark HLVid, il atteint un score de pointe de 54,1 à une résolution de 2688 px avec 48 trames, surpassant AutoGaze (52,6) qui nécessitait des résolutions et des nombres de trames plus élevés.
• Études d'Ablation :
  • CTD vs RTD : La CTD (utilisant des cibles WAP) surpasse nettement la Distillation de Tokens Reconstructionnels (RTD), suggérant qu'un alignement explicite avec le primitif WAP fournit une fondation sémantique plus robuste qu'un auto-encodage générique.
  • Architecture : Les convolutions temporelles à profondeur surpassent l'attention spatio-temporelle complète en termes de latence et de précision.
  • Stratégie de Compression : La compression spatio-temporelle (4× spatiale, 4× temporelle) surpasse la compression uniquement spatiale (16×), préservant la fidélité spatiale critique tout en agrégeant la redondance temporelle.

5. Signification et Revendications

L'article revendique que LiteFrame démontre une nouvelle voie potentielle pour débloquer la compréhension de vidéos de plus longue durée sous des budgets de calcul fixes. En déplaçant l'accent de « extraire-et-réduire » (a posteriori) vers « internaliser-et-compresser » (architectural), les auteurs montrent qu'il est possible de contourner le goulot d'étranglement de latence de l'encodeur visuel qui a limité les Video LLM actuels.

Les auteurs soulignent que leur approche redéfinit la frontière de Pareto efficacité-précision, permettant aux modèles d'échanger la redondance spatio-temporelle contre un contexte temporel considérablement plus riche. Ils concluent que l'internalisation architecturale de la compression de tokens via la distillation est une solution plus évolutive pour la compréhension de vidéos longues que les méthodes purement de réduction de tokens.

Limitations Reconnues :

• L'étape LMA a été entraînée sur un sous-ensemble de données vidéo existantes ; des ensembles de données de plus haute qualité et de forme extrême pourraient améliorer davantage les performances.
• Le modèle a été évalué principalement sur des benchmarks centrés sur la vidéo ; les performances sur des benchmarks d'images statiques restent inexplorées.
• La réduction à des modèles étudiants encore plus petits (<87M) a été contrainte par des instabilités d'entraînement (par exemple, explosions de perte), indiquant un besoin de stabilisation supplémentaire du cadre CTD.