Résumé Technique : ProtoKV

Énoncé du Problème

La compréhension de vidéos en streaming (Streaming Video Understanding - SVU) nécessite des systèmes capables de traiter des flux vidéo continus et de répondre à des requêtes asynchrones en temps réel sous des contraintes strictes de mémoire GPU et de latence. Un défi critique dans ce contexte est la requête différée : des indices visuels décisifs peuvent apparaître brièvement et tôt dans un flux, mais la requête n'arrive que bien plus tard, après que de nombreuses trames ultérieures ont été traitées.

Sous une mémoire bornée, les approches standards sont confrontées à un dilemme :

1. Fenêtre Glissante (Sliding Window - SWA) : Ne conserve que les jetons (tokens) récents, garantissant une mémoire constante mais perdant irrémédiablement les preuves une fois qu'elles sortent de la fenêtre.
2. Rétention/Compression de Jetons : Tente de conserver un sous-ensemble de jetons historiques. Cependant, à mesure que le délai ($\Delta$) entre l'indice et la requête augmente, ces méthodes souffrent d'une « pression de mise à jour post-indice ». Les indices décisifs sont souvent évincés ou dilués car le système doit prendre des décisions de rétention agnostiques à la requête sans savoir quels futurs jetons seront pertinents. Une fois qu'une instance de jeton spécifique est supprimée, son indice fin et précis est perdu.

L'article soutient que représenter l'histoire lointaine comme un ensemble de jetons retenus est fragile sous de longs délais. Au lieu de cela, le système a besoin d'un mécanisme qui préserve l'indice des événements passés plutôt que les instances de jetons spécifiques, permettant une dégradation gracieuse à mesure que le délai augmente.

Méthodologie : ProtoKV

ProtoKV est un mécanisme de mémoire à empreinte constante conçu pour les LLM vidéo en streaming. Il déplace la représentation de l'histoire lointaine de la rétention de jetons vers une approche par état de résumé utilisant un état en deux niveaux :

1. Architecture à deux niveaux

• Fenêtre Proche (Exacte) : Un tampon circulaire ($B_{near}$) stockant les paires Clé-Valeur (KV) exactes pour les $W$ trames les plus récentes. Cela préserve les indices fins et temporellement locaux sans approximation.
• Mémoire Lointaine (État de Résumé) : Une banque de prototypes ($B_{far}$) à capacité fixe de taille $K_{max}$ qui agrège l'historique évincé plus ancien. Au lieu de stocker des instances de jetons, elle stocke des prototypes centrés sur les objets.

2. Mécanisme de Mise à Jour en Ligne

À mesure que le flux vidéo progresse, les jetons sont évincés de la fenêtre proche et absorbés dans la mémoire lointaine via une assignation sensible à la continuité :

• Assignation : Les jetons évincés sont assignés à un prototype $k$ en minimisant une fonction de coût en ligne qui combine :
  • La similitude de l'espace des clés (regroupement de jetons ayant des clés similaires).
  • La continuité spatiale (imposant une association cohérente avec la trajectoire via les coordonnées spatiales).
  • Le contrôle de la vétusté (décourageant l'assignation à des prototypes qui n'ont pas été mis à jour récemment).
• Mise à jour du Prototype : Une fois assigné, le prototype est mis à jour en tant qu'état de résumé persistant :
  • Centres : Les centres de clés et de valeurs ($c_k, p_k$) sont mis à jour via une Moyenne Mobile Exponentielle (EMA).
  • Masse : Un compteur ($n_k$) suit le nombre de jetons absorbés.
  • Statistiques Résiduelles : Pour éviter la perte d'indices distinctifs par un simple lissage, ProtoKV maintient des histogrammes basés sur la Quantification de Produit (PQ) des résidus ($r_K = K - c_k, r_V = V - p_k$). Cela capture la diversité intra-prototype sans stocker les codes individuels des jetons.
  • Maintenance : La banque subit une maintenance légère, incluant la décroissance de la masse pour les prototypes inactifs, la fusion de prototypes redondants et le recyclage des emplacements vides.

3. Interface au Moment de la Requête : Synthèse de Pseudo-Jetons

Au moment de la requête, ProtoKV expose la mémoire lointaine au mécanisme d'attention standard sans modification architecturale :

• Pseudo-Jetons : Chaque prototype est synthétisé en $S$ pseudo-jetons KV. Ceux-ci sont construits en combinant le centre du prototype avec des motifs résiduels représentatifs décodés à partir des histogrammes PQ stockés.
• Biais Sensible à la Masse : Pour tenir compte de la multiplicité des jetons résumés par un prototype, un biais de log-masse ($b_k = \log n_k$) est ajouté aux logits d'attention. Cela garantit que les prototypes représentant plus d'indices exercent une influence proportionnellement plus forte.
• Contexte Fixe : Le contexte final se compose des jetons exacts de la fenêtre proche plus le nombre limité de pseudo-jetons ($L_{context} = W + K_{max} \cdot S$), assurant une latence et une utilisation de la mémoire constantes lors de la requête, quelle que soit la longueur du flux.

Contributions Clés

1. Mécanisme de Mémoire Lointaine : Introduction d'une banque de prototypes à capacité fixe, spatiotemporellement cohérente et augmentée de statistiques résiduelles pour résumer l'histoire lointaine, s'éloignant de la rétention d'instances de jetons.
2. Synthèse de Pseudo-Jetons : Une méthode sans entraînement pour synthétiser des pseudo-jetons KV limités avec un pondération sensible à la masse, permettant à l'attention standard d'accéder aux indices de l'histoire lointaine avec un empreinte constante au moment de la requête.
3. Protocole de Requête Différée : Un protocole de filtrage de requête rétrospective pour évaluer la robustesse de la SVU face à l'augmentation des délais de requête tout en maintenant une vérité de terrain invariante.

Résultats Expérimentaux

ProtoKV a été évalué sur quatre benchmarks de vidéo en streaming (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) en utilisant les architectures de base LLaVA-OV-7B et Qwen2.5-VL-7B.

• Performance : Avec un budget mémoire équivalent, ProtoKV surpasse les bases de référence de fenêtre glissante et les méthodes de rétention de jetons (ex: InfiniPot-V). Il atteint jusqu'à 12,5 points de pourcentage de précision de plus que les méthodes de rétention de jetons dans les régimes de long délai.
• Robustesse au Délai : Bien que toutes les méthodes se dégradent à mesure que le délai de la requête ($\Delta$) augmente, ProtoKV présente des courbes de dégradation nettement plus plates. L'écart de performance s'élargit à mesure que $\Delta$ croît, démontrant que l'approche par état de résumé préserve mieux les indices décisifs sous une pression de mise à jour post-indice soutenue.
• Efficacité : ProtoKV maintient un Temps Jusqu'au Premier Token (TTFT) compétitif et une latence de bout en bout plus faible par rapport aux bases de référence basées sur l'offloading/la récupération (ex: ReKV), qui souffrent de la surcharge de récupération.
• Performance Hors-Ligne : Lorsqu'il est appliqué à des benchmarks de compréhension vidéo hors-ligne (VideoMME, MLVU), ProtoKV reste compétitif avec les méthodes de compression de pointe, suggérant que son utilité s'étend au-delà des scénarios de streaming.

Signification et Revendications

L'article affirme que ProtoKV répond à une limitation fondamentale de la compréhension de vidéo en streaming : la fragilité des stratégies de rétention de jetons sous de longs délais. En passant de la rétention d'instances de jetons spécifiques à la maintenance d'un état de résumé de l'histoire lointaine, ProtoKV permet aux indices épars et décisifs de survivre à de nombreuses mises à jour ultérieures sans être écrasés ou dilués.

Les auteurs soulignent que cette conception est adaptée aux requêtes différées où les réponses dépendent d'occurrences d'événements passés plutôt que du contenu visuel instantané. Les résultats suggèrent que pour les systèmes interactifs nécessitant une maintenance agnostique à la requête avec une empreinte fixe sur l'appareil, représenter l'histoire lointaine comme un état de résumé compact et centré sur les objets est un point d'opération plus efficace que les fenêtres glissantes ou la sélection de jetons. Ce travail met en évidence la valeur de la mémoire par état de résumé pour des systèmes de streaming stables sous une pression de mise à jour soutenue.