💬 NLP

APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention

APB-V est un cadre de parallélisme de séquence qui accélère l'inférence de vidéos longues dans les modèles multimodaux de grande taille en distribuant l'attention approximative sur plusieurs GPU, réalisant ainsi des accélérations significatives par rapport aux méthodes existantes sans nécessiter de compression visuelle ni sacrifier la performance.

Auteurs originaux : Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive de clips vidéo et que vous vouliez qu'un assistant IA super intelligent les regarde tous pour répondre à une question spécifique, du type : « Quel était le mot secret chuchoté dans la voiture ? »

Le problème est que ces vidéos sont si longues et détaillées que l'IA est submergée. C'est comme demander à un seul bibliothécaire de lire chaque page d'un million de livres à la fois pour trouver une seule phrase. Le processus est lent, coûteux et force souvent le bibliothécaire à sauter des pages (résumer) juste pour terminer, ce qui signifie qu'il pourrait manquer des détails importants.

Ce document présente APB-V, une nouvelle façon d'organiser les « bibliothécaires » (ordinateurs) pour qu'ils puissent regarder ces vidéos longues ensemble, rapidement et sans rien manquer.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'ancien problème : Le goulot d'étranglement du « Bibliothécaire unique »

Actuellement, lorsqu'une IA regarde une vidéo longue, elle doit traiter chaque image (frame). Si la vidéo est en 1440p (haute définition) et possède de nombreuses images, la quantité de données est énorme.

Le Goulot d'étranglement : C'est comme essayer de faire entrer tout un océan dans une seule tasse. L'ordinateur manque de mémoire ou met un temps infini à effectuer les calculs.
L'ancienne solution : Pour aller plus vite, on disait autrefois à l'IA : « Regarde simplement une image sur 10 » ou « Jette les parties floues ».
L'inconvénient : C'est comme lire un livre en sautant une page sur deux. On finit plus vite, mais on peut rater le rebondissement ou le mot secret. L'IA devient plus rapide, mais devient plus « bête ».

2. La nouvelle solution : APB-V (L'« Équipe de bibliothécaires »)

APB-V change la donne en utilisant plusieurs ordinateurs (GPU) travaillant ensemble, comme une équipe de bibliothécaires se répartissant une tâche massive. Mais au lieu de simplement diviser les livres de manière aléatoire, ils utilisent une stratégie intelligente appelée Parallélisme de Séquence (Sequence-Parallelism).

Imaginez la vidéo comme un long train de wagons.

Parallélisme de trames (Frame Parallelism) : D'abord, l'équipe divise les images de la vidéo. Un bibliothécaire regarde les wagons 1 à 10, un autre les 11 à 20, et ainsi de suite. Ils commencent tous à regarder en même temps.
L'astuce de l'« Ancre » et du « Passage » : Voici la partie magique. Dans une équipe normale, si le Bibliothécaire A a besoin de savoir ce que le Bibliothécaire B a vu il y a 10 minutes, il doit s'arrêter et crier à travers la pièce. Cela prend du temps.
- L'astuce d'APB-V : Au lieu de tout crier, le Bibliothécaire A ne crie que les éléments les plus importants (les « Blocs de Passage ») aux autres. Ils conservent une petite « Ancre » permanente du début de la vidéo.
- Le Résultat : Ils n'ont pas besoin d'envoyer toute la vidéo d'un côté à l'autre. Ils envoient simplement le « condensé des moments forts » de ce qui compte. Cela économise énormément de temps et de trafic de données.

3. Équilibrer la charge (La stratégie « ZigZag »)

Si vous répartissez simplement le travail de manière égale, certains bibliothécaires pourraient se retrouver avec le plus gros travail (calculer des scènes complexes) tandis que d'autres ont des tâches faciles.

La solution : APB-V utilise un motif ZigZag. Imaginez que les bibliothécaires soient disposés en ligne. Le premier bibliothécaire reçoit la première partie et la dernière partie, le deuxième reçoit la deuxième et la l'avant-dernière, et ainsi de suite.
Pourquoi ? Cela garantit que tout le monde a une quantité égale de « réflexion » à faire, de sorte que personne n'attende que la personne la plus lente ait terminé.

4. Les résultats : Rapides et Précis

Les auteurs ont testé cela sur de très grandes vidéos (comme 64 images en résolution 1440p).

Vitesse : C'était 12,7 fois plus rapide que la méthode standard actuelle (FlashAttention).
Précision : Contrairement aux anciennes méthodes qui sautaient des pages et donnaient de mauvaises réponses, APB-V a conservé tous les détails visuels. Il a obtenu des réponses aussi justes que s'il avait regardé toute la vidéo lentement, mais il l'a fait en une fraction du temps.

Résumé

APB-V est comme organiser une équipe d'experts pour regarder un marathon vidéo. Au lieu d'une seule personne luttant pour lire chaque page, ou de tout le monde sautant des pages pour finir vite, l'équipe divise le travail, ne partage que les points critiques et équilibre parfaitement la charge. Le résultat est qu'ils trouvent la réponse super rapidement sans manquer un seul détail important.

L'article affirme que ceci est spécifiquement destiné à la compréhension de vidéos longues sur plusieurs ordinateurs (comme dans les centres de données pour la surveillance ou la conduite autonome), et que cela ne fonctionne pas sur un seul ordinateur car la magie repose sur l'effort d'équipe.

Résumé technique : APB-V

Énoncé du problème

L'efficacité de l'inférence sur les vidéos longues dans les modèles multimodaux de grande taille (LMM) demeure un goulot d'étranglement critique. À mesure que la durée de la vidéo augmente, le nombre de trames croît, ce qui entraîne une augmentation de la taille des lots pour l'encodeur visuel et une hausse significative du nombre d'embeddings visuels générés. Étant donné que les couches d'attention dans les architectures LLM présentent une complexité quadratique ( $O(n^2)$ ) par rapport à la longueur de la séquence, ces embeddings supplémentaires étendent considérablement la séquence d'entrée, ralentissant la vitesse d'inférence et augmentant les coûts de calcul.

Les solutions existantes se divisent généralement en deux catégories, qui font toutes deux face à des limitations :

Optimisation intrinsèque de l'attention : Les méthodes qui optimisent le mécanisme d'attention ou réduisent la taille du cache Clé-Valeur (KV) au sein du LLM. Celles-ci ne parviennent pas à traiter les coûts de calcul de l'encodeur visuel et des réseaux de neurones à propagation avant (FFN).
Réduction explicite de l'entrée : Les méthodes qui compressent les embeddings visuels via l'élagage de jetons (token pruning) ou le regroupement (pooling). Bien qu'efficaces pour réduire la longueur de la séquence, ces approches sacrifient souvent les détails fins de la vidéo, entraînant une dégradation significative des performances (par exemple, une chute d'environ 25 % de la précision dans certains cas) et ne parviennent pas à obtenir des gains d'efficacité satisfaisants sans compromettre la qualité.

Les approches sur un seul GPU peinent à surmonter le compromis efficacité-performance, nécessitant une dimension de mise à l'échelle capable d'exploiter plusieurs GPU tout en supprimant la complexité quadratique.

Méthodologie : APB-V

Les auteurs proposent APB-V, un cadre d'attention approximative sensible au parallélisme de séquence, conçu pour accélérer l'inférence de vidéos longues sur plusieurs GPU (hôtes). Le cadre intègre trois composants principaux :

1. Conception du cadre

Parallélisme de trame : Inspiré de LONGVILA, l'encodeur visuel traite les trames vidéo de manière indépendante. APB-V distribue ces trames sur plusieurs hôtes pour gérer l'intensité de calcul élevée.
Division du contexte et agencement ZigZag : Les embeddings d'entrée sont partitionnés en un Bloc d'Ancre ( $B_a$ ), un Bloc de Requête ( $B_{qr}$ ) et des Blocs de Contexte ( $B^{(h)}$ ). Pour remédier au déséquilibre dans les modèles de type décodeur seul où les jetons précoces accordent plus d'attention au contexte que les jetons ultérieurs, APB-V utilise un agencement de type ZigZag. Cela mappe les hôtes physiques à des paires d'hôtes virtuels (par exemple, l'hôte $h$ et $2H-1-h$ ) pour assurer un équilibre des charges de calcul d'attention.
Mécanisme d'attention approximative : Au lieu de calculer une attention dense sur tous les jetons, APB-V utilise une stratégie de compression du cache KV locale :
- Bloc d'Ancre : Un segment initial fixe d'embeddings.
- Blocs de Passage : Pour chaque hôte, les paires Clé-Valeur les plus essentielles des hôtes précédents sont identifiées via les scores d'attention requête-contexte et agrégées en "blocs de passage".
- Calcul : L'attention est calculée sur l'Ancre, le Contexte local, les Blocs de Passage agrégés et la Requête. Crucialement, l'ensemble complet des embeddings visuels est préservé (pas de réduction d'entrée), mais la communication inter-hôtes est compressée pour ne transmettre que les paires KV essentiels.

2. Optimisations au niveau du système

Pour maximiser l'efficacité, APB-V incorpore quatre optimisations système spécifiques :

Équilibrage de charge visuelle : Les trames sont distribuées uniformément entre les hôtes virtuels pour éviter les goulots d'étranglement lors de l'étape d'encodage visuel.
Fusion de la propagation (Forward) Contexte et Requête : Contrairement aux méthodes précédentes qui traitent le contexte et la requête séparément (souvent limitées par la mémoire pour les requêtes courtes), APB-V les fusionne en une seule passe de propagation, fusionnant les résultats partiels de la requête en utilisant les sorties lse (log-sum-exp) de FlashAttention.
Équilibrage de charge de l'attention approximative : Le mappage ZigZag garantit que la longueur totale des blocs de passage est équilibrée entre les hôtes physiques, évitant ainsi des charges de travail inégales.
Communication superposée (Overlapped) : Le transfert des blocs de passage et des résultats partiels d'attention de la requête est effectué simultanément avec les calculs d'attention, masquant ainsi la latence de communication.

Principales contributions

Cadre APB-V : L'introduction d'un cadre de parallélisme de séquence qui utilise la compression locale du cache KV et l'attention approximative distribuée. Cela établit un équilibre entre efficacité et performance en évitant la compression d'entrée tout en réduisant le calcul.
Optimisations système : La conception d'une stratégie d'équilibrage de charge et d'un mécanisme d'attention en deux étapes où la communication se superpose parfaitement au calcul, libérant ainsi pleinement le potentiel de l'inférence multi-GPU.
Évaluation exhaustive : Des tests approfondis démontrant qu'APB-V offre le meilleur compromis entre performance et efficacité par rapport aux bases de comparaison existantes.

Résultats expérimentaux

Les auteurs ont évalué APB-V sur LongVideoBench et VNBench en utilisant des modèles tels qu'InternVL3-2B, Qwen2.5VL-3B et Qwen2.5VL-7B.

Performance : APB-V atteint une précision quasi identique à l'attention complète (FULLATTN). Il surpasse les autres méthodes d'attention approximative (comme APB, STARATTN, XATTN) et les méthodes d'élagage de jetons (SLOWFAST), qui souffrent de chutes de précision significatives (par exemple, SLOWFAST chute d'environ 25 %).
Accélération : APB-V délivre des accélérations substantielles par rapport aux références :
- 12,72× plus rapide que FLASHATTN.
- 1,70× plus rapide que ZIGZAGRING.
- 1,18× plus rapide que APB.
  Ces gains sont particulièrement observés dans les scénarios de haute résolution (1440p) et de vidéos longues.
Scalabilité : Le cadre maintient une précision de tâche stable à travers différents nombres d'hôtes ( $H \in \{2, 4, 6, 8\}$ ) et démontre une robustesse même lorsque la communication inter-groupes est limitée par les goulots d'étranglement d'InfiniBand (IB), affichant la plus faible baisse de performance par rapport aux autres méthodes.

Signification et affirmations

L'article affirme qu'APB-V offre une voie prometteuse pour la compréhension de vidéos longues en augmentant la puissance de calcul tout en supprimant la complexité quadratique. En distribuant l'attention approximative sur plusieurs GPU, le cadre permet de traiter davantage d'embeddings visuels sans nécessiter de compression, préservant ainsi les détails fins de la vidéo qui sont souvent perdus dans les approches d'élagage de jetons.

Les auteurs soulignent qu'APB-V est spécifiquement conçu pour les scénarios contraints par le temps de bout en bout (Temps jusqu'au premier jeton, TTFT), tels que la surveillance et la conduite autonome, où l'inférence sur un seul GPU est irréalisable en raison du volume massif de jetons générés par les vidéos longues. Le travail démontète qu'avec un parallélisme et des optimisations système bien conçus, il est possible d'obtenir une accélération significative sans le compromis habituel de dégradation des performances du modèle.

Limites : Les auteurs notent qu'APB-V est actuellement restreint aux LMM basés sur des transformateurs de type décodeur seul et à l'inférence multi-GPU. Il n'est pas compatible avec les réseaux convolutifs et, sur un seul GPU, il dégénère en un FlashAttention standard, n'offrant aucun avantage.