💬 NLP

APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention

ABP-V ist ein sequenzparalleles Framework, das die Inferenz bei Langzeitvideos in Large Multimodal Models beschleunigt, indem es approximative Aufmerksamkeit über mehrere GPUs verteilt und dabei signifikante Geschwindigkeitssteigerungen gegenüber bestehenden Methoden erzielt, ohne visuelle Kompression zu erfordern oder die Leistung zu beeinträchtigen.

Ursprüngliche Autoren: Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek mit Videoclips und möchten, dass ein superintelligenter KI-Assistent sie alle ansieht und eine spezifische Frage beantwortet, wie zum Beispiel: „Was war das Geheimwort, das im Auto geflüstert wurde?“

Das Problem ist, dass diese Videos so lang und detailreich sind, dass die KI überfordert wird. Es ist, als würde man einen einzelnen Bibliothekar bitten, jede einzelne Seite von einer Million Büchern auf einmal zu lesen, um einen einzigen Satz zu finden. Dieser Prozess ist langsam, teuer und zwingt den Bibliothekar oft dazu, Seiten zu überspringen (zusammenzufassen), nur um fertig zu werden – was bedeutet, dass er wichtige Details übersehen könnte.

Dieses Paper stellt APB-V vor, eine neue Art, die „Bibliothekar“ (Computer) zu organisieren, damit sie diese langen Videos gemeinsam, schnell und ohne etwas zu übersehen anschauen können.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das alte Problem: Der Flaschenhals des „einzelnen Bibliothekars“

Derzeit muss eine KI, wenn sie ein langes Video betrachtet, jeden einzelnen Frame verarbeiten. Wenn das Video eine Auflösung von 1440p (High Definition) hat und viele Frames besitzt, ist die Menge der Daten gewaltig.

Der Flaschenhals: Es ist, als würde man versuchen, einen ganzen Ozean in eine einzige Tasse zu füllen. Der Computer geht der Speicher aus oder braucht eine Ewigkeit für die Berechnungen.
Die alte Lösung: Um es schneller zu machen, hat man die KI früher angewiesen: „Schau einfach nur jeden 10. Frame an“ oder „Wirf die unscharfen Teile weg“.
Der Nachteil: Das ist so, als würde man ein Buch lesen, aber jede zweite Seite überspringen. Man wird zwar schneller fertig, aber man übersieht vielleicht den Plot-Twist oder das Geheimwort. Die KI wird dadurch zwar schneller, aber auch „dümmer“.

2. Die neue Lösung: APB-V (Das „Team von Bibliothekaren“)

APB-V verändert die Spielregeln, indem es mehrere Computer (GPUs) nutzt, die zusammenarbeiten – wie ein Team von Bibliothekaren, die sich eine massive Aufgabe teilen. Aber anstatt die Bücher einfach nur wahllos aufzuteilen, nutzen sie eine clevere Strategie namens Sequenz-Parallelismus.

Stellen Sie sich das Video wie einen langen Zug aus Waggons vor.

Frame-Parallelismus: Zuerst teilt das Team die Videoframes auf. Ein Bibliothekar schaut sich die Waggons 1–10 an, ein anderer 11–20 und so weiter. Alle beginnen gleichzeitig mit dem Anschauen.
Der „Anker“- und „Weitergabe“-Trick: Hier liegt der Clou. In einem normalen Team müsste Bibliothekar A, wenn er wissen will, was Bibliotheker B vor 10 Minuten gesehen hat, kurz innehalten und durch den Raum rufen. Das kostet Zeit.
- Der APB-V-Trick: Anstatt alles laut zu rufen, ruft Bibliothekar A nur die wichtigsten Teile (die „Passing Blocks“) den anderen zu. Sie behalten einen kleinen, permanenten „Anker“ vom Anfang des Videos.
- Das Ergebnis: Sie müssen nicht das ganze Video hin und her schicken. Sie senden lediglich den „Highlight-Reel“ dessen, was wirklich wichtig ist. Das spart eine enorme Menge an Zeit und Datenverkehr.

3. Lastverteilung (Die „ZigZag“-Strategie)

Wenn man die Arbeit einfach nur gleichmäßig aufteilt, könnten einige Bibliothekare die schwere Arbeit erledigen (komplexe Szenen berechnen), während andere leichte Aufgaben haben.

Die Lösung: APB-V nutzt ein ZigZag-Muster. Stellen Sie sich vor, die Bibliothekare sind in einer Reihe aufgestellt. Der erste Bibliothekar bekommt den ersten und den letzten Block, der zweite den zweiten und den vorletzten Block, und so weiter.
Warum? Dies stellt sicher, dass jeder ein etwa gleiches Maß an „Denkarbeit“ zu leisten hat, sodass niemand auf den langsamsten Teilnehmer warten muss.

4. Die Ergebnisse: Schnell und Präzise

Die Autoren haben dies an riesigen Videos getestet (wie z. B. 64 Frames mit 1440p-Auflösung).

Geschwindigkeit: Es war 12,7-mal schneller als die aktuelle Standardmethode (FlashAttention).
Genauigkeit: Im Gegensatz zu den alten Methoden, die Seiten übersprangen und dadurch falsche Antworten lieferten, behielt APB-V alle visuellen Details bei. Es lieferte genauso korrekte Antworten, als hätte es das ganze Video langsam angeschaut, tat dies jedoch in einem Bruchteil der Zeit.

Zusammenfassung

APB-V ist wie die Organisation eines Expertenteams, um ein Marathon-Video anzusehen. Anstatt dass eine einzelne Person versucht, jede Seite zu lesen, oder alle Seiten überspringen, um schnell fertig zu werden, teilt das Team die Arbeit auf, teilt nur die kritischen Highlights und balanciert die Last perfekt aus. Das Ergebnis ist, dass sie die Antwort super schnell finden, ohne auch nur ein einziges wichtiges Detail zu übersehen.

Das Paper behauptet, dass dies speziell für das Verständnis langer Videos auf mehreren Computern (wie in Rechenzentren für Überwachung oder autonomes Fahren) entwickelt wurde, und dass es auf einem einzelnen Computer nicht funktioniert, da die Magie auf der Teamleistung beruht.

Technisches Resümee: APB-V

Problemstellung

Die Effizienz der Inferenz bei Langzeitvideos in Large Multimodal Models (LMMs) bleibt ein kritischer Engpass. Mit zunehmender Videodauer steigt die Anzahl der Frames, was zu einer größeren Batch-Größe für den visuellen Encoder führt und die Anzahl der generierten visuellen Embeddings signifikant erhöht. Da die Attention-Layer in LLM-Backbones eine quadratische Komplexität ( $O(n^2)$ ) in Bezug auf die Eingabelänge aufweisen, verlängern diese zusätzlichen Embeddings die Eingabesequenz drastisch, was die Inferenzgeschwindigkeit verlangsamt und die Rechenkosten erhöht.

Bestehende Lösungen lassen sich im Allgemeinen in zwei Kategorien unterteilen, die beide vor Einschränkungen stehen:

Intrinsische Attention-Optimierung: Methoden, die den Attention-Mechanismus optimieren oder die Key-Value (KV)-Cache-Größe innerhalb des LLMs reduzieren. Diese adressieren nicht die Rechenkosten des visuellen Encoders und der Feed-Forward-Netzwerke (FFNs).
Explizite Reduktion der Eingabe: Methoden, die visuelle Embeddings durch Token-Pruning oder Pooling komprimieren. Obwohl diese effektiv bei der Reduzierung der Sequenzlänge sind, führen diese Ansätze oft zum Verlust feingranularer Videodetails (z. B. ein Genauigkeitsabfall von ~25 % in einigen Fällen) und erzielen keine zufriedenstellenden Effizienzgewinne, ohne die Qualität zu beeinträchtigen.

Single-GPU-Ansätze haben Schwierigkeiten, den Effizienz-Leistungs-Trade-off zu überwinden, was eine Skalierungsdimension erforderlich macht, die mehrere GPUs nutzt und gleichzeitig die quadratische Komplexität unterdrückt.

Methodik: APB-V

Die Autoren schlagen APB-V vor, ein auf Sequenzparallelismus ausgerichtetes approximatives Attention-Framework, das darauf ausgelegt ist, die Langzeitvideo-Inferenz über mehrere GPUs (Hosts) hinweg zu beschleunigen. Das Framework integriert drei Kernkomponenten:

1. Framework-Design

Frame-Parallelismus: Inspiriert von LONGVILA verarbeitet der visuelle Encoder Videoframes unabhängig. APB-V verteilt diese Frames über mehrere Hosts, um die hohe Rechenintensität zu bewältigen.
Kontext-Splitting & ZigZag-Anordnung: Die Eingabe-Embeddings werden in einen Anchor-Block ( $B_a$ ), einen Query-Block ( $B_{qr}$ ) und Kontext-Blöcke ( $B^{(h)}$ ) unterteilt. Um das Ungleichgewicht in Decoder-only-Modellen zu adressieren, bei denen frühere Token auf mehr Kontext als spätere Tokens aufmerksam sind, verwendet APB-V eine ZigZag-Stil-Anordnung. Diese bildet physische Hosts auf Paare virtueller Hosts ab (z. B. Host $h$ und $2H-1-h$ ), um eine ausgewogene Attention-Rechenlast zu gewährleisten.
Approximativer Attention-Mechanismus: Anstatt die dichte Attention über alle Tokens zu berechnen, verwendet APB-V eine lokale KV-Cache-Kompressionsstrategie:
- Anchor-Block: Ein fester initialer Segment der Embeddings.
- Passing Blocks: Für jeden Host werden die wesentlichsten Key-Value-Paare aus vorherigen Hosts mittels Query-to-Context-Attention-Scores identifiziert und in "Passing Blocks" aggregiert.
- Berechnung: Die Attention wird über den Anchor, den lokalen Kontext, die aggregierten Passing Blocks und die Query berechnet. Entscheidend ist, dass der vollständige Satz an visuellen Embeddings erhalten bleibt (keine Eingabereduktion), aber die Cross-Host-Kommunikation auf die wesentlichen KV-Paare komprimiert wird.

2. Systemseitige Optimierungen

Um die Effizienz zu maximieren, beinhaltet APB-V vier spezifische Systemoptimierungen:

Visuelle Lastverteilung: Frames werden gleichmäßig über virtuelle Hosts verteilt, um Engpässe in der Phase der visuellen Kodierung zu verhindern.
Fusionierter Context- und Query-Forward-Pass: Im Gegensatz zu bisherigen Methoden, die Kontext und Query separat verarbeiten (was bei kurzen Queries oft speichergebunden ist), fusioniert APB-V diese in einen einzigen Forward-Pass und führt die partiellen Query-Ergebnisse unter Verwendung der lse (Log-Sum-Exp)-Outputs von FlashAttention zusammen.
Approximative Attention-Lastverteilung: Die ZigZag-Abbildung stellt sicher, dass die Gesamtlänge der Passing Blocks über die physischen Hosts hinweg ausgeglichen ist, um ungleiche Arbeitslasten zu vermeiden.
Überlappende Kommunikation: Der Transfer von Passing Blocks und partiellen Query-Attention-Ergebnissen erfolgt gleichzeitig mit den Attention-Berechnungen, um die Kommunikationslatenz zu verbergen.

Wichtigste Beiträge

APB-V Framework: Die Einführung eines Sequenzparallel-Frameworks, das lokale KV-Cache-Kompression und verteilte approximative Attention nutzt. Dies schafft ein Gleichgewicht zwischen Effizienz und Leistung, indem es die Eingabe nicht komprimiert, aber die Berechnung reduziert.
Systemoptimierungen: Das Design einer Lastverteilungsstrategie und eines zweistufigen Attention-Mechanismus, bei dem die Kommunikation perfekt mit der Berechnung überlappt, was das Potenzial der Multi-GPU-Inferenz erheblich ausschöpft.
Umfassende Evaluierung: Umfangreiche Benchmarks zeigen, dass APB-V im Vergleich zu bestehenden Baselines den besten Trade-off zwischen Leistung und Effizienz erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten APB-V auf LongVideoBench und VNBench unter Verwendung von Modellen wie InternVL3-2B, Qwen2.5VL-3B und Qwen2.5VL-7B.

Leistung: APB-V erreicht eine nahezu verlustfreie Genauigkeit im Vergleich zu Full Attention (FULLATTN). Es übertrifft andere approximative Attention-Methoden (wie APB, STARATTN, XATTN) sowie Token-Pruning-Methoden (SLOWFAST), die unter signifikanten Genauigkeitsverlusten leiden (z. B. fällt SLOWFAST um ~25 %).
Beschleunigung: APB-V liefert erhebliche Beschleunigungen gegenüber den Baselines:
- 12,72× schneller als FLASHATTN.
- 1,70× schneller als ZIGZAGRING.
- 1,18× schneller als APB.
- Diese Gewinne werden insbesondere in hochauflösenden (1440p) und Langzeitvideo-Szenarien beobachtet.
Skalierbarkeit: Das Framework behält eine stabile Aufgaben-Genauigkeit über verschiedene Host-Anzahlen ( $H \in \{2, 4, 6, 8\}$ ) bei und zeigt Robustheit selbst dann, wenn die Inter-Group-Kommunikation durch InfiniBand (IB)-Engpässe begrenzt ist, wobei es den geringsten Leistungsabfall im Vergleich zu anderen Methoden aufweist.

Bedeutung und Ansprüche

Das Paper behauptet, dass APB-V einen vielversprechenden Weg für das Verständnis von Langzeitvideos bietet, indem es die Rechenleistung skaliert und gleichzeitig die quadratische Komplexität unterdrückt. Durch die Verteilung der approximativen Attention über mehrere GPUs ermöglicht das Framework die Verarbeitung von mehr visuellen Embeddings ohne die Notwendigkeit der Kompression, wodurch die feingranularen Videodetails bewahrt werden, die bei Token-Pruning-Ansätzen oft verloren gehen.

Die Autoren betonen, dass APB-V speziell für Szenarien konzipiert ist, die durch die End-to-End-Zeit (Time-to-First-Token, TTFT) begrenzt sind, wie etwa Überwachung und autonomes Fahren, wo eine Single-GPU-Inferenz aufgrund des enormen Volumens an generierten Tokens bei Langzeitvideos nicht praktikabel ist. Die Arbeit zeigt, dass es mit gut gestalteter Parallelität und Systemoptimierungen möglich ist, eine signifikante Beschleunigung ohne den typischen Trade-off eines degradierten Modell-Performances zu erreichen.

Einschränkungen: Die Autoren merken an, dass APB-V derzeit auf Decoder-only Transformer-basierte LMMs und Multi-GPU-Inferenz beschränkt ist. Es ist nicht mit Convolutional Networks kompatibel, und auf einer Single-GPU degeneriert es zu Standard-FlashAttention, wodurch kein Vorteil entsteht.