💻 computer science

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

EviSelect ist ein feingranulares, dynamisches visuelles Selektionsframework, das die internen Attention-Evidenzen eines Ziel-MLLM mittels spärlicher Prefilling-Verfahren nutzt, um eine optimierte stochastische Policy zu steuern, was eine adaptive spatiotemporale Abtastung ermöglicht, die die Rechenkosten signifikant reduziert und das Verständnis langer Videos beschleunigt, während gleichzeitig eine überlegene Performance beibehalten wird.

Ursprüngliche Autoren: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

Veröffentlicht 2026-08-07

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, einen Film anzusehen und Fragen dazu zu beantworten. Dieser Roboter, bekannt als Multimodales Großes Sprachmodell (oder kurz MLLM), ist unglaublich talentiert darin, Bilder und Wörter zu verstehen. Es gibt jedoch einen Haken: Filme sind lang, und Roboter haben ein begrenztes „Kurzzeitgedächtnis“. Wenn man dem Roboter einen gesamten zweistündigen Film Bild für Bild einspeist, wird er überfordert, vergisst die wichtigen Teile und verschwendet eine enorme Menge an Energie bei der Verarbeitung langweiliger, repetitiver Szenen wie einer langsamen Kamerafahrt über eine statische Wand. Um dies zu beheben, versuchen Wissenschaftler, den Roboter zu einem besseren Editor auszubilden, der nur die wichtigsten Momente auswählt, um sie anzusehen. Aber die alte Art des Editierens war wie ein starres, vorgefertigtes Skript: Sie verließ sich auf externe Werkzeuge, um zu erraten, was interessant sei, wobei oft die subtilen Hinweise übersehen wurden, die der Roboter tatsächlich zur Lösung des Rätsels benötigt hätte.

Hier kommt ein neuer Ansatz namens EviSelect ins Spiel. Betrachten Sie EviSelect nicht als starren Editor, sondern als neugierigen Detektiv, der lernt, in den Geist des Roboters zu lesen. Anstatt einen externen Experten zu fragen, worauf man achten soll, späht EviSelect in die internen „Attention Maps“ (Aufmerksamkeitskarten) des Roboters – im Grunde eine Heatmap, die zeigt, auf welche Teile des Videos das Gehirn des Roboters ganz natürlich fokussiert. Durch einen cleveren Trick namens „Sparse Prefilling“ (was so etwas wie das Erstellen einer schnellen, niedrig aufgelösten Momentaufnahme des gesamten Films ist, um ein allgemeines Gefühl zu bekommen) findet EviSelect genau heraus, wo die Action stattfindet, wie schnell sich Dinge bewegen und wie viel Detailtiefe benötigt wird. Es lehrt dann einen leichtgewichtigen „Selector“, drei kluge Entscheidungen für jeden Moment im Video zu treffen: Sollten wir diese Szene behalten? Wie viele Frames sollten wir hier zeigen? Und wie klar sollte das Bild sein?

Die Ergebnisse wirken wie Magie für die Effizienz. In Tests zu drei verschiedenen Langzeitvideo-Herausforderungen gelang es EviSelect, Fragen genauso gut oder sogar besser als bestehende Methoden zu beantworten, tat dies jedoch, indem es etwa 50 % weniger visuelle Token (die digitalen Bausteine des Videos) verwendete. Diese massive Reduktion der Daten sparte nicht nur Speicherplatz; sie machte den gesamten Prozess 3,9 Mal schneller. Das Paper legt nahe, dass, indem wir den internen Beweisen des Roboters folgen lassen, anstatt uns auf starre Regeln oder externe Ratgeber zu verlassen, wir Video-Verständnissysteme bauen können, die sowohl unglaublich intelligent als auch überraschend effizient sind.

Das Problem: Der „Zu viele Informationen“-Engpass

Lange Videos sind ein Albtraum für die heutige KI. Wenn man einem Roboter sagt, er solle ein 30-minütiges Video ansehen und eine Frage dazu beantworten, steht er vor einem Dilemma. Er kann sich nicht an alles erinnern, also versucht er, die „Keyframes“ (Schlüsselbilder) herauszuwählen – die wichtigsten Momente. Aber die alten Methoden zur Auswahl dieser Frames waren fehlerhaft. Sie waren wie ein Filmeditor, der Szenen nur basierend auf der Lautstärke der Musik oder der Helligkeit der Farben schneidet und dabei die eigentliche Geschichte ignoriert. Diese Methoden nutzten externe Werkzeuge (wie eine separate KI, die Ähnlichkeiten bewertet), um zu entscheiden, was man behält. Das Problem? Dieses externe Werkzeug weiß nicht, was der Hauptroboter gerade denkt. Es könnte eine spektakuläre Explosion hervorheben, während der Roboter eigentlich eine leise Konversation gesehen hätte, um das Rätsel zu lösen.

Darüber hinaus waren diese alten Methoden „starr“. Sie behandelten jedes Video auf die gleiche Weise, indem sie eine feste Anzahl von Frames in einer festen Größe auswählten. Das ist so, als würde man versuchen, ein Buch zu lesen, indem man sich jedes einzelne Zeichen ansieht, selbst die Leerzeichen zwischen den Wörtern, unabhängig davon, ob der Satz einfach oder komplex ist. Das verschwendet Energie bei langweiligen Teilen und übersieht die Nuancen in den spannenden Teilen.

Die Lösung: Den Geist des Roboters lesen

Die Autoren dieses Papers, Bo Zhang und sein Team, schlugen einen neuen Rahmen namens EviSelect vor. Anstatt zu raten, was der Roboter braucht, fragt EviSelect den Roboter direkt.

So funktioniert es, Schritt für Schritt:

Der „Sparse Prefill“-Trick: Bevor der Roboter das vollständige Video sieht, gibt EviSelect ihm eine winzige, komprimierte Version des Films. Es ist, als würde man dem Roboter eine Serie schneller, verschwommener Thumbnails des gesamten Films zeigen. Das ist kostengünstig und schnell.
Die „Attention“-Hinweise: Obwohl das Video verschwommen und kurz ist, leuchtet das Gehirn des Roboters immer noch in spezifischen Bereichen auf. EviSelect erfasst diese „Attention Maps“. Es bricht sie in drei Arten von Hinweisen auf:
- Relevanz: Passt dieser Moment zur Frage?
- Zeit: Wie verbindet sich dieser Moment mit den vorangegangenen und nachfolgenden?
- Raum: Ist hier viel Detail nötig, oder ist es ein einfacher Hintergrund?
Der Smart Selector: Eine kleine, leichtgewichtige KI (der „Selector“) betrachtet diese Hinweise und trifft drei dynamische Entscheidungen für jeden Zeitstempel des Videos:
- Behalten oder Verwerfen: Sollen wir diesen Moment überhaupt ansehen?
- Sampling-Rate: Wenn wir ihn ansehen, brauchen wir 1 Frame, 4 Frames oder 8 Frames pro Sekunde? (Schnelle Action braucht mehr Frames; eine langsame Szene braucht weniger).
- Auflösung: Brauchen wir ein 4K-Bild oder reicht eine niedrig aufgelöste Skizze? (Ein klares Gesicht braucht hohe Auflösung; ein dunkler Flur vielleicht nicht).

Das Training: Lernen durch „Gruppenvergleich“

Wie bringt man einem Roboter bei, solche blitzschnellen Editing-Entscheidungen zu treffen? Die Autoren verwendeten eine Technik namens GRPO (Group Relative Policy Optimization). Stellen Sie sich eine Spielshow vor, in der der Roboter versucht, ein Video auf acht verschiedene Arten gleichzeitig zu editieren. Das System prüft dann, welche Version die richtige Antwort geliefert hat. Wenn eine Version die Antwort richtig gegeben hat und dabei weniger Pixel verwendet hat, erhält sie eine große Belohnung. Wenn sie die Antwort richtig gegeben hat, aber zu viele Pixel verwendet hat, erhält sie eine kleinere Belohnung. Wenn sie die Antwort falsch gegeben hat, erhält sie gar keine Belohnung, selbst wenn sie effizient war.

Dieser „Gruppenvergleich“ lehrt den Roboter, das perfekte Gleichgewicht zu finden: die Antwort richtig zu geben und dabei die absolut minimale Menge an visuellen Daten zu verwenden.

Die Ergebnisse: Schneller, Schlauer, Schlanker

Das Paper testete EviSelect auf drei großen Benchmarks: MLVU, LongVideoBench und Video-MME. Dies sind quasi die „Olympia-Spiele“ für das Verständnis langer Videos, die Filme, Überwachungsaufnahmen und komplexe Erzählungen beinhalten.

Die Ergebnisse waren beeindruckend:

Genauigkeit: EviSelect erreichte eine State-of-the-Art-Leistung und schlug bestehende Methoden wie TSPO und Q-Frame. Beispielsweise verbesserte es die Genauigkeit auf dem Video-MME-Benchmark um 1,9 % im Vergleich zum bisherigen Bestwert.
Effizienz: Es verwendete im Durchschnitt nur 1.701 visuelle Token, während die bisher besten Methoden etwa 3.360 verwendeten. Das ist eine Reduktion der Daten um 49 %.
Geschwindigkeit: Da weniger Daten verarbeitet werden, sank die End-to-End-Zeit von fast 10 Sekunden auf nur 2,55 Sekunden. Das ist eine 3,9-fache Beschleunigung.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass der Schlüssel zum Verständnis langer Videos nicht darin besteht, einfach mehr Rechenleistung auf das Problem zu werfen, sondern darin, klüger zu entscheiden, worauf wir schauen. Indem EviSelect die eigenen internen „Beweise“ des Roboters nutzt anstatt externer Ratgeber, passt es sich dem einzigartigen Rhythmus jedes Videos an.

Die Autoren weisen jedoch vorsichtig auf die Grenzen hin. Da EviSelect aus der spezifischen internen Aufmerksamkeit des Roboters lernt, funktioniert es möglicherweise nicht perfekt, wenn man es ohne erneutes Training auf einen völlig anderen Typ von Roboter überträgt. Außerdem benötigt diese Methode Zugriff auf das interne „Gehirn“ (die Attention Maps) des Roboters, wessoeben sie nicht für Closed-Source-Modelle („Black Box“-Modelle) verwendet werden kann, bei denen diese Informationen verborgen sind.

Kurz gesagt: EviSelect beweist, dass, wenn man einer KI beibringt, ihren eigenen Instinkten darüber zu vertrauen, was wichtig ist, sie einen Film ansehen, die Hinweise finden und das Rätsel mit der Hälfte des Aufwands und vierfacher Geschwindigkeit lösen kann.

Technisches Resümee: EviSelect – Evidenzgesteuerter dynamischer visueller Selektor für effizientes Verständnis langer Videos

Problemstellung

Das Verständnis von Langzeitvideos mittels Multimodaler Large Language Models (MLLMs) steht vor erheblichen Engpässen aufgrund begrenzter Kontextfenster und der Verdünnung der Aufmerksamkeit (Attention Dilution). Bestehende Ansätze versuchen, die Rechenkosten und Kontextbeschränkungen durch die Auswahl abfragespezifischer Frames zu mildern. Aktuelle Methoden leiden jedoch unter drei kritischen Einschränkungen:

Objektive Fehlbelegung (Objective Misalignment): Sie verlassen sich auf externe Proxy-Scorer (z. B. CLIP, DINOv2) und starre heuristische Regeln. Diese Proxies spiegeln zwar semantische Relevanz wider, versäumen es jedoch, mit den intrinsischen Evidenzanforderungen des Ziel-MLLM übereinzustimmen, wodurch subtile, aber entscheidende visuelle Hinweise oft übersehen werden.
Statisches Frame-Retrieval: Die meisten Methoden behandeln die Keyframe-Selektion als isoliertes Problem, anstatt eine abfragespezifische Belief-Distribution über kontinuierliche zeitliche Trajektorien zu modellieren. Dies führt zu temporal myopen (kurzsichtigen) Selektionen, die sich zu stark auf saliente Segmente konzentrieren, während sie spärlich verteilte, aber kritische Ereignisse übersehen.
Starre spatiotemporale Konfiguration: Bestehende Paradigmen nutzen typischerweise einen „Einheitsansatz“ (One-size-fits-all), bei dem eine feste Anzahl von Frames mit einer festen räumlichen Auflösung ausgewählt wird. Dies kann der nicht-uniformen spatiotemporalen Informationsdichte, die in langen Videos inhärent ist, nicht gerecht werden, was zu einer ineffizienten Ressourcenallokation führt.

Methodik: EviSelect

Die Autoren schlagen EviSelect vor, ein feingranulares dynamisches visuelles Selektionsframework, das die Keyframe-Selektion als distributionsbewusste dynamische Sampling-Policy umformuliert, die durch die interne Evidenz des Ziel-MLLM gesteuert wird. Das Framework operiert in drei Phasen:

1. Evidenz-Fundamentierung via Sparse Prefilling

Anstatt externe Proxies zu verwenden, extrahiert EviSelect endogene Evidenz direkt aus den Attention-Maps des Ziel-MLLM.

Sparse Prefilling: Das Video wird in temporale Segmente mit Anker-Frames unterteilt. Diese Anker sind hochgradig komprimiert (räumlich herunterskaliert) und werden mittels Block-Sparse-Attention durch das Ziel-MLLM verarbeitet. Dies ermöglicht eine effiziente Approximation der Attention-Maps bei geringem Rechenaufwand.
Evidenz-Dekomposition: Die resultierenden Attention-Maps werden ohne Retraining oder lernbare Parameter in drei komplementäre Cues zerlegt:
- Abfrage-Frame-Relevanz ( $A_{qf}$ ): Leitet die Entscheidung, einen Zeitstempel zu behalten oder zu verwerfen.
- Cross-Frame Temporale Abhängigkeit ( $A_{ff}$ ): Leitet die lokale Sampling-Rate (wie viele Frames innerhalb eines Segments zu sampeln sind).
- Intra-Frame Räumliche Salienz ( $A_{if}$ ): Leitet die räumliche Auflösung der gesampelten Frames.

2. Distributionsbewusste Dynamische Stichprobenentnahme (Dynamic Sampling)

Ein leichtgewichtiger Selektor (0,1 Mrd. Parameter) nimmt die dekomponierten Evidenz-Cues als Input entgegen. Er sagt drei feingranulare Policy-Distributionen für jeden Zeitstempel voraus:

Retention-Entscheidung ( $z_t$ ): Ob der Zeitstempel beibehalten oder verworfen wird.
Lokale Sampling-Rate ( $\rho_t$ ): Die Anzahl der Frames, die gleichmäßig aus dem entsprechenden temporalen Segment zu sampeln sind.
Räumliche Auflösung ( $\lambda_t$ ): Die Auflösung, auf die die gesampelten Frames skaliert werden sollen.
Die gemeinsame Policy wird als Produkt dieser kategorialen Distributionen formuliert, was die Generierung eines multi-skaligen visuellen Inputs ( $V_s$ ) ermöglicht, der auf die Informationsdichte des Videos zugeschnitten ist.

3. Policy-Optimierung mit GRPO

Der Selektor wird mittels Group Relative Policy Optimization (GRPO) optimiert.

Belohnungsfunktion (Reward Function): Die Belohnung kombiniert einen Leistungs-Term (binäre Genauigkeit der Antwort des MLLM) und einen Effizienz-Term (gewichtete Kombination aus Reduktion der Retention und Reduktion der Token-Kosten).
Optimierungsstrategie: Um zu verhindern, dass die Policy die Kosten lediglich auf Kosten der Genauigkeit minimiert, wird die Effizienz-Belohnung nur aktiviert, wenn die Gruppe der gesampelten Kandidaten mindestens eine korrekte Antwort enthält. Die Policy wird durch Maximierung des gruppenrelativen Vorteils aktualisiert, was eine dynamische Allokation der Rechenleistung entsprechend der intrinsischen Informationsdichte des Videos fördert.

Kernbeiträge

EviSelect-Framework: Ein neuartiges Framework, das die Keyframe-Selektion als distributionsbewusste dynamische Sampling-Policy umformuliert, die durch die interne Attention-Evidenz des Ziel-MLLM statt durch externe Proxies gesteuert wird.
Sparse Evidence Probing & Selektor: Ein Mechanismus zur schnellen Approximation von Attention-Priors via Sparse Prefilling sowie ein leichtgewichtiger Selektor, der feingranulare spatiotemporale Sampling-Policies (Retention, Rate und Auflösung) vorhersagt.
Effizienz und Performance: Umfangreiche Experimente zeigen, dass die Methode eine State-of-the-Art-Performance erreicht und gleichzeitig den Rechenaufwand signifikant reduziert.

Experimentelle Ergebnisse

Die Methode wurde auf drei Benchmarks evaluiert: MLVU, LongVideoBench und Video-MME, wobei LLaVA-Video-7B und Qwen2.5-VL-7B als Ziel-MLLMs dienten.

Performance: EviSelect erzielte eine überlegene Performance im Vergleich zu bestehenden Methoden (einschließlich TSPO und Q-Frame). Beispielsweise verbesserte es bei LLaVA-Video-7B die Genauigkeit auf Video-MME um 1,9 %, auf MLVU um 0,9 % und auf LongVideoBench um 0,7 % im Vergleich zu TSPO.
Effizienz: Die Methode reduzierte die durchschnittliche Anzahl der selektierten visuellen Tokens um etwa 50 % (z. B. von 3.360 auf 1.701 Tokens für LLaVA-Video-7B) und erreichte eine 3,9-fache End-to-End-Beschleunigung.
Ablationsstudien:
- Komponenten: Die Kombination aus Retention, adaptiver Frame-Sampling-Rate und adaptiver räumlicher Auflösung lieferte die besten Ergebnisse, was bestätigt, dass die orthogonale Dimensionsreduktion effektiv ist.
- Evidenzquelle: Selektoren, die auf internen Sparse-Prefill-Priors trainiert wurden, übertrafen jene, die auf CLIP oder zufälligen Priors trainiert wurden, signifikant, was die Bedeutung der MLLM-intrinsischen Evidenz validiert.
- Transferierbarkeit: Während der Selektor eine gewisse Cross-Backbone-Transferierbarkeit zeigte, war die Performance am besten, wenn der Selektor und das MLLM denselben Backbone teilten, was auf eine partielle Backbone-Abhängigkeit hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass EviSelect den kritischen Engpass bei der Extraktion entscheidender Evidenz aus extrem langen Kontexten adressiert, indem es die Sampling-Strategie an die intrinsischen Anforderungen des Ziel-MLLM anpasst. Durch die Abkehr von starren Heuristiken und externen Proxies allokiert die Methode Rechenressourcen dynamisch basierend auf der tatsächlichen Informationsdichte des Videos. Die Autoren behaupten, dass dieser evidenzgesteuerte Ansatz nicht nur die Genauigkeit beim Verständnis langer Videos verbessert, sondern auch die Inferenzlatenz und den Token-Verbrauch drastisch reduziert, was die Verarbeitung langer Videos für aktuelle MLLM-Architekturen praktikabler macht.

Eingeständliche Limitationen: Die Autoren merken an, dass, da die Evidenz-Priors aus der internen Attention des Ziel-MLLM extrahiert werden, die Generalisierung auf andere MLLMs begrenzt ist. Des Weiteren ist die Methode nicht auf Closed-Source-Modelle anwendbar, bei denen die internen Attention-Mechanismen nicht zugänglich sind.