🤖 AI

GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs

GridProbe führt ein trainingsfreies, adaptives Paradigma für die Berechnung zur Laufzeit für Langvideo-VLMs ein, das eine posteriori-Abtastung auf einem Bildraster nutzt, um interpretierbare Wichtigkeitskarten zu erzeugen, wodurch eine dynamische Bildauswahl ermöglicht wird, die die Rechenkosten erheblich senkt und gleichzeitig die Genauigkeit bei komplexen Schlussfolgerungsaufgaben beibehält oder verbessert.

Ursprüngliche Autoren: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen 2-stündigen Film und einen sehr intelligenten KI-Assistenten, der eine spezifische Frage dazu beantworten muss. Der alte Weg, dies zu tun, bestand darin, der KI den gesamten Film, Bild für Bild, auf einmal zuzuführen. Es ist, als würde man einen Schüler bitten, ein 500-seitiges Lehrbuch an einem Stück zu lesen, nur um eine einzige Frage über Seite 42 zu beantworten. Es ist langsam, teuer, und die KI wird von allen irrelevanten Details überwältigt.

GridProbe ist eine neue, intelligentere Methode, um dies zu handhaben. Anstatt das ganze Buch zu lesen, agiert es wie eine geschickte Bibliothekarin, die schnell das Inhaltsverzeichnis und einige Schlüsselkapitel durchsucht, um genau herauszufinden, wo die Antwort liegt, und liest dann nur diese spezifischen Seiten.

So funktioniert es, aufgeteilt in einfache Schritte:

1. Das Problem: Zu viel Rauschen

Aktuelle Video-KI-Modelle versuchen, Tausende von Bildern in einem einzigen großen „Vorwärtsdurchlauf" zu verarbeiten. Dies ist rechenintensiv (wie der Versuch, einen schweren Felsbrocken zu heben) und zwingt die KI oft dazu, die Bilder zu „blinzeln", um Details zu verlieren und sie alle unterzubringen.

2. Die Lösung: Der „Gitter"-Scan

Anstatt das gesamte Video auf einmal zu betrachten, behandelt GridProbe das Video wie ein riesiges Schachbrett (ein $K \times K$ -Gitter).

Der Sonden-Scan: Es betrachtet nicht jedes einzelne Feld. Stattdessen führt es zwei schnelle, leichte „Scans" durch:
- Zeilen-Scan: Es betrachtet horizontale Streifen des Videos (wie das Lesen einiger Textzeilen).
- Spalten-Scan: Es betrachtet vertikale Streifen (wie das Durchblättern des Videos in regelmäßigen Abständen).
Der „Vertrauens"-Test: Für jeden Streifen fragt es die KI: „Wenn ich Ihnen nur diesen Streifen zeigen würde, wie sicher wären Sie bei der Beantwortung der Frage?"
- Wenn die KI sagt: „Ich bin zu 100 % sicher", wird dieser Streifen als Wichtig markiert.
- Wenn die KI sagt: „Ich habe keine Ahnung", wird dieser Streifen als Unwichtig markiert.

3. Die magische Karte: Das „Gold" finden

Durch die Kombination der Ergebnisse der Zeilen- und Spaltenscans erstellt GridProbe eine Wärmekarte des Videos.

Der Schnittpunkt: Ein bestimmtes Bild gilt nur dann als „super wichtig", wenn sowohl seine Zeile als auch seine Spalte als wichtig markiert wurden.
Das Ergebnis: Dies erzeugt eine Karte, die genau hervorhebt, wo die Antwort verborgen ist, ohne dass die KI den gesamten Film zuvor ansehen muss.

4. Der „Form-verändernde" Budget

Dies ist der cleverste Teil. Die meisten Systeme wählen eine feste Anzahl von Bildern aus, die sie ansehen (z. B. „immer 50 Bilder ansehen").

Der Fehler: Einige Fragen sind einfach und benötigen nur 5 Bilder (z. B. „Welche Farbe hat das Auto?"). Andere sind schwierig und benötigen 100 Bilder (z. B. „Fassen Sie die Handlung des gesamten Films zusammen"). Eine feste Anzahl verschwendet Zeit bei einfachen Fragen und versagt bei schwierigen.
GridProbes Lösung: Es betrachtet die Form der Wärmekarte, die es gerade erstellt hat.
- Spitzige Karte: Wenn die Wärmekarte einige helle, scharfe Spitzen aufweist, weiß die KI, dass die Antwort nur an wenigen Stellen liegt. Sie wählt eine kleine Anzahl von Bildern aus.
- Flache Karte: Wenn die Wärmekarte gleichmäßig verteilt ist, weiß die KI, dass die Antwort überall zu finden ist. Sie wählt eine große Anzahl von Bildern aus.
- Redundante Karte: Wenn die Karte überall hell ist, aber repetitiv aussieht, weiß sie, dass sie eine kleine, repräsentative Stichprobe auswählen kann.

Dies ermöglicht es dem System, seinen eigenen Aufwand basierend darauf anzupassen, wie schwierig die Frage ist, ohne jemals vorher die Antwort zu sehen.

5. Der „Kleines Gehirn, großes Gehirn"-Trick

Die Studie entdeckte auch einen coolen Effizienz-Hack.

Sie können eine winzige, schnelle KI (2 Milliarden Parameter) verwenden, nur um das Scannen und Auswählen der Bilder durchzuführen (der „Selektor").
Dann führen Sie diese ausgewählten Bilder einer viel intelligenteren, größeren KI (4 oder 8 Milliarden Parameter) zu, um die endgültige Antwort zu geben.
Das Ergebnis: Diese Kombination ist schneller und günstiger als die Verwendung der großen KI, um den gesamten Film anzusehen, und ist dennoch genauer als die Verwendung der kleinen KI, um den gesamten Film anzusehen. Es ist, als hätte man einen Junior-Assistenten, der die richtigen Dokumente findet, und einen Senior-Professor, der den endgültigen Bericht schreibt.

Zusammenfassung der Vorteile

Geschwindigkeit: Es benötigt deutlich weniger Rechenleistung (bis zu 3-mal weniger), da es die langweiligen Teile des Videos überspringt.
Genauigkeit: Es verliert keine Genauigkeit; tatsächlich schlägt es bei einigen Tests die alte Methode des „Alles-Ansehens".
Interpretierbarkeit: Sie können die Wärmekarte tatsächlich sehen und verstehen, warum die KI bestimmte Bilder ausgewählt hat. Es ist keine Blackbox; es ist ein transparenter Prozess.

Kurz gesagt, lehrt GridProbe die KI, vor dem Lesen zu überfliegen, passt ihren Aufwand an die Schwierigkeit der Frage an und tut dies, ohne dass zusätzliches Training erforderlich ist.

Technische Zusammenfassung: GridProbe

Problemstellung

Das Verständnis langer Videos in Vision-Language-Modellen (VLMs) wird derzeit durch die Rechenkosten für die Verarbeitung Tausender Einzelbilder in einem einzigen monolithischen Vorwärtsdurchlauf ausgebremst. Dieser Ansatz verursacht quadratische Aufmerksamkeitskosten ( $O(N^2)$ ) relativ zur Sequenzlänge. Während bestehende Minderungsstrategien das Vorwählen einer Teilmenge informativer Einzelbilder ( $M \ll N$ ) vor der Inferenz beinhalten, verlassen sich aktuelle Methoden der „Auswahl im Encoder-Raum" (z. B. MDP3, CLIP-Matching) auf zusätzliche Vision-Text-Encoder. Diese Methoden sind durch die Darstellungskapazität ihres Pretrainings begrenzt und scheitern häufig bei rechenintensiven Abfragen wie Verneinung, zählenden Aufgaben über mehrere Einzelbilder hinweg und ganzheitlicher Zusammenfassung. Darüber hinaus erzwingen bestehende Methoden typischerweise ein statisches Einzelbild-Budget ( $M$ ), was einen Zielkonflikt schafft, bei dem Rechenleistung bei lokalisierten Fragen verschwendet wird oder bei ganzheitlichen Fragen unzureichend ist.

Methodik: GridProbe

GridProbe führt ein training-freies, inferenzbasiertes Paradigma der posterior-Abtastung ein, das die Auswahl von Einzelbildern vom Encoder-Raum in den Antwortraum des VLM verlagert. Die Methode arbeitet in zwei Stufen:

1. Gitterformulierung und Wichtigkeitszuordnung

Anstatt Einzelbilder individuell oder über externe Encoder zu bewerten, behandelt GridProbe den Pool der Kandidatenbilder ( $K^2$ Bilder) als ein konzeptionelles $K \times K$ -Gitter.

Abtastdurchläufe: Das eingefrorene VLM führt $2K$ leichte Durchläufe aus: $K$ Zeilendurchläufe (lokale zeitliche Abdeckung) und $K$ Spaltendurchläufe (gestaffelte, globale Abdeckung). Jeder Durchlauf verarbeitet nur $K$ Einzelbilder.
Posterior-Bewertung: Für jede Zeile $r$ und Spalte $c$ berechnet das Modell eine „Abtastkonfidenz" $c(S, q)$ , definiert als die maximale Posterior-Wahrscheinlichkeit über den Antwortraum $Y$ gegeben die Teilmenge $S$ und die Abfrage $q$ .
Wichtigkeitskarte: Eine abfragekonditionierte Wichtigkeitskarte $M$ wird durch das äußere Produkt der Zeilen- und Spaltenkonfidenzen generiert: $M[r, c] = c_{row}^r \cdot c_{col}^c$ . Diese Karte spiegelt die interne Beweissammlung des VLM wider und erbt dessen volle reasoning-Kapazität.

2. Formadaptive Auswahl

Anstatt ein festes Einzelbild-Budget zu verwenden, leitet GridProbe eine abfrage-spezifische effektive Einzelbildanzahl ( $M_{eff}$ ) basierend auf der statistischen Form der Wichtigkeitskarte ab.

Statistiken zur Verteilungsform: Die Methode berechnet eine Statistik $\sigma(M)$ $σ (M)$ , die die absolute Schiefe und die Exzess-Kurtosis der Verteilung der Wichtigkeitskarte kombiniert.
- Positive Schiefe (Spitze Peaks): Zeigt an, dass wenige entscheidende Einzelbilder die Antwort enthalten.
- Negative Schiefe (Redundanz): Zeigt an, dass viele Einzelbilder informativ, aber überlappend sind; eine kleine Teilmenge genügt.
- Nahezu gleichverteilt: Zeigt an, dass Beweise spärlich und verteilt sind, was eine vollständige Abdeckung erfordert.
Adaptive Regel: Eine geschlossene Regel bildet $\sigma(M)$ auf $M_{eff}$ ab. Dies ermöglicht dem System, mehr Rechenleistung für intrinsisch schwierige Fragen (gleichförmige Karten) und weniger für einfache oder redundante Fragen zuzuweisen, ohne je die Ground-Truth-Antwort zu beobachten.

3. Zwei-Stufen-Inferenz-Pipeline

Stufe 1 (Abtastung): Ausführung von $2K$ Durchläufen zur Generierung der Wichtigkeitskarte und Berechnung von $M_{eff}$ .
Stufe 2 (Fokussierter Durchlauf): Auswahl der Top- $M_{eff}$ -Einzelbilder aus der Karte und Ausführung eines einzigen Vorwärtsdurchlaufs in voller Auflösung zur Generierung der endgültigen Antwort.

Hauptbeiträge

Posterior-Abtastungs-Paradigma: GridProbe ersetzt den Standard-Einzel-Vorwärtsdurchlauf durch einen Selbst-Abtastungsmechanismus, der im Antwortraum operiert. Dies ermöglicht es dem Auswahlsignal, die native reasoning-Fähigkeit des VLM zu nutzen und komplexe Abfragen (Verneinung, Zählen) zu behandeln, die von Methoden im Encoder-Raum übersehen werden.
Interpretierbare Wichtigkeitskarten: Die Methode erzeugt eine abfragekonditionierte Wichtigkeitskarte auf Einzelbild-Ebene, die den Beweissammelprozess des Modells offenlegt und Interpretierbarkeit auf Einzelbild-Ebene bietet.
Formgetriebene adaptive Rechenleistung: Durch die Nutzung von Verteilungsform-Statistiken (Schiefe und Kurtosis) ersetzt GridProbe statische Einzelbild-Budgets durch eine dynamische $M_{eff}$ , die sich an die Schwierigkeit der Frage anpasst und quadratische Aufmerksamkeitskosten ( $O(N^{1.5})$ ) mit minimalem Genauigkeitsverlust erreicht.
Entkoppelte Selektor- und QA-Komponenten: Das Framework ermöglicht es, Selektor (Abtastung) und Antwortgeber (QA) zu entkoppeln. Die Kombination eines kleinen, effizienten Selektors (z. B. 2B) mit einem stärkeren QA-Modell (z. B. 4B oder 8B) ergibt strikte Pareto-Verbesserungen gegenüber monolithischen Baselines ohne Nachtraining.

Experimentelle Ergebnisse

Evaluiert auf Video-MME-v2 und LongVideoBench mit Qwen3-VL-Backbones (2B, 4B, 8B):

Effizienz des Einzelmodells: Auf Video-MME-v2 erreicht GridProbe (2B) innerhalb von 1,6 Prozentpunkten (pp) der durchschnittlichen Genauigkeit die monolithische 2B-Baseline, reduziert jedoch die TFLOPs um den Faktor 3,36×. Auf LongVideoBench dominiert es die Baseline im Pareto-Sinne, erreicht +0,9 pp Genauigkeit bei 0,35× der Rechenleistung.
Pareto-Dominanz über Modelle hinweg: Die Verwendung eines 2B-Selektors mit einem 8B-QA-Modell erzielt auf Video-MME-v2 +3,56 pp und auf LongVideoBench +3,30 pp mehr Genauigkeit im Vergleich zur monolithischen 2B-Baseline bei reduzierten Rechenkosten.
Überlegenheit des Selektors: Bei einem festen Einzelbild-Budget ( $M=8$ ) übertrifft GridProbe den starken training-freien Selektor MDP3, insbesondere auf LongVideoBench (+3,6 pp), und demonstriert damit das Versagen von Signalen im Encoder-Raum bei rechenintensiven Aufgaben.
Adaptive Rechenleistung: Die adaptive $M_{eff}$ verfolgt erfolgreich die intrinsische Schwierigkeit der Frage. Fragen im „gleichförmigen" Regime (schwieriger) erhalten eine nahezu vollständige Abdeckung, während „schiefe" Regime (einfacher) deutlich weniger Einzelbilder erhalten. Der Variationskoeffizient der Rechenleistungszuweisung ist um den Faktor 44 höher als bei Baselines mit festem Input.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GridProbe einen strukturellen Wandel in der Inferenz langer Videos darstellt durch:

Eliminierung des Bedarfs an Nachtraining, um adaptive Rechenleistung und Einzelbildauswahl zu erreichen.
Überbrückung der Lücke zwischen Einzelbildauswahl und reasoning, wodurch sichergestellt wird, dass das Auswahlsignal auf der eigenen Fähigkeit des Modells zur Beantwortung der Abfrage basiert.
Bereitstellung eines nicht-iterativen, fest geplanten Mechanismus für adaptive Rechenleistung zur Laufzeit, der den Orchestrierungsaufwand mehrstufiger agentenbasierter Inferenzsysteme vermeidet.
Demonstration, dass die „Form" der Beweise (Verteilung der Wichtigkeit) ein zuverlässiger Proxy für die Fragenschwierigkeit ist und eine geschlossene Lösung für die dynamische Ressourcenallokation ermöglicht.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von endlichen Antworträumen (Multiple Choice) für die Definition der Abtastkonfidenz und die erhöhten Anforderungen an den Host-Speicher bei der Entkopplung von Selektor und QA-Modellen. Als zukünftige Arbeiten wird die Verallgemeinerung auf offene QA-Fragen sowie die Verfeinerung der Formstatistiken für unterschiedliche Videodichten vorgeschlagen.