VideoHarness-RSI: Recursive Harness Self-Improvement for Long-Video Understanding with Frozen Vision-Language Models

Technisches Resümee: VideoHarness-RSI

Problemstellung

Das Verständnis langer Videos bleibt eine erhebliche Herausforderung für Vision-Language Models (VLMs), selbst wenn die zugrunde liegenden Modelle leistungsfähig sind. Der Kernengpass ist nicht notwendigerweise die Inferenzkapazität des Modells, sondern vielmehr die Kontextkonstruktion: wie man eine begrenzte Menge an visuellen Beobachtungen aus einem Video mit tausenden irrelevanten Frames auswählt und organisiert.

Bestehende Ansätze adressieren dies durch Kompression, Retrieval, Gedächtnis oder agentische Evidenzakquise. Diese Systeme modifizieren jedoch typischerweise mehrere Komponenten gleichzeitig (z. B. das Ändern des Modells, des Retrieval-Mechanismus und des Reasoning-Workflows zusammen). Dies erschwert es, eine spezifische Frage zu isolieren: Wie viel Leistungssteigerung kann allein durch die Verbesserung des ausführbaren Programms erzielt werden, das den Kontext konstruiert, während das VLM und seine Schnittstelle völlig unverändert bleiben?

Methodik: VideoHarness-RSI

Das Paper stellt VideoHarness-RSI (Recursive Harness Self-Improvement) vor, ein kontrolliertes Framework zur rekursiven Suche nach optimalen ausführbaren Kontext-Konstruktoren (Harnesses) um ein eingefrorenes VLM herum.

Kern-Framework

Das System behandelt den Harness als ein Programm $H$, das ein Video-Frage-Paar $(V, q)$ auf einen begrenzten multimodalen Kontext $C_H$ abbildet, der dann an ein eingefrorenes VLM $M$ übergeben wird, um eine Antwort $\hat{y}$ zu generieren.
$$\hat{y} = M(H(V, q; K), q)$$
Das Optimierungsziel ist die Maximierung der Entwicklungsgenauigkeit über dem Raum der ausführbaren Programme $H_{exec}$, unter der Bedingung eines festen Kontext-Constraints $K$.

Die Harness-Dekomposition

Die Autoren dekomponieren jeden Harness analytisch in drei funktionale Phasen, wobei dies keine separat optimierten Ziele sind, sondern vielmehr ein Pfad für die Programmutation:

1. Schreiben ($Write_H$): Konstruiert eine adressierbare Repräsentation des Videos (z. B. einen Stream, eine Caption-Liste oder einen Embedding-Index).
2. Lesen ($Read_H$): Ruft Evidenz ab, die auf die Frage $q$ konditioniert ist.
3. Verpacken ($Pack_H$): Ordnet und formatiert den begrenzten Kontext für das VLM.

Rekursives Suchprotokoll

Die Suche operiert über eine äußere Schleife, die Harness-Mutationen vorschlägt, ausführt und evaluiert:

1. Proposer: Ein LLM-basierter Proposer (Claude Opus 4.6) generiert Kandidaten-Harness-Code basierend auf einer Frontier der aktuellen besten Programme ($F_t$) und einem Archiv ($A_t$) aus historischem Code, Scores und Ausführungstraces.
2. Evaluierung: Kandidaten werden einem „Smoke-Test“ unterzogen und End-to-End auf einem Entwicklungssatz ($D_{dev}$) evaluiert.
3. Selektion: Die Update-Regel ist strikt. Ein Kandidat $H_{t,j}$ wird nur dann in die Frontier $F_{t+1}$ befördert, wenn seine Entwicklungsgenauigkeit $S(H_{t,j})$ die Genauigkeit der aktuellen Frontier strikt übertrifft.
4. Constraints: Das VLM (Qwen3-VL-8B-Instruct), seine Decoding-Konfiguration und die Evaluierungsmetriken bleiben während der gesamten Suche unverändert. Die Suche verändert nicht die Modellparameter.

Experimentelles Setup

• Datensatz: LVBench (1.232 QA-Paare nach Filterung). 350 Fragen wurden für die Suche/Entwicklung verwendet; 882 wurden für die gehaltene Evaluierung reserviert.
• Baselines: Vergleich gegen spezifizierte Uniform-Sampling-Methoden, literaturbasierte handgefertigte Harnesses (z. B. AKS, WorldMM-Stil, Homer-Stil) und proprietäre VLMs unter Uniform-Sampling.
• Kosten-Metrik: Die Kontextkosten auf der Input-Seite werden als Summe der visuellen und zusätzlichen Text-Token pro Frage gemessen, exklusive der Offline-Indexing-Kosten.

Zentrale Ergebnisse

1. Leistungssteigerungen durch Suche

Die rekursive Suche verbessert die Leistung konsistent gegenüber sowohl schwachen als auch starken Baselines:

• Von Uniform Sampling: Ausgehend von einer zufälligen Uniform-Sampling-Baseline (36,3 % Genauigkeit) entdeckte die Suche EMBEDNAVIGATE-HYBRID, welches 45,4 % auf dem gehaltenen Datensatz erreichte.
• Von starken handgefertigten Baselines: Ausgehend von einer starken handgefertigten Baseline (AKS, 46,5 %) entdeckte die Suche TIMESTAMPED-AKS, was die gehaltene Genauigkeit auf 50,3 % verbesserte.
• Cross-Benchmark-Transfer: Die auf LVBench entdeckten Harnesses wurden eingefroren und direkt auf Video-MME und MLVU angewendet, ohne weitere Suche oder Anpassung. Sie übertrafen das Uniform-Sampling auf beiden Benchmarks (z. B. 61,5 % vs. 59,9 % auf Video-MME), was darauf hindeutet, dass die entdeckten Policies übertragbar sind.

2. Mechanismus der Verbesserung

Die Analyse der entdeckten Harnesses offenbart distinkte Strategien:

• Navigation vs. Retrieval: Die Suche stellte fest, dass die Kombination von temporaler Navigation (Nutzung von Captions, um das Sampling auf relevante Zeitregionen zu fokussieren) mit visueller Ähnlichkeits-Retrieval (unter Verwendung von CLIP-Embeddings) bessere Ergebnisse liefert als entweder Methode allein.
• Sichtbarkeit von Evidenz: Der hybride Harness verbesserte die Genauigkeit nicht nur durch das Sichtbarmachen von mehr annotierten Evidenz-Intervallen (Erhöhung der „sichtbaren“ Frames), sondern auch durch die Verbesserung der Performance in Fällen, in denen Evidenz zuvor übersehen wurde, was darauf hindeutet, dass die Organisation und Dichte des Kontextes entscheidend sind.
• Fragetyp-Sensitivität: Navigationsstrategien waren besonders effektiv für temporale und reasoning-basierte Fragen, während visuelle Retrieval-Methoden bei Entitäts- und Schlüsselinformationsfragen halfen.

3. Kosten-Genauigkeits-Trade-offs

Die Suche offenbarte eine Pareto-Front zwischen Genauigkeit und Input-Token-Kosten.

• EMBEDNAVIGATE-HYBRID erreichte eine hohe Genauigkeit, verursachte aber einen signifikanten Text-Overhead durch einen zusätzlichen Navigations-Pass.
• TIMESTAMPED-AKS erreichte die höchste Genauigkeit mit einem geringeren Input-Footprint, was zeigt, dass die Suche effiziente Konfigurationen finden kann, die handgefertigte Baselines möglicherweise übersehen.

Bedeutung und Ansprüche

Das Paper positioniert VideoHarness-RSI als eine kontrollierte Baseline zur Untersuchung des automatisierten Harness-Designs. Seine primären Beiträge und Ansprüche sind:

1. Isolierung von Variablen: Es etabliert, dass die ausführbare Kontextkonstruktion eine eigenständige Optimierungsebene darstellt. Signifikante Gewinne können durch die Optimierung des „Harness“ (des Programms, das verwaltet, was das Modell sieht) erzielt werden, ohne das Modell neu zu trainieren oder dessen Schnittstelle zu ändern.
2. Reproduzierbarkeit: Die Autoren stellen ein prüfbares Archiv von Kandidaten-Code, Abstammung, Ausführungstraces und Scores bereit, was eine reproduzierbare Baseline für zukünftige Forschungen bietet.
3. Übertragbarkeit: Die Ergebnisse zeigen, dass auf einem Benchmark entdeckte Harnesses ohne erneute Suche auf andere Benchmarks übertragen werden können, was darauf hindeutet, dass die Suche verallgemeinerbare Kontextkonstruktions-Policies entdeckt und nicht lediglich auf spezifische Datensatz-Besonderheiten überfittet.
4. Limitierungen: Die Autoren merken bescheiden an, dass die Such-Frontier oft nach frühen Verbesserungen stagniert und dass die „strikte“ Punkt-Schätzung der Auswahl keine statistische Garantie für Generalisierung bietet, obwohl empirische Ergebnisse auf gehaltenen Datensätzen den Ansatz stützen. Sie klären zudem, dass sich ihre Kosten-Metriken auf das Volumen der Input-Token beziehen, nicht auf die End-to-End-Latenz oder monetäre Kosten, da die Offline-Indexing-Kosten variieren.

Zusammenfassend argumentiert das Paper, dass für das Verständnis langer Videos das „System“, das um ein eingefrorenes VLM herum aufgebaut ist, eine kritische, optimierbare Komponente darstellt, die durch eine rekursive, automatisierte Programmsuche verbessert werden kann.