Technische Samenvatting: VideoHarness-RSI

Probleemstelling

Begrip van lange video's blijft een aanzienlijke uitdaging voor Vision-Language Models (VLM's), zelfs wanneer de onderliggende modellen krachtig zijn. De kernbottleneck is niet noodzakelijkerwijs het inferentievermogen van het model, maar eerder de contextconstructie: hoe selecteer en organiseer je een beperkte set visuele observaties uit een video die duizenden irrelevante frames bevat.

Bestaande benaderingen pakken dit aan via compressie, retrieval, geheugen of agentic evidence-verwerving. Deze systemen modificeren echter doorgaans meerdere componenten tegelijkertijd (bijv. het model, het retrieval-mechanisme en de redeneerworkflow tegelijk veranderen). Dit maakt het moeilijk om een specifieke vraag te isoleren: Hoeveel prestatiewinst kan er louter worden behaald door het uitvoerbare programma dat de context construeert te verbeteren, terwijl de VLM en de interface volledig ongewijzigd blijven?

Methodologie: VideoHarness-RSI

Het artikel introduceert VideoHarness-RSI (Recursive Harness Self-Improvement), een gecontroleerd framework voor het recursief zoeken naar optimale uitvoerbare context-constructors (harnesses) rondom een bevroren VLM.

Kernframework

Het systeem behandelt de harness als een programma $H$ dat een video-vraagpaar $(V, q)$ mapt naar een begrensde multimodale context $C_H$, die vervolgens wordt gevoed aan een bevroren VLM $M$ om een antwoord $\hat{y}$ te genereren.
$$\hat{y} = M(H(V, q; K), q)$$
Het optimalisatiedoel is het maximaliseren van de ontwikkelingsnauwkeurigheid over de ruimte van uitvoerbare programma's $H_{exec}$, onderworpen aan een vaste contextrestrictie $K$.

De Decompositie van de Harness

De auteurs deconstrueren elke harness analytisch in drie functionele stadia, hoewel dit geen afzonderlijk te optimaliseren doelstellingen zijn, maar eerder een pad voor programmamutatie:

1. Schrijven ($Write_H$): Construeert een adresseerbare representatie van de video (bijv. een stream, een lijst met captions of een embedding index).
2. Lezen ($Read_H$): Haalt bewijs op (retrieval) geconditioneerd op de vraag $q$.
3. Verpakken ($Pack_H$): Ordonneert en formatteert de begrensde context voor de VLM.

Recursief Zoekprotocol

De zoekopdracht werkt via een outer loop die harness-mutaties voorstelt, uitvoert en evalueert:

1. Proposer: Een LLM-gebaseerde proposer (Claude Opus 4.6) genereert kandidaat-harness-code op basis van een frontier van de huidige beste programma's ($F_t$) en een archief ($A_t$) van historische code, scores en executietraces.
2. Evaluatie: Kandidaten worden onderworpen aan een "smoke test" en end-to-end geëvalueerd op een ontwikkelingsset ($D_{dev}$).
3. Selectie: De update-regel is strikt. Een kandidaat $H_{t,j}$ wordt pas gepromoveerd naar de frontier $F_{t+1}$ als de ontwikkelingsnauwkeurigheid $S(H_{t,j})$ de nauwkeurigheid van de huidige frontier strikt overtreft.
4. Restricties: De VLM (Qwen3-VL-8B-Instruct), de decoding-configuratie en de evaluatiemetrieken blijven gedurende het hele proces vast. De zoekopdracht raakt de modelparameters niet aan.

Experimentele Opzet

• Dataset: LVBench (1.232 QA-paren na filtering). 350 vragen gebruikt voor zoekopdracht/ontwikkeling; 882 gereserveerd voor held-out evaluatie.
• Baselines: Vergeleken met vooraf gespecificeerde uniforme sampling, door literatuur geïnspireerde handmatige harnesses (bijv. AKS, WorldMM-stijl, Homer-stijl) en propriëtaire VLM's onder uniforme sampling.
• Kostenmetriek: De input-zijde contextkosten worden gemeten als de som van visuele en aanvullende teksttokens per vraag, exclusief offline indexing kosten.

Belangrijkste Resultaten

1. Prestatiewinst door Zoekopdrachten

Recursieve zoekopdrachten verbeteren de prestaties consistent ten opzichte van zowel zwakke als sterke baselines:

• Van Uniforme Sampling: Startend vanaf een random uniforme sampling baseline (36,3% nauwkeurigheid), ontdekte de zoekopdracht EMBEDNAVIGATE-HYBRID, die 45,4% behaalde op de held-out set.
• Van Sterke Handmatige Baselines: Startend vanaf een sterke handmatige baseline (AKS, 46,5%), ontdekte de zoekopdracht TIMESTAMPED-AKS, wat de held-out nauwkeurigheid verbeterde naar 50,3%.
• Cross-Benchmark Transfer: De gekozen harnesses op LVBench werden bevroren en direct toegepast op Video-MME en MLVU zonder verdere zoekopdracht of adaptatie. Ze presteerden beter dan uniforme sampling op beide benchmarks (bijv. 61,5% vs. 59,9% op Video-MME), wat suggereert dat de ontdekte policies overdraagbaar zijn.

2. Mechanisme van Verbetering

Analyse van de ontdekte harnesses onthult verschillende strategieën:

• Navigatie versus Retrieval: De zoekopdracht ontdekte dat het combineren van temporele navigatie (het gebruik van captions om sampling te focussen op relevante tijdsgebieden) met visuele gelijkenis-retrieval (gebruikmakend van CLIP embeddings) betere resultaten oplevert dan elk afzonderlijk.
• Zichtbaarheid van Bewijs: De hybride harness verbeterde de nauwkeurigheid niet alleen door meer geannoteerde bewijsintervallen bloot te leggen (het vergroten van "zichtbare" frames), maar ook door de prestaties te verbeteren in gevallen waar bewijs gemist werd, wat wijst op een betere contextorganisatie en -densiteit.
• Gevoeligheid voor Vraagtype: Navigatiestrategieën waren bijzonder effectief voor temporele en redeneervragen, terwijl visuele retrieval hielp bij entiteits- en sleutelinformatievragen.

3. Kosten-Nauwkeurigheid Trade-offs

De zoekopdracht onthulde een Pareto-front tussen nauwkeurigheid en input-tokenkosten.

• EMBEDNAVIGATE-HYBRID behaalde een hoge nauwkeurigheid maar veroorzaakte een aanzienlijke tekstuele overhead door een extra navigatiepass.
• TIMESTAMPED-AKS behaalde de hoogste nauwkeurigheid met een kleinere input-voetafdruk, wat aantoont dat zoekopdrachten efficiënte configuraties kunnen vinden die handmatige baselines mogelijk missen.

Betekenis en Claims

Het artikel positioneert VideoHarness-RSI als een gecontroleerde baseline voor het bestuderen van geautomatiseerd harness-ontwerp. De belangrijkste bijdragen en claims zijn:

1. Isolatie van Variabelen: Het stelt vast dat de uitvoerbare contextconstructie een onderscheidbare optimalisatielaag is. Significante winsten kunnen worden behaald door de "harness" (het programma dat beheert wat het model ziet) te optimaliseren zonder het model te hertrainen of de interface te veranderen.
2. Reproduceerbaarheid: De auteurs bieden een auditeerbaar archief van kandidaat-code, afstamming, executietraces en scores, wat een reproduceerbare baseline biedt voor toekomstig onderzoek.
3. Overdraagbaarheid: De resultaten tonen aan dat harnesses die op één benchmark zijn ontdekt, kunnen worden overgedragen naar andere benchmarks zonder nieuwe zoekopdrachten, wat aangeeft dat de zoekopdracht generaliseerbare context-constructie policies ontdekt in plaats van te overfitten op specifieke dataset-eigenaardigheden.
4. Beperkingen: De auteurs merken bescheiden op dat de zoekfrontier vaak stagneert na vroege verbeteringen en dat de "strikte" punt-schatting selectie niet statistisch garandeert dat er gegeneraliseerd wordt, hoewel empirische resultaten op held-out sets de aanpak ondersteunen. Ze verduidelijken ook dat hun kostenmetingen betrekking hebben op de input-tokenvolumes, niet op end-to-end latentie of monetaire kosten, aangezien offline indexing kosten variëren.

Samenvattend betogen zij dat voor begrip van lange video's het "systeem" rondom een bevroren VLM een kritieke, optimaliseerbare component is die verbeterd kan worden door middel van recursieve, geautomatiseerde programmazoekopdrachten.