VideoHarness-RSI: Recursive Harness Self-Improvement for Long-Video Understanding with Frozen Vision-Language Models

Resumo Técnico: VideoHarness-RSI

Declaração do Problema

A compreensão de vídeos longos continua sendo um desafio significativo para Modelos de Visão-Linguagem (VLMs), mesmo quando os modelos subjacentes são poderosos. O gargalo central não é necessariamente a capacidade de inferência do modelo, mas sim a construção de contexto: como selecionar e organizar um conjunto limitado de observações visuais de um vídeo contendo milhares de quadros irrelevantes.

Abordagens existentes tratam isso via compressão, recuperação, memória ou aquisição de evidências agêntica. No entanto, esses sistemas tipicamente modificam múltiplos componentes simultaneamente (por exemplo, alterando o modelo, o mecanismo de recuperação e o fluxo de raciocínio juntos). Isso torna difícil isolar uma questão específica: Quanto ganho de desempenho pode ser alcançado apenas melhorando o programa executável que constrói o contexto, mantendo o VLM e sua interface completamente fixos?

Metodologia: VideoHarness-RSI

O artigo apresenta o VideoHarness-RSI (Recursive Harness Self-Improvement - Autoaperfeiçoamento de Harness Recursivo), um framework controlado para buscar recursivamente por construtores de contexto executáveis (harnesses) otimizados em torno de um VLM congelado.

Framework Central

O sistema trata o harness como um programa $H$ que mapeia um par vídeo-pergunta $(V, q)$ para um contexto multimodal limitado $C_H$, que é então alimentado a um VLM congelado $M$ para gerar uma resposta $\hat{y}$.
$$\hat{y} = M(H(V, q; K), q)$$
O objetivo de otimização é maximizar a acurácia de desenvolvimento sobre o espaço de programas executáveis $H_{exec}$, sujeito a uma restrição de contexto fixa $K$.

A Decomposição do Harness

Os autores decompõem analiticamente qualquer harness em três estágios funcionais, embora estes não sejam objetivos de otimização separados, mas sim um caminho para mutação de programa:

1. Escrita ($Write_H$): Constrói uma representação endereçável do vídeo (ex: um stream, lista de legendas ou índice de embeddings).
2. Leitura ($Read_H$): Recupera evidências condicionadas à pergunta $q$.
3. Empacotamento ($Pack_H$): Ordena e formata o contexto limitado para o VLM.

Protocolo de Busca Recursiva

A busca opera via um loop externo que propõe, executa e avalia mutações de harness:

1. Propositor: Um propositor baseado em LLM (Claude Opus 4.6) gera código de harness candidato baseado em uma fronteira de melhores programas atuais ($F_t$) e um arquivo ($A_t$) de códigos históricos, pontuações e rastros de execução.
2. Avaliação: Os candidatos passam por "testes de fumaça" (smoke-tests) e são avaliados de ponta a ponta em um conjunto de desenvolvimento ($D_{dev}$).
3. Seleção: A regra de atualização é estrita. Um candidato $H_{t,j}$ é promovido para a fronteira $F_{t+1}$ apenas se sua acurácia de desenvolvimento $S(H_{t,j})$ exceder estritamente a acurácia da fronteira atual.
4. Restrições: O VLM (Qwen3-VL-8B-Instruct), sua configuração de decodificação e as métricas de avaliação permanecem fixos durante toda a busca. A busca não toca nos parâmetros do modelo.

Configuração Experimental

• Dataset: LVBench (1.232 pares de QA após filtragem). 350 perguntas usadas para busca/desenvolvimento; 882 reservadas para avaliação de teste (held-out).
• Baselines: Comparado contra amostragem uniforme pré-especificada, harnesses manuais inspirados na literatura (ex: AKS, estilo WorldMM, estilo Homer) e VLMs proprietários sob amostragem uniforme.
• Métrica de Custo: O custo de contexto do lado da entrada é medido como a soma dos tokens visuais e de texto auxiliar por pergunta, excluindo custos de indexação offline.

Principais Resultados

1. Ganhos de Desempenho via Busca

A busca recursiva melhora consistentemente o desempenho sobre baselines fracos e fortes:

• A partir da Amostragem Uniforme: Partindo de um baseline de amostragem uniforme aleatória (36,3% de acurácia), a busca descobriu o EMBEDNAVIGATE-HYBRID, que alcançou 45,4% no conjunto de teste.
• A partir de Baselines Fortes Manuais: Partindo de um baseline manual forte (AKS, 46,5%), a busca descobriu o TIMESTAMPED-AKS, que melhorou a acurácia de teste para 50,3%.
• Transferência entre Benchmarks: Os harnesses selecionados no LVBench foram congelados e aplicados diretamente ao Video-MME e MLVU sem nova busca ou adaptação. Eles superaram a amostragem uniforme em ambos os benchmarks (ex: 61,5% vs. 59,9% no Video-MME), sugerindo que as políticas descobertas são transferíveis.

2. Mecanismo de Melhoria

A análise dos harnesses descobertos revela estratégias distintas:

• Navegação vs. Recuperação: A busca descobriu que combinar navegação temporal (usando legendas para focar a amostragem em regiões de tempo relevantes) com recuperação de similaridade visual (usando embeddings de CLIP) produz resultados melhores do que apenas um ou outro.
• Visibilidade de Evidências: O harness híbrico melhorou a acurácia não apenas ao expor mais intervalos de evidências anotadas (aumentando os quadros "visíveis"), mas também ao melhorar o desempenho em casos onde a evidência havia sido perdida, sugerindo que a organização e densidade do contexto importam.
• Sensibilidade ao Tipo de Pergunta: Estratégias de navegação foram particularmente eficazes para perguntas temporais e de raciocínio, enquanto a recuperação visual auxiliou em perguntas de entidades e informações-chave.

3. Trade-offs entre Custo e Acurácia

A busca revelou uma fronteira de Pareto entre acurácia e custo de tokens de entrada.

• O EMBEDNAVIGATE-HYBRID alcançou alta acurácia, mas incorreu em um overhead de texto significativo devido a uma passagem de navegação adicional.
• O TIMESTAMPED-AKS alcançou a maior acurácia com uma pegada de entrada menor, demonstrando que a busca pode encontrar configurações eficientes que baselines manuais podem perder.

Significância e Alegações

O artigo posiciona o VideoHarness-RSI como um baseline controlado para o estudo do design automatizado de harnesses. Suas principais contribuições e alegações são:

1. Isolamento de Variáveis: Estabelece que a construção de contexto executável é uma camada de otimização distinta. Ganhos significativos podem ser alcançados otimizando o "harness" (o programa que gerencia o que o modelo vê) sem retreinar o modelo ou mudar sua interface.
2. Reprodutibilidade: Os autores fornecem um arquivo auditável de códigos candidatos, parentesco, rastros de execução e pontuações, oferecendo um baseline reprodutível para pesquisas futuras em descoberta de harness.
3. Transferibilidade: Os resultados demonstram que harnesses descobertos em um benchmark podem ser transferidos para outros sem nova busca, indicando que a busca descobre políticas de construção de contexto generalizáveis, em vez de sofrer overfitting para peculiaridades de datasets específicos.
4. Limitações: Os autores notam modestamente que a fronteira de busca frequentemente estabiliza após melhorias iniciais e que a seleção estrita de ponto único não garante estatisticamente a generalização, embora os resultados empíricos em conjuntos de teste suportem a abordagem. Eles também esclarecem que suas métricas de custo refletem o volume de tokens de entrada, não a latência de ponta a ponta ou o custo monetário, já que os custos de indexação offline variam.

Em resumo, o artigo argumenta que para a compreensão de vídeos longos, o "sistema" em torno de um VLM congelado é um componente crítico e otimizável que pode ser melhorado através de busca de programa recursiva e automatizada.