VideoHarness-RSI: Recursive Harness Self-Improvement for Long-Video Understanding with Frozen Vision-Language Models

Resumen Técnico: VideoHarness-RSI

Declaración del Probleencia

La comprensión de videos largos sigue siendo un desafío significativo para los Modelos de Visión y Lenguaje (VLM), incluso cuando los modelos subyacentes son potentes. El cuello de botella central no es necesariamente la capacidad de inferencia del modelo, sino más bien la construcción del contexto: cómo seleccionar y organizar un conjunto limitado de observaciones visuales de un video que contiene miles de fotogramas irrelevantes.

Los enfoques existentes abordan esto mediante compresión, recuperación, memoria o adquisición de evidencia agéntica. Sin embargo, estos sistemas suelen modificar múltiples componentes simultáneamente (por ejemplo, cambiando el modelo, el mecanismo de recuperación y el flujo de trabajo de razonamiento al mismoos). Esto dificulta aislar una pregunta específica: ¿Qué cantidad de ganancia de rendimiento se puede lograr únicamente mejorando el programa ejecutable que construye el contexto, manteniendo el VLM y su interfaz completamente fijos?

Metodología: VideoHarness-RSI

El artículo presenta VideoHarness-RSI (Recursive Harness Self-Improvement - Auto-mejora Recursiva de Arnés), un marco controlado para la búsqueda recursiva de constructores de contexto ejecutables óptimos (arneses) alrededor de un VLM congelado.

Marco Central

El sistema trata al arnés como un programa $H$ que mapea un par video-pregunta $(V, q)$ a un contexto multimodal acotado $C_H$, que luego se entrega a un VLM congelado $M$ para generar una respuesta $\hat{y}$.
$$\hat{y} = M(H(V, q; K), q)$$
El objetivo de optimización es maximizar la precisión de desarrollo sobre el espacio de programas ejecutables $H_{exec}$, sujeto a una restricción de contexto fija $K$.

La Descomposición del Arnés

Los autores descomponen analíticamente cualquier arnés en tres etapas funcionales, aunque estas no son objetivos de optimización separados, sino un camino para la mutación del programa:

1. Escritura ($Write_H$): Construye una representación direccionable del video (por ejemplo, un flujo, una lista de subtítulos o un índice de embeddings).
2. Lectura ($Read_H$): Recupera evidencia condicionada por la pregunta $q$.
3. Empaquetado ($Pack_H$): Ordena y formatea el contexto acotado para el VLM.

Protocolo de Búsqueda Recursiva

La búsqueda opera mediante un bucle externo que propone, ejecuta y evalúa las mutaciones del arnés:

1. Propositor: Un propositor basado en LLM (Claude Opus 4.6) genera código de arnés candidato basado en una frontera de los mejores programas actuales ($F_t$) y un archivo ($A_t$) de código histórico, puntuaciones y trazas de ejecución.
2. Evaluación: Los candidatos son sometidos a "pruebas de humo" (smoke-tests) y evaluados de extremo a extremo en un conjunto de desarrollo ($D_{dev}$).
3. Selección: La regla de actualización es estricta. Un candidato $H_{t,j}$ es promovido a la frontera $F_{t+1}$ solo si su precisión de desarrollo $S(H_{t,j})$ supera estrictamente la precisión de la frontera actual.
4. Restricciones: El VLM (Qwen3-VL-8B-Instruct), su configuración de decodificación y las métricas de evaluación permanecen fijos durante toda la búsqueda. La búsqueda no toca los parámetros del modelo.

Configuración Experimental

• Dataset: LVBench (1,232 pares de QA tras el filtrado). 350 preguntas utilizadas para la búsqueda/desarrollo; 882 reservadas para la evaluación fuera de la muestra (held-out).
• Baselines: Comparado contra muestreo uniforme preespecificado, arneses diseñados a mano inspirados en la literatura (por ejemplo, AKS, estilo WorldMM, estilo Homer) y VLMs propietarios bajo muestreo uniforme.
• Métrica de Costo: El costo de contexto en el lado de la entrada se mide como la suma de los tokens visuales y de texto auxiliar por pregunta, excluyendo los costos de indexación offline.

Resultados Clave

1. Ganancias de Rendimiento de la Búsqueda

La búsqueda recursiva mejora consistentemente el rendimiento sobre tanto los baselines débiles como los fuertes:

• Desde el Muestreo Uniforme: Partiendo de un baseline de muestreo uniforme aleatorio (36.3% de precisión), la búsqueda descubrió EMBEDNAVIGATE-HYBRID, que alcanzó un 45.4% en el conjunto fuera de la muestra.
• Desde Baselines Fuertes Diseñados a Mano: Partiendo de un baseline fuerte diseñado a mano (AKS, 46.5%), la búsqueda descubrió TIMESTAMPED-AKS, que mejoró la precisión fuera de la muestra al 50.3%.
• Transferencia entre Benchmarks: Los arneses seleccionados en LVBench fueron congelados y aplicados directamente a Video-MME y MLVU sin búsqueda o adaptación adicional. Superaron al muestreo uniforme en ambos benchmarks (por ejemplo, 61.5% vs. 59.9% en Video-MME), lo que sugiere que las políticas descubiertas son transferibles.

2. Mecanismo de Mejora

El análisis de los arneses descubiertos revela distintas estrategias:

• Navegación vs. Recuperación: La búsqueda descubrió que combinar la navegación temporal (usar subtítulos para centrar el muestreo en regiones temporales relevantes) con la recuperación por similitud visual (usando embeddings de CLIP) produce mejores resultados que cualquiera de las dos por separado.
• Visibilidad de la Evidencia: El arnés híbrido mejoró la precisión no solo al exponer más intervalos de evidencia anotados (aumentando los fotogramas "visibles"), sino también al mejorar el rendimiento en casos donde la evidencia se había perdido, lo que sugiere que la organización y densidad del contexto es importante.
• Sensibilidad al Tipo de Pregunta: Las estrategias de navegación fueron particularmente efectivas para preguntas temporales y de razonamiento, mientras que la recuperación visual ayudó en preguntas de entidades e información clave.

3. Compromisos entre Costo y Precisión

La búsqueda reveló una frontera de Pareto entre la precisión y el costo de tokens de entrada.

• EMBEDNAVIGATE-HYBRID logró una alta precisión pero incurrió en una sobrecarga de texto significativa debido a una pasada de navegación adicional.
• TIMESTAMPED-AKS logró la mayor precisión con una huella de entrada más pequeña, demostando que la búsqueda puede encontrar configuraciones eficientes que los baselines diseñados a mano podrían pasar por alto.

Significado y Reivindicaciones

El artículo posiciona a VideoHarness-RSI como un baseline controlado para estudiar el diseño automatizado de arneses. Sus principales contribuciones y reivindicaciones son:

1. Aislamiento de Variables: Establece que la construcción de contexto ejecutable es una capa de optimización distinta. Se pueden lograr ganancias significativas optimizando el "arnés" (el programa que gestiona lo que el modelo ve) sin reentrenar el modelo ni cambiar su interfaz.
2. Reproducibilidad: Los autores proporcionan un archivo auditable de código candidato, parentesco, trazas de ejecución y puntuaciones, ofreciendo un baseline reproducible para futuras investigaciones en el descubrimiento de arneses.
3. Transferibilidad: Los resultados demuestran que los arneses descubiertos en un benchmark pueden transferirse a otros sin necesidad de una nueva búsqueda, lo que indica que la búsqueda descubre políticas de construcción de contexto generalizables en lugar de sobreajustarse a las peculiaridades de un dataset específico.
4. Limitaciones: Los autores señalan modestamente que la frontera de búsqueda a menudo se estanca tras las mejoras iniciales y que la selección estricta de estimación puntual no garantiza estadísticamente la generalización, aunque los resultados empíricos en los conjuntos fuera de la muestra respaldan el enfoque. También aclaran que sus métricas de costo reflejan el volumen de tokens de entrada, no la latencia de extremo a extremo o el costo monetario, ya que los costos de indexación offline varían.

En resumen, el artículo argumenta que para la comprensión de videos largos, el "sistema" que rodea a un VLM congelado es un componente crítico y optimizable que puede mejorarse mediante la búsqueda de programas recursivos y automatizados.