Resumen Técnico: OmniReasoner

Planteamiento del Proble el

El razonamiento de audio-video largo presenta un desafío fundamental para los modelos de lenguaje de gran escala (LLM) omnimodales: la evidencia decisiva necesaria para responder a una pregunta suele ser dispersa, está distribuida en el tiempo y es transmodal (involucra tanto pistas visuales como auditivas). Preservar cada fotograma y segmento de audio con alta fidelidad es computacionalmente prohibitivo debido a las restricciones de la ventana de contexto y los costos de tokens. Por el contrario, el submuestreo uniforme para ajustar flujos largos al contexto suele descartar la evidencia de grano fino necesaria para un razonamiento preciso. Los enfoques existentes dependen de un preprocesamiento fijo, buscan segmentos relevantes utilizando únicamente pistas visuales o bien optimizan el razonamiento después de la selección de la evidencia, fallando al no abordar la decisión central de cuándo y dónde asignar computación de alta fidelidad en un flujo de audio-video largo.

Metodología

Los autores presentan OmniReasoner, un marco de post-entrenamiento de uso de herramientas diseñado para enseñar a los LLM omnimodales a "pensar con audio-video largo" decidiendo de forma adaptativa si llamar a una herramienta de zoom (acercamiento).

1. Flujo de Inferencia

OmniReasoner opera en un proceso de dos etapas:

• Vista Previa Global: El modelo consume primero una vista previa global de bajo costo y dispersa de todo el flujo de audio-video (video de baja tasa de fotogramas y audio completo).
• Decisión de la Herramienta: Basándose en esta vista previa y en la pregunta del usuario, la política decide entre dos acciones:
  • Respuesta Directa: Si la evidencia global es suficiente, el modelo responde inmediatamente.
  • Zoom-in (Acercamiento): Si se necesita más evidencia, el modelo llama a una herramienta de zoom, especificando un intervalo temporal $[s, e]$.
• Inspección Local: El sistema recupera un clip local de alta fidelidad correspondiente al intervalo solicitado. El modelo realiza entonces un razonamiento exhaustivo utilizando tanto el contexto global como la evidencia local detallada para generar la respuesta final.

2. TimeAnchor

Una contribución técnica crítica es TimeAnchor, que resuelve el problema del anclaje temporal a través de diferentes granularidades de muestreo.

• El Desafío: Los índices de fotogramas estándar o los IDs de fragmentos son relativos a una tasa de muestreo específica. Un índice de fotograma válido en una vista previa global dispersa no corresponde al mismo momento físico en un clip local denso.
• La Solución: TimeAnchor antepone un marcador de tiempo absoluto en texto plano (por ejemplo, <32 segundos>) a cada fragmento de dos segundos del flujo de tokens de audio-video entrelazados. Esto asegura que un argumento temporal (por ejemplo, "inspeccionar 32–38 segundos") siga siendo válido y consistente en el proceso de ida y vuelta, independientemente de si el modelo está viendo el flujo global disperso o el clip local denso. El argumento está vinculado al tiempo de reloj (wall-clock time), no a los índices de fotogramas.

3. Motor de Datos de Aumento Temporal

Para entrenar al modelo sin necesidad de anotaciones manuales costosas de intervalos, los autores construyeron un Motor de Datos de Aumento Temporal que sintetiza trayectorias de uso de herramientas:

• Construcción de Tareas: Crea tareas de razonamiento de formato largo mediante Composición de Múltiples Segmentos (unión de clips independientes) e Inserción de Anomalías (reemplazo de audio, video o ambos en una ventana). El proceso de edición proporciona inherentemente los intervalos de evidencia de verdad fundamental (ground-truth).
• Síntesis de Trayectorias: Utilizando un "MediaSandbox", el motor simula el entorno de inferencia. Genera dos tipos de trayectorias:
  • Trayectorias de uso de herramientas: El modelo observa la vista global, solicita un intervalo de zoom, recibe el clip local y responde.
  • Trayectorias de respuesta directa: El modelo responde directamente desde la vista global.
• Régimen de Entrenamiento: El marco emplea Aprendizaje Supervisado de Ajuste Fino (SFT) sobre estas trayectorias sintetizadas para establecer el protocolo de uso de herramientas, seguido de Optimización de Política Relativa de Grupo (GRPO) de aprendizaje por refuerzo. La recompensa de RL se basa en la precisión de la respuesta y el cumplimiento del formato, optimizando la política para llamar a la herramienta solo cuando esta mejora la respuesta final.

Principales Contribuciones

1. Marco OmniReasoner: Un enfoque de post-entrenamiento que permite a los modelos omnimodales aprender el uso adaptativo de herramientas (zoom-in) para el razonamiento de audio-video largo mediante SFT y RL.
2. TimeAnchor: Un mecanismo que mantiene la validez de los argumentos temporales a través de fronteras de fidelidad (muestreo disperso vs. denso) mediante el uso de marcadores de tiempo absolutos en lugar de índices de fotogramas.
3. Motor de Datos de Aumento Temporal: Un flujo de generación de datos escalable que sintetiza trayectorias de uso de herramientas con intervalos de evidencia conocidos mediante la edición de video, eliminando la necesidad de anotación manual de intervalos.

Resultados Experimentales

Los experimentos se realizaron en benchmarks de razonamiento de video y omnimodal, incluyendo OmniVideoBench, LVOmniBench, Daily-Omni, WorldSense, VideoMME y VideoHolmes.

• Ganancias de Rendimiento: OmniReasoner (basado en Qwen2.5-Omni-7B) superó significativamente al modelo base. Las mejoras notables incluyen:
  • OmniVideoBench: +5.5 puntos (29.3 $\to$ 34.8).
  • LVOmniBench: +3.4 puntos (32.0 $\to$ 35.4).
  • VideoHolmes: +15.6 puntos (24.4 $\to$ 40.0), atribuido a la capacidad de recuperar más fotogramas mediante el zoom-in en comparación con el límite fijo de 32 fotogramas del baseline.
• Sensibilidad a la Duración: La brecha de rendimiento se amplió con la longitud del video. En OmniVideoBench, las ganancias aumentaron de +3.2 puntos para videos de 0–5 minutos a +9.9 puntos para videos de 10–30 minutos, demostrando la eficacia del zoom-in adaptativo para la evidencia dispersa en contextos largos.
• Estudios de Ablación:
  • Eliminar los datos temporales auto-curados causó caídas significativas, confirmando la necesidad de los intervalos de evidencia construidos.
  • Eliminar la entrada de audio o el clip devuelto por la herramienta degradó el rendimiento, validando la dependencia de la evidencia transmodal y la adquisición activa local.
  • La ablación de TimeAnchor mostró que, si bien la receta de entrenamiento por sí sola mejora el anclaje, TimeAnchor proporciona ganancias adicionales sustanciales (por ejemplo, +6.1 puntos en Charades-STA mIoU), demostiendo su papel en la alineación de argumentos temporales entre granularidades.
  • El entrenamiento de solo RL sin un calentamiento (warm-up) de SFT falló, resaltando la necesidad de un arranque en frío supervisado para establecer el formato de uso de herramientas.

Significado

El artículo sostiene que el razonamiento de audio-video largo requiere un cambio de la percepción uniforme a la adquisición adaptativa de evidencia. OmniReasoner demuestra que los modelos omnimodales pueden entrenarse para actuar como agentes que deciden cuándo mirar y dónde escuchar de nuevo, en lugar de procesar pasivamente un contexto fijo. Al introducir TimeAnchor y un motor de datos escalable, el trabajo aborda los obstáculos técnicos específicos del anclaje temporal en flujos de múltiples fidelidades, ofreciendo una receta de post-entrenamiento práctica para mejorar la precisión del razonamiento en tareas de audio-video de formato largo sin requerir una anotación manual masiva. Los autores señalan limitaciones respecto al alcance actual de la herramienta de dos pasos y la necesidad de una infraestructura de RL más madura para interacciones agénticas de múltiples turnos en entornos omnimodales.