🤖 AI

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

Este artículo presenta MOV-Bench, un punto de referencia para el razonamiento audio-visual de múltiples saltos, y propone AOP-Agent, un marco de agentes eficiente que mejora las capacidades de razonamiento de los Omni-LLM de código abierto mediante la percepción omni-modal activa sin requerir entrenamiento adicional.

Autores originales: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El Video de la "Aguja en un Heno"

Imagina que te dan un video de 30 minutos de un taller ocupado. Alguien te hace una pregunta difícil: "¿Por qué el técnico aplicó ese pegamento específico al chip?"

Para responder, no puedes mirar solo un segundo. Tienes que:

Escuchar un comentario hecho hace 5 minutos sobre un "chip defectuoso".
Mirar una toma visual de hace 10 minutos que muestra un cable suelto.
Conectar esas dos piezas de información distantes para darte cuenta de que el pegamento es una solución temporal para una soldadura defectuosa.

Los modelos de IA actuales (llamados Omni-LLMs) son como estudiantes que intentan memorizar el video completo de una sola vez. Cuando el video es largo, se abruman. Olvidan la pista de hace 5 minutos o se pierden la pista visual de hace 10 minutos. Intentan adivinar la respuesta basándose en todo el desorden, a menudo equivocándose porque la evidencia está dispersa y es escasa.

La Solución 1: MOV-Bench (El "Examen Difícil")

Los investigadores primero construyeron un nuevo examen llamado MOV-Bench.

Qué es: Una colección de 519 preguntas difíciles basadas en videos reales.
El Truco: Cada pregunta requiere un razonamiento de "múltiples saltos". No puedes responderla solo viendo un fragmento. Debes saltar entre diferentes momentos del video y cambiar entre escuchar (audio) y mirar (visual).
El Resultado: Cuando probaron los modelos de IA actuales en este examen, los modelos fallaron. Les costó encontrar las pistas dispersas y conectar los puntos.

La Solución 2: AOP-Agent (El "Detective")

En lugar de forzar a la IA a memorizar todo el video de una vez, los investigadores crearon un nuevo sistema llamado AOP-Agent. Piensa en esto no como un estudiante repasando para un examen, sino como un detective resolviendo un misterio.

Así es como funciona el detective, utilizando un enfoque de "Bajos Recursos" (lo que significa que no necesita superordenadores costosos ni entrenamiento especial):

El Archivador (Memoria Jerárquica):
Antes de que el detective empiece, el video se organiza en un archivador inteligente.
- La Vista General: Un resumen de una página de todo el video.
- Los Capítulos: El video se divide en trozos de 30 segundos, cada uno con un resumen corto y una lista de "palabras clave" (como "pegamento", "chip", "soldadura").
- Los Detalles: Si es necesario, el detective puede hacer zoom en fragmentos específicos de 5 segundos para obtener detalles de alta definición.
El Bucle de Tres Pasos (Observar, Reflexionar, Replanificar):
El detective no solo mira; caza activamente pistas usando tres roles:
- El Planificador: Mira la pregunta y el "Archivador". Dice: "Necesito encontrar dónde hablaron del pegamento. Busquemos primero en la sección de 'Palabras Clave'."
- El Observador: Usa herramientas para recuperar los segmentos de video específicos que pidió el Planificador.
- El Reflexionador: Verifica la evidencia. "Bien, encontramos el pegamento, pero aún no hemos encontrado el 'chip defectuoso'. Las pistas actuales no son suficientes. Volvamos y busquemos en la sección de 'Audio' los siguientes 30 segundos."
Si las pistas siguen faltando, el Planificador cambia la estrategia (Replanificar) y prueba una herramienta de búsqueda diferente. Este bucle continúa hasta que el detective siente confianza de que tiene todas las piezas.
La Respuesta:
Una vez que el detective ha reunido suficiente evidencia específica de diferentes partes del video, el Razonador (el juez final) arma el rompecabezas y da la respuesta.

Por Qué Esto Importa

Sin Entrenamiento Mágico: Este sistema funciona con modelos de IA de código abierto sin necesidad de volver a entrenarlos ni usar modelos propietarios costosos de "caja negra".
Activo vs. Pasivo: Los métodos antiguos eran pasivos (ver todo el video y esperar recordar). El AOP-Agent es activo (decidir exactamente qué mirar, cuándo mirar y cuándo detenerse).
Los Resultados: Cuando se probó en el "Examen Difícil" (MOV-Bench) y otros puntos de referencia de video, el AOP-Agent superó significativamente a los métodos antiguos, especialmente en videos largos y preguntas que requerían conectar muchas pistas diferentes.

Las Limitaciones (Los "Errores del Detective")

El artículo admite que el sistema no es perfecto:

Alucinaciones: Si el "Archivador" (la memoria) describe mal una escena (por ejemplo, dice que alguien gritó cuando no lo hizo), el detective podría construir una teoría falsa basada en esa mentira.
Velocidad: Como el detective tiene que detenerse, pensar, buscar y verificar varias veces, tarda más que simplemente ver el video una vez.
Tiempo Real: El sistema necesita procesar todo el video en el archivador primero, por lo que actualmente no puede funcionar en video en vivo o transmisión en directo (como una transmisión deportiva en vivo) en tiempo real.

Resumen

El artículo presenta una nueva forma de enseñar a la IA a razonar sobre videos largos. En lugar de intentar tragar todo el video de una vez, le dan a la IA un kit de herramientas de detective: un sistema de archivo inteligente y un proceso paso a paso para cazar pistas dispersas, reflexionar sobre lo que encontraron y responder solo cuando están seguros. Esto permite que los modelos de IA estándar y de código abierto resuelvan rompecabezas de video complejos que anteriormente no podían manejar.

Resumen Técnico: Percepción Activa Omnimodal Agente para el Razonamiento Audiovisual de Múltiples Saltos

Enunciado del Problema

Los Modelos de Lenguaje Omnimodales Grandes actuales (Omni-LLMs) enfrentan desafíos significativos en el razonamiento audiovisual de múltiples saltos, particularmente cuando la evidencia relevante es escasa, está dispersa temporalmente y distribuida a través de las corrientes de audio y visual. Las evaluaciones existentes a menudo no logran aislar esta capacidad específica, involucrando típicamente modalidades limitadas, segmentos temporales cortos o evidencia decisiva de una sola modalidad. En consecuencia, sigue sin estar claro si los Omni-LLMs pueden integrar efectivamente evidencia escasa y cruzada entre modalidades distribuida a través de múltiples segmentos temporales para responder preguntas complejas. Además, los enfoques agentes existentes para la percepción activa a menudo dependen de modelos propietarios costosos o requieren entrenamiento extensivo, lo que limita su aplicabilidad a Omni-LLMs de código abierto en entornos de bajos recursos.

Metodología

1. MOV-Bench: Una Evaluación para el Razonamiento de Múltiples Saltos

Para evaluar rigurosamente esta capacidad, los autores introducen MOV-Bench (Evaluación de Video Omnimodal de Múltiples Saltos).

Construcción del Conjunto de Datos: Construido sobre el conjunto de datos Fine-Video, MOV-Bench contiene 519 preguntas de opción múltiple cuidadosamente curadas.
Principios de Diseño:
- Razonamiento Temporal de Múltiples Saltos: Las preguntas requieren evidencia de 2 a 4 segmentos temporales distintos, evitando que los modelos dependan de la percepción de un solo momento.
- Integración Cruzada de Modalidades: Las preguntas se construyen de tal manera que ni la corriente de audio ni la visual por sí solas son suficientes; los modelos deben interpretar conjuntamente eventos visuales, contenido del habla y señales de audio.
- Temas de Razonamiento: Las preguntas cubren cinco patrones de razonamiento distintos: causal, referencial, relacional, hipotético e intencional.
Control de Calidad: Un proceso de filtrado de dos etapas (filtrado solo de lenguaje para eliminar sesgos, seguido de verificación humana) asegura que las preguntas requieran un razonamiento genuino de múltiples saltos cruzado entre modalidades.

2. AOP-Agent: Marco de Percepción Activa Omnimodal

Para abordar las limitaciones del procesamiento pasivo, los autores proponen AOP-Agent, un marco agente eficiente diseñado para Omni-LLMs de código abierto sin entrenamiento adicional ni componentes propietarios.

Memoria Omnimodal Jerárquica: En lugar de procesar directamente las corrientes de video crudas, AOP-Agent organiza el contenido del video en una memoria estructurada:
- Fragmentos de alta granularidad: Preservando detalles locales.
- Segmentos de nivel medio: Fragmentos fusionados (≤30s) comprimidos a menor resolución.
- Metadatos Estructurados: Para cada segmento, el sistema genera puntos clave visuales, puntos clave de audio, palabras clave de recuperación y descripciones a nivel de segmento.
- Resumen Global: Una descripción sintetizada de todo el video.
Bucle Observar-Reflexionar-Replanificar: El marco emplea un proceso de colaboración multiagente:
- Agente Planificador ( $A_P$ ): Determina el siguiente objetivo de observación basado en el estado actual de razonamiento, seleccionando regiones específicas del video para inspeccionar.
- Herramientas de Observación: Un conjunto de cinco herramientas complementarias permite al agente navegar la memoria jerárquica:
  - Basada en descripción: Coincidencia semántica para eventos de alto nivel.
  - Guiada por palabras clave: Recuperación léxica para entidades/acciones explícitas.
  - Guiada por puntos clave: Coincidencia de puntos clave visuales/auditivos para pistas cruzadas entre modalidades.
  - Observación de Vecinos: Expansión a segmentos temporalmente adyacentes.
  - Observación de Alta Granularidad: Profundización para verificación local.
- Agente Reflexor ( $A_R$ ): Evalúa si las observaciones actuales son suficientes. Si no lo son, proporciona retroalimentación para guiar la replanificación; si lo son, activa el razonamiento final.
- Agente Razonador ( $A_A$ ): Sintetiza la evidencia acumulada para generar la respuesta final.

Contribuciones Clave

MOV-Bench: Una nueva evaluación dirigida específicamente al razonamiento audiovisual de múltiples saltos a través de segmentos temporalmente dispersos, revelando que los Omni-LLMs actuales luchan por localizar e integrar evidencia escasa cruzada entre modalidades.
AOP-Agent: Un marco agente de bajos recursos que permite a los Omni-LLMs de código abierto realizar percepción activa. Logra esto mediante la construcción de memoria jerárquica y un bucle colaborativo de observar-reflexionar-replanificar, eliminando la necesidad de entrenamiento adicional o modelos propietarios.
Validación Empírica: Demostraciones de que AOP-Agent mejora consistentemente el rendimiento del razonamiento tanto en MOV-Bench como en OmniVideoBench, con ganancias significativas en videos largos y preguntas intensivas en razonamiento.

Resultados Experimentales

Se realizaron experimentos en MOV-Bench y OmniVideoBench utilizando varios Omni-LLMs de código abierto (por ejemplo, Qwen3-Omni-Instruct, Qwen2.5-Omni-7B).

Limitaciones de la Línea Base: La inferencia directa en MOV-Bench reveló que los Omni-LLMs actuales alcanzan una precisión relativamente baja (por ejemplo, Qwen3-Omni-Instruct al ~52.8%). El rendimiento se degrada significativamente a medida que aumenta la longitud del video y el número de saltos de razonamiento (por ejemplo, cayendo al ~44% en preguntas de 4 saltos).
Rendimiento de AOP-Agent:
- Mejora General: AOP-Agent superó consistentemente las líneas base de inferencia directa en diferentes arquitecturas de modelos. Por ejemplo, en videos largos con Qwen3-Omni-Instruct, la precisión mejoró del 45.50% al 60.85%.
- Comparación con Marcos Agentes: A diferencia de los marcos agentes existentes (OmniAgent, ActiveVideoPerception) que rindieron peor que la inferencia directa al adaptarse a modelos de código abierto, AOP-Agent logró resultados superiores. Esto sugiere que los métodos existentes, a menudo diseñados para modelos propietarios potentes, amplifican la acumulación de errores en modelos de código abierto más débiles sin el soporte estructural específico que proporciona AOP-Agent.
- Estudios de Ablación:
  - Componentes: Tanto los agentes Planificador como Reflexor contribuyeron al rendimiento, siendo el bucle completo el que obtuvo los mejores resultados.
  - Asignación de Modelos: Se encontró que capacidades de planificación y reflexión más fuertes eran más críticas que la fuerza del razonador final, destacando que la selección efectiva de evidencia precede al razonamiento exitoso.
  - Rondas de Observación: El rendimiento mejoró con rondas de observación aumentadas (hasta 3) pero se saturó o degradó ligeramente con rondas excesivas, indicando una compensación entre la recuperación de evidencia y la acumulación de ruido.

Significado y Afirmaciones

El documento afirma que el principal cuello de botella para los Omni-LLMs actuales en el razonamiento de múltiples saltos no es meramente la capacidad de razonamiento en sí, sino la capacidad de localizar, preservar e integrar efectivamente evidencia escasa y dispersa temporalmente.

Al cambiar del procesamiento pasivo de video a la percepción activa e iterativa, AOP-Agent permite a los modelos de código abierto inspeccionar selectivamente la evidencia relevante para la pregunta. Los autores postulan que este enfoque ofrece un paradigma escalable y efectivo para el razonamiento omnimodal en videos largos, particularmente en escenarios donde la evidencia decisiva es escasa. El trabajo demuestra que el razonamiento complejo de múltiples saltos puede lograrse sin modelos propietarios costosos o entrenamiento a gran escala, siempre que el sistema esté equipado con memoria jerárquica y un bucle estructurado de percepción activa.

Limitaciones Reconocidas:

La escala de MOV-Bench está limitada por los costos de anotación.
El bucle de múltiples rondas introduce sobrecarga en la inferencia.
El sistema sigue siendo susceptible a alucinaciones en la base de memoria subyacente, lo que puede propagar errores.
La construcción actual de la memoria es basada en procesos fuera de línea, lo que limita la aplicabilidad a escenarios de transmisión en tiempo real.