🤖 AI

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

Este artículo presenta ST-OmniQA, un benchmark audiovisual espacio-temporal a gran escala con 40K videos panorámicos y audio Ambisonics, y propone ST-Omni-R1, un modelo que supera significativamente a los modelos de referencia al integrar pistas de audio direccional con contexto visual mediante un currículo progresivo y aprendizaje por refuerzo para razonar sobre la identidad, ubicación y movimiento de las fuentes de sonido.

Autores originales: Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que caminas por una calle concurrida con los ojos cerrados. Escuchas a un perro ladrar, un coche tocar la bocina y a alguien reír. Tu cerebro no solo percibe "ruido"; instantáneamente identifica qué está produciendo el sonido, de dónde viene y hacia dónde se dirige. Sabe que el perro está corriendo hacia la izquierda, que el coche se aproxima desde la derecha y que la risa proviene de una persona que aún no puedes ver. Esta capacidad de mezclar la audición y la visión para rastrear objetos en movimiento es un superpoder que los humanos poseemos, pero es una pesadilla para las computadoras.

Durante mucho tiempo, los programas informáticos que comprenden el sonido (Modelos de Lenguaje de Audio) fueron como personas con los ojos cerrados: podían decirte que un perro ladraba, pero no podían decirte si el perro se movía hacia ti o se alejaba. Por otro lado, los programas que comprenden el video (Modelos de Lenguaje de Visión) fueron como personas con los oídos tapados: podían ver a un perro, pero no sabían si ese perro específico era el que estaba ladrando o si solo estaba allí parado en silencio. El gran desafío en la ciencia actual es construir un cerebro robótico que pueda hacer ambas cosas al mismo tiempo: escuchar el sonido, observar el video y descifrar exactamente cómo se mueve la fuente del sonido a través del espacio y el tiempo. Este artículo aborda precisamente ese problema, intentando enseñar a las máquinas a "escuchar, ver y rastrear" simultáneamente.

El Problema: Los Robots "Ciegos" y "Sordos"

Los autores de este artículo notaron una brecha en la forma en que las computadoras inteligentes piensan actualmente. Algunos modelos son excelentes para comprender el audio, pero tratan un clip de video completo como un único evento sonoro grande y borroso. Pierden los detalles de dónde proviene un sonido o cómo se mueve. Otros modelos son excelentes para observar videos, pero dependen de un audio simple que no tiene suficiente información "espacial" (como dirección o distancia) para saber dónde están las cosas.

Piensa en ello como intentar encontrar a un amigo en un parque concurrido. Si solo tienes una descripción de su voz (audio), podrías saber que está allí, pero no puedes señalarlo. Si solo tienes una foto (video), puedes verlo, pero no sabes si es él quien está hablando. Para entender realmente la escena, necesitas vincular la voz con la persona y rastrear su movimiento mientras camina detrás de un árbol o alrededor de una esquina. Los modelos existentes luchan con este problema de "vinculación": no pueden conectar fácilmente un sonido en movimiento con un objeto en movimiento en un video.

La Solión: Un Nuevo Patio de Juegos y un Nuevo Cerebro

Para solucionar esto, los investigadores crearon dos cosas: un nuevo examen gigante llamado ST-OmniQA y un nuevo modelo de IA llamado ST-Omni-R1.

1. El Examen: ST-OmniQA
Imagina un videojuego masivo donde la cámara gira 360 grados (video panorámico) y el sonido se graba con micrófonos especiales que saben exactamente de dónde vienen los sonidos (llamados Ambisonics de Primer Orden o FOA). Los investigadores construyeron un conjunto de datos con 40,000 de estos clips de video y 400,000 preguntas sobre ellos.

Las preguntas se vuelven más difíciles en cuatro niveles, como en un videojuego:

Nivel A (Lo Básico): "¿Qué sonido es este?" o "¿Qué tan lejos está?".
Nivel B (La Multitud): "Hay dos perros ladrando; ¿cuál está a la izquierda?".
Nivel C (La Persecución): "¿Qué fuente de sonido se mueve hacia la persona que está parada allí?".
Nivel D (El Misterio): "Se escuchó un sonido entre los 2 y 3 segundos, pero la fuente aún no era visible. Entró por la puerta izquierda entre los 3 y 5 segundos. ¿Quién fue?".

Este examen obliga a la IA no solo a adivinar, sino a razonar sobre el tiempo, el espacio y cómo encajan la visión y el oído.

2. El Cerebro: ST-Omni-R1
Los investigadores construyeron un nuevo modelo de IA para realizar este examen. En lugar de solo escuchar un archivo de sonido plano, este modelo utiliza un "traductor" especial (el codificador STA) que convierte los datos de sonido 3D en una lista de "tokens de trayectoria". Piensa en estos tokens como un rastro de migas de pan que le dice a la IA exactamente cómo se movió un sonido a lo largo del tiempo.

El modelo aprende por etapas, como un estudiante que recorre la escuela:

Etapa A: Aprende a identificar sonidos simples y dónde están.
Etapa B: Aprende a manejar múltiples sonidos a la vez.
Etapa C: Aprende a comparar cómo se mueven diferentes sonidos entre sí.
Etapa D: Aprende a vincular el sonido con el objeto específico en el video, incluso si el objeto desaparece detrás de una pared (oclusión) y luego reaparece.

Para hacer al modelo aún más inteligente, utilizaron una técnica llamada "Aprendizaje por Refuerzo de Árbol de Razonamiento". Imagina que la IA está resolviendo un rompecabezas. En lugar de solo darle la respuesta, el sistema verifica cada paso de su proceso de pensamiento. Si la IA dice: "El perro está a la izquierda", el sistema verifica si la IA identificó correctamente al perro, vio correctamente que estaba a la izquierda y vinculó correctamente el ladrido con el perro. Si los pasos no coinciden, la IA recibe una corrección con "lápiz rojo". Esto ayuda al modelo a aprender a ser consistente y lógico.

Los Resultados: Un Gran Salto Adelante

Cuando sometieron a ST-Omni-R1 al examen ST-OmniQA, tuvo un desempeño increíble.

Los mejores modelos existentes (como la IA de propósito general más inteligente disponible) solo obtuvieron aproximadamente el 37.28% de las respuestas correctas en promedio.
ST-Omni-R1, tras su entrenamiento especial, alcanzó una precisión del 77.83%.

Esto no es solo una pequeña mejora; es un salto masivo. El modelo demostró que podía manejar escenarios complejos, como rastrear una fuente de sonido que se esconde detrás de un objeto y luego reaparece, o distinguir entre dos sonidos similares que se mueven en direcciones diferentes.

Los investigadores también probaron su modelo en otros tres conjuntos de datos de audio del mundo real (TAU-NIGENS, L3DAS22 y STARSS23) que nunca había visto antes. Incluso sin haber sido entrenado específicamente en ellos, ST-Omni-R1 superó a los modelos anteriores más destacados. Esto sugiere que la forma en que el modelo aprendió a comprender el espacio y el movimiento es una habilidad que puede utilizar en muchas situaciones diferentes, no solo en el examen específico que construyeron.

Por Qué Esto Importa

Este artículo muestra que nos estamos acercando a dar a las computadoras la capacidad humana de "escuchar y ver" el mundo como una única historia en movimiento. Al enseñar a las máquinas a rastrear el viaje de una fuente de sonido —sabiendo dónde comenzó, hacia dónde fue y qué aspecto tenía incluso cuando estaba oculta—, estamos construyendo la base para robots y asistentes virtuales que realmente puedan comprender nuestro mundo dinámico, ruidoso y visual. Los autores sugieren que este enfoque de combinar el sonido 3D con video panorámico y enseñar a la IA a razonar paso a paso es la clave para desbloquear este siguiente nivel de inteligencia.

Resumen Técnico: Escuchar, Ver y Rastrear: Razonamiento de Eventos Sonoros Espacio-Temporales Audio-Visuales para Modelos de Lenguaje Omni-modales

Declaración del Problema

Comprender fuentes de sonido dinámicas requiere que un modelo determine conjuntamente qué produce un sonido, dónde se encuentra la fuente y cómo se mueve a lo largo del tiempo. Aunque los modelos de audio-lenguaje existentes han avanzado en la semántica de eventos globales, suelen pasar por alto la geometría variable en el tiempo de las fuentes individuales. Por el contrario, los modelos de visión-lenguaje y los modelos omni-modales actuales suelen depender de audio monoaural, careciendo de las pistas espaciales necesarias para la localización de la fuente y el seguimiento de la trayectoria.

Los métodos actuales abordan solo fragmentos de este problema:

Los modelos SELD recuperan la actividad y las direcciones variables en el tiempo, pero están limitados por vocabularios fijos y salidas estructuradas, lo que dificulta el razonamiento abierto.
Los modelos espaciales LALM (por ejemplo, BAT, OWL, SPUR) permiten razonar sobre identidad, dirección y distancia, pero caracterizan principalmente escenas estáticas o atributos a nivel de clip.
Los enfoques de solo audio (por ejemplo, ST-AudioLM) modelan trayectorias en movimiento, pero no logran vincular estas trayectorias acústicas con instancias visibles ni razonar sobre oclusiones y puntos de referencia (landmarks).

Esto crea tres brechas específicas: una brecha de percepción en la recuperación de la geometría de la fuente variable en el tiempo, una brecha de vinculación al asociar trayectorias acústicas con entidades visibles, y una brecha de razonamiento al componer evidencia espacial, temporal y cross-modal.

Metodología

1. Benchmark: ST-OmniQA

Para evaluar estas capacidades ausentes, los autores introducen ST-OmniQA, un benchmark de preguntas y respuestas audio-visuales espacio-temporales.

Composición de Datos: 40,000 videos panorámicos sincronizados de 10 segundos emparejados con audio de Ambisonics de Primer Orden (FOA). El conjunto de datos incluye 400,000 pares de pregunta-respuesta.
Generación de Escenas: Las escenas se renderizan en entornos interiores navegables (basados en Matterport3D) con acústica simulada mediante SoundSpaces 2.0. Las configuraciones incluyen fuentes estáticas y dinámicas, únicas o múltiples.
Anotación: Cada fuente está anotada con un estado multimodal $S_i(t)$ que captura la identidad del evento, actividad, azimut/elevación/distancia, movimiento, visibilidad y relaciones con puntos de referencia u oclusores.
Niveles de Capacidad: Las preguntas se organizan en cuatro niveles progresivos:
- Nivel A: Percepción acústica de fuente única (evento, DoA, distancia).
- Nivel B: Percepción espacial de múltiples fuentes (selección, desambiguación).
- Nivel C: Razonamiento relacional espacio-temporal (relaciones condicionadas al tiempo, comparación de trayectorias).
- Nivel D: Razonamiento audio-visual basado en la escena (vinculación de instancias, oclusión, seguimiento tras la desaparición visual).
Control de Calidad: Las preguntas de Nivel D imponen restricciones de necesidad de modalidad, asegurando que la respuesta sea única solo cuando la evidencia de audio y visual se vinculan conjuntamente (es decir, ninguna modalidad por sí sola es suficiente).

2. Modelo: ST-Omni-R1

El modelo propuesto, ST-Omni-R1, integra representaciones derivadas de FOA con contexto visual panorámico.

Arquitectura:
- Codificador STA: Un codificador especializado para FOA variable en el tiempo. Procesa formas de onda FOA de 4 canales (W, X, Y, Z) en espectrogramas log-Mel y vectores de intensidad acústica. Produce un token semántico (para la identidad del evento) y K tokens de trayectoria ordenados temporalmente (para estados de movimiento).
- Codificador Visual: Utiliza Qwen2.5-VL-7B-Instruct para procesar video panorámico.
- Conector: Mapea los tokens de audio al espacio de incrustación (embedding) del modelo de lenguaje para la decodificación conjunta con tokens de video y texto.
Estrategia de Entrenamiento:
- Inicialización: El codificador STA es pre-entrenado con percepción estática (evento, DoA, distancia) y adaptación dinámica (supervisión densa para actividad, dirección y distancia a lo largo del tiempo) utilizando una función de pérdida de trayectoria.
- Aprendizaje Curricular Progresivo (Etapa I): El modelo se entrena en cuatro etapas (A–D) correspondientes a los niveles del benchmark. Esto aumenta gradualmente la dificultad del razonamiento, desde la percepción de una sola fuente hasta el análisis espacio-temporal de múltiples fuentes y el razonamiento basado en la escena.
- Aprendizaje por Refuerzo de Árbol de Razonamiento (Etapa II): Para imponer consistencia en los pasos de razonamiento, el modelo se somete a aprendizaje por refuerzaento. Se construye un árbol de tareas específicas a partir de las anotaciones, donde los nodos intermedios representan estados y vínculos de la fuente. Una función de recompensa evalúa el cumplimiento del formato, la consistencia del razonamiento a nivel de nodo y la precisión de la respuesta final, optimizada mediante Optimización de Política Relativa al Grupo (GRPO).

Contribuciones Clave

Benchmark ST-OmniQA: Un benchmark multinivel con 40K videos y 400K pares de QA diseñado con restricciones de necesidad de modalidad y grafos de razonamiento ejecutables para evaluar la percepción de fuentes, localización de múltiples fuentes, relaciones de trayectoria y razonamiento compositivo.
Modelo ST-Omni-R1: Una arquitectura novedosa que presenta un codificador STA para FOA variable en el tiempo y un marco de aprendizaje curricular progresivo combinado con aprendizaje por refuerzo de árbol de razonamiento para soportar un razonamiento espacio-temporal cada vez más compositivo.
Evaluación Exhaustiva: Comparaciones por niveles de tarea, ablaciones etapa por etapa y evaluaciones de transferencia en tres benchmarks de audio espacial público (TAU-NIGENS, L3DAS22, STARSS23) que demuestran el rendimiento en ST-OmniQA y la transferibilidad de las representaciones aprendidas.

Resultados

Rendimiento en ST-OmniQA: ST-Omni-R1 logra una precisión semántica promedio del 77.83% en los cuatro niveles de capacidad (con RL de árbol de razonamiento), superando significativamente al mejor baseline (Gemini-2.5-Pro con 37.28%) y a otros modelos de código abierto (por ejemplo, Qwen2.5-Omni con 27.20%).
- Muestra una fuerza particular en el Nivel D (razonamiento basado en la escena), alcanzando un 94.70% de precisión.
Transferibilidad: En tres benchmarks de audio espacial del mundo real, ST-Omni-R1 supera consistentemente al baseline de audio espacial BAT.
- En STARSS23 (que incluye video), el modelo logra un 51.54% de precisión general frente al 11.74% de BAT, resaltando el beneficio de vincular las trayectorias acústicas con la evidencia visual.
- En los benchmarks de solo audio (TAU-NIGENS, L3DAS22), también muestra un rendimiento superior, indicando que las representaciones espaciales y de movimiento aprendidas se generalizan más allá del conjunto de datos específico de ST-OmniQA.
Estudios de Ablación:
- Aprendizaje Curricular: El entrenamiento progresivo de Nivel A a D es esencial; saltarse etapas resulta en caídas significativas de rendimiento, particularmente en tareas de razonamiento complejo.
- Modalidad: La combinación de entradas de audio y visual genera un perfil de capacidad más equilibrado que cualquiera de las dos modalidades por separado.
- RL: La etapa de aprendizaje por refuerzo de árbol de razonamiento consolida aún más las capacidades, mejorando la precisión en todos los niveles.

Significado

El artículo argumenta que la comprensión de fuentes de sonido dinámicas es fundamentalmente un problema de seguimiento y vinculación. La importancia de este trabajo radica en cerrar la brecha entre la percepción acústica y la fundamentación visual para fuentes en movimiento. Al introducir un benchmark que requiere el razonamiento conjunto sobre la semántica de la fuente, la ubicación, el movimiento y la identidad visual, y al demostrar un modelo que aprende con éxito estas representaciones espacio-temporales, el trabajo hace avanzar a los modelos de lenguaje omni-modales hacia el manejo de entidades multimodales persistentes cuyas propiedades evolucionan con el tiempo. Los resultados sugieren que el modelado explícito de las trayectorias de FOA variables en el tiempo y el uso de aprendizaje por refuerzo basado en currículo son críticos para lograr un razonamiento audio-visual espacio-temporal robusto.