🤖 AI

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

Este artigo introduz o ST-OmniQA, um benchmark audiovisual espaço-temporal de larga escala com 40 mil vídeos panorâmicos e áudio Ambisonics, e propõe o ST-Omni-R1, um modelo que supera significativamente os baselines ao integrar pistas de áudio direcionais com contexto visual através de currículo progressivo e aprendizado por reforço para raciocinar sobre a identidade, localização e movimento das fontes sonoras.

Autores originais: Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma rua movimentada com os olhos fechados. Você ouve um cachorro latindo, um carro buzinando e alguém rindo. Seu cérebro não apenas ouve "ruído"; ele entende instantaneamente o que está fazendo o som, de onde ele vem e para onde está indo. Ele sabe que o cachorro está correndo para a esquerda, que o carro está se aproximando pela direita e que o riso vem de uma pessoa que você ainda não consegue ver. Essa habilidade de misturar audição e visão para rastrear coisas em movimento é um superpoder que os humanos possuem, mas é um pesadelo para os computadores.

Por muito tempo, programas de computador que entendem o som (Modelos de Áudio-Linguagem) eram como pessoas de olhos fechados: podiam dizer que um cachorro estava latindo, mas não conseguiam dizer se o cachorro estava se movendo em sua direção ou fugindo de você. Por outro lado, programas que entendem vídeo (Modelos de Visão-Linguagem) eram como pessoas com os ouvidos tapados: podiam ver um cachorro, mas não sabiam se aquele cachorro específico era o que estava latindo ou se estava apenas parado ali silenciosamente. O grande desafio na ciência agora é construir um cérebro robótico que possa fazer ambos ao mesmo tempo — ouvir o som, observar o vídeo e descobrir exatamente como a fonte sonora está se movendo pelo espaço e pelo tempo. Este artigo aborda exatamente esse problema, tentando ensinar as máquinas a "ouvir, ver e rastrear" simultaneamente.

O Problema: Os Robôs "Cegos" e "Surdos"

Os autores deste artigo notaram uma lacuna na forma como os computadores inteligentes pensam atualmente. Alguns modelos são ótimos em entender o áudio, mas tratam um clipe de vídeo inteiro como um único evento sonoro grande e borrado. Eles perdem os detalhes de onde um som vem ou como ele se move. Outros modelos são ótimos em observar vídeos, mas dependem de um áudio simples que não possui informações "espaciais" suficientes (como direção ou distância) para saber onde as coisas estão.

Pense nisso como tentar encontrar um amigo em um parque lotado. Se você tiver apenas a descrição da voz dele (áudio), poderá saber que ele está lá, mas não conseguirá apontar para ele. Se você tiver apenas uma foto (vídeo), poderá vê-lo, mas não saberá se é ele quem está falando. Para realmente entender a cena, você precisa combinar a voz à pessoa e rastrear seu movimento enquanto ela caminha atrás de uma árvore ou contorna uma esquina. Os modelos existentes lutam com esse problema de "vinculação" (binding) — eles não conseguem facilmente conectar um som em movimento a um objeto em movimento em um vídeo.

A Solução: Um Novo Parque de Diversões e um Novo Cérebro

Para corrigir isso, os pesquisadores criaram duas coisas: um novo teste gigante chamado ST-OmniQA e um novo modelo de IA chamado ST-Omni-R1.

1. O Teste: ST-OmniQA
Imagine um videogame massivo onde a câmera gira 360 graus (vídeo panorâmico) e o som é registrado com microfones especiais que sabem exatamente de onde os sons vêm (chamados de Ambissonics de Primeira Ordem ou FOA). Os pesquisadores construíram um conjunto de dados com 40.000 desses clipes de vídeo e 400.000 perguntas sobre eles.

As perguntas tornam-se mais difíceis em quatro níveis, como um videogame:

Nível A (O Básico): "Que som é este?" ou "Quão longe ele está?"
Nível B (A Multidão): "Há dois cachorros latindo; qual deles está à esquerda?"
Nível C (A Perseguição): "Qual fonte sonora está se movendo em direção à pessoa que está parada ali?"
Nível D (O Mistério): "Um som foi ouvido entre 2 e 3 segundos, mas a fonte ainda não estava visível. Ela entrou pela porta esquerda entre 3 e 5 segundos. Quem era?"

Este teste força a IA não apenas a adivinhar, mas a raciocinar sobre tempo, espaço e como o som e a visão se encaixam.

2. O Cérebro: ST-Omni-R1
Os pesquisadores construíram um novo modelo de IA para realizar este teste. Em vez de apenas ouvir um arquivo de som plano, este modelo usa um "tradutor" especial (o codificador STA) que transforma os dados de som 3D em uma lista de "tokens de trajetória". Pense nesses tokens como um rastro de migalhas de pão que diz à IA exatamente como um som se moveu ao longo do tempo.

O modelo aprende em estágios, como um aluno passando pela escola:

Estágio A: Aprende a identificar sons simples e onde eles estão.
Estágio B: Aprende a lidar com múltiplos sons ao mesmo tempo.
Estágio C: Aprende a comparar como diferentes sons se movem em relação uns aos outros.
Estágio D: Aprende a vincular o som ao objeto específico no vídeo, mesmo que o objeto desapareça atrás de uma parede (oclusão) e reapareça.

Para tornar o modelo ainda mais inteligente, eles usaram uma técnica de "Aprendizado por Reforço de Árvore de Raciocínio" (Reasoning-Tree Reinforcement Learning). Imagine a IA resolvendo um quebra-cabeça. Em vez de apenas dar a resposta, o sistema verifica cada etapa do processo de pensamento. Se a IA diz: "O cachorro está à esquerda", o sistema verifica se a IA identificou corretamente o cachorro, se viu corretamente que ele estava à esquerda e se vinculou corretamente o latido ao cachorro. Se as etapas não coincidirem, a IA recebe uma correção com "caneta vermelha". Isso ajuda o modelo a aprender a ser consistente e lógico.

Os Resultados: Um Grande Salto Adiante

Quando colocaram o ST-Omni-R1 para realizar o teste ST-OmniQA, ele teve um desempenho incrível.

Os melhores modelos existentes (como a IA de propósito geral mais inteligente disponível) acertaram apenas cerca de 37,28% das respostas, em média.
O ST-Omni-R1, após seu treinamento especial, alcançou 77,83% de precisão.

Isso não é apenas uma pequena melhoria; é um salto massivo. O modelo provou que pode lidar com cenários complexos, como rastrear uma fonte sonora que fica escondida atrás de um objeto e depois reaparece, ou distinguir entre dois sons semelhantes movendo-se em direções diferentes.

Os pesquisadores também testaram seu modelo em três outros conjuntos de dados de áudio do mundo real (TAU-NIGENS, L3DAS22 e STARSS23) que ele nunca tinha visto antes. Mesmo sem ter sido especificamente treinado para eles, o ST-Omni-R1 superou os modelos anteriores de melhor desempenho. Isso sugere que a maneira como o modelo aprendeu a entender o espaço e o movimento é uma habilidade que ele pode usar em muitas outras situações, não apenas no teste específico que construíram.

Por Que Isso Importa

Este artigo mostra que estamos chegando mais perto de dar aos computadores a habilidade humana de "ouvir e ver" o mundo como uma única história em movimento. Ao ensinar as máquinas a rastrear a jornada de uma fonte sonora — sabendo onde ela começou, para onde foi e como era, mesmo quando estava escondida — estamos construindo uma base para robôs e assistentes virtuais que podem realmente entender nosso mundo dinâmico, barulhento e visual. Os autores sugerem que essa abordagem de combinar som 3D com vídeo panorâmico e ensinar a IA a raciocinar passo a passo é a chave para desbloquear este próximo nível de inteligência.

Resumo Técnico: Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

Declaração do Problema

Compreender fontes de som dinâmicas exige que um modelo determine conjuntamente o que produz um som, onde a fonte está localizada e como ela se move ao longo do tempo. Embora os modelos atuais de áudio-linguagem tenham avançado na semântica global de eventos, eles tipicamente negligenciam a geometria variável no tempo de fontes individuais. Por outro lado, modelos de visão-linguagem e os atuais modelos omnimodais frequentemente dependem de áudio monoaural, carecendo das pistas espaciais necessárias para a localização de fontes e rastreamento de trajetórias.

Os métodos atuais abordam apenas fragmentos deste problema:

Modelos SELD recuperam atividade e direções variáveis no tempo, mas são limitados por vocabulários fixos e saídas estruturadas, o que dificulta o raciocínio de código aberto (open-ended).
LALMs Espaciais (ex: BAT, OWL, SPUR) suportam o raciocínio sobre identidade, direção e distância, mas caracterizam primariamente cenas estáticas ou atributos de nível de clipe.
Abordagens apenas de áudio (ex: ST-AudioLM) modelam trajetórias em movimento, mas falham em vincular essas trajetórias acústicas a instâncias visíveis ou em raciocinar sobre oclusão e marcos de referência (landmarks).

Isso cria três lacunas específicas: uma lacuna de percepção na recuperação da geometria de fontes variáveis no tempo, uma lacuna de vinculação (binding) na associação de trajetórias acústicas com entidades visíveis e uma lacuna de raciocínio na composição de evidências espaciais, temporais e multimodais.

Metodologia

1. Benchmark: ST-OmniQA

Para avaliar essas capacidades ausentes, os autores introduzem o ST-OmniQA, um benchmark de questionamento e resposta (QA) audiovisual espaço-temporal.

Composição de Dados: 40.000 vídeos panorâmicos sincronizados de 10 segundos pareados com áudio de Primeira Ordem Ambissonics (FOA). O conjunto de dados inclui 400.000 pares de pergunta-resposta.
Geração de Cenas: As cenas são renderizadas em ambientes internos navegáveis (baseados no Matterport3D) com acústica simulada via SoundSpaces 2.0. As configurações incluem fontes estáticas e dinâmicas únicas ou múltiplas.
Anotação: Cada fonte é anotada com um estado multimodal $S_i(t)$ capturando identidade do evento, atividade, azimute/elevação/distância, movimento, visibilidade e relações com marcos/oclusores.
Níveis de Capacidade: As perguntas são organizadas em quatro níveis progressivos:
- Nível A: Percepção acústica de fonte única (evento, DoA, distância).
- Nível B: Percepção espacial de múltiplas fontes (seleção, desambiguação).
- Nível C: Raciocínio relacional espaço-temporal (relações condicionadas ao tempo, comparação de trajetórias).
- Nível D: Raciocínio audiovisual fundamentado na cena (vinculação de instância, oclusão, rastreamento após o desaparecimento visual).
Controle de Qualidade: As perguntas do Nível D impõem restrições de necessidade de modalidade, garantindo que a resposta seja única apenas quando as evidências de áudio e visual são conjuntamente vinculadas (ou seja, nem a modalidade sozinha é suficiente).

2. Modelo: ST-Omni-R1

O modelo proposto, ST-Omni-R1, integra representações derivadas de FOA com contexto visual panorâmico.

Arquitetura:
- Codificador STA: Um codificador especializado para FOA variável no tempo. Ele processa formas de onda FOA de 4 canais (W, X, Y, Z) em espectrogramas log-Mel e vetores de intensidade acústica. Ele produz um token semântico (para identidade do evento) e K tokens de trajetória ordenados temporalmente (para estados de movimento).
- Codificador Visual: Utiliza o Qwen2.5-VL-7B-Instruct para processar vídeo panorâmico.
- Conector: Mapeia os tokens de áudio para o espaço de embedding do modelo de linguagem para decodificação conjunta com tokens de vídeo e texto.
Estratégia de Treinamento:
- Inicialização: O codificador STA é pré-treinado com percepção estática (evento, DoA, distância) e adaptação dinâmica (supervisão densa para atividade, direção e distância ao longo do tempo) usando uma função de perda de trajetória.
- Aprendizado de Currículo Progressivo (Estágio I): O modelo é treinado em quatro estágios (A–D) correspondentes aos níveis do benchmark. Isso aumenta gradualmente a dificuldade do raciocínio, da percepção de fonte única para análise espaço-temporal de múltiplas fontes e raciocínio fundamentado na cena.
- Aprendizado por Reforço de Árvore de Raciocínio (Estágio II): Para impor consistência nos passos de raciocínio, o modelo passa por aprendizado por reforço. Uma árvore específica da tarefa é construída a partir das anotações, onde nós intermediários representam estados e vínculos de fontes. Uma função de recompensa avalia a conformidade do formato, a consistência do raciocínio ao nível do nó e a precisão da resposta final, otimizada via Group-Relative Policy Optimization (GRPO).

Principais Contribuições

Benchmark ST-OmniQA: Um benchmark de múltiplos níveis com 40K vídeos e 400K pares de QA projetado com restrições de necessidade de modalidade e grafos de raciocínio executáveis para avaliar percepção de fonte, localização de múltiplas fontes, relações de trajetória e raciocínio composicional.
Modelo ST-Omni-R1: Uma arquitetura inovadora apresentando um codificador STA para FOA variável no tempo e um framework de aprendizado de currículo progressivo combinado com aprendizado por reforço de árvore de raciocínio para suportar raciocínio espaço-temporal cada vez mais composicional.
Avaliação Abrangente: Comparações extensas por nível de tarefa, ablações por estágio e avaliações de transferência em três benchmarks de áudio espacial (TAU-NIGENS, L3DAS22, STARSS23) demonstrando o desempenho no ST-OmniQA e a transferibilidade das representações aprendidas.

Resultados

Desempenho no ST-OmniQA: O ST-Omni-R1 atinge uma precisão semântica média de 77,83% através dos quatro níveis de capacidade (com RL de árvore de raciocínio), superando significativamente o melhor baseline (Gemini-2.5-Pro com 37,28%) e outros modelos de código aberto (ex: Qwen2.5-Omni com 27,20%).
- Demonstra força particular no Nível D (raciocínio fundamentado na cena), atingindo 94,70% de precisão.
Transferibilidade: Em três benchmarks de áudio espacial do mundo real, o ST-Omni-R1 supera consistentemente o baseline espacial-áudio BAT.
- No STARSS23 (que inclui vídeo), o modelo atinge 51,54% de precisão geral comparado aos 11,74% do BAT, destacando o benefamento de vincular trajetórias acústicas à evidência visual.
- Em benchmarks apenas de áudio (TAU-NIGENS, L3DAS22), também mostra desempenho superior, indicando que as representações espaciais e de movimento aprendidas generalizam além do dataset específico do ST-OmniQA.
Estudos de Ablação:
- Aprendizado de Currículo: O treinamento progressivo de Nível A a D é essencial; pular estágios resulta em quedas significativas de desempenho, particularmente em tarefas de raciocínio complexas.
- Modalidade: A combinação de entradas de áudio e visual produz um perfil de capacidade mais equilibrado do que qualquer uma das modalidades isoladamente.
- RL: O estágio de aprendizado por reforço de árvore de raciocínio consolida ainda mais as capacidades, melhorando a precisão em todos os níveis.

Significância

O artigo argumenta que a compreensão de fontes de som dinâmicas é fundamentalmente um problema de rastreamento e vinculação (tracking and binding). A significância deste trabalho reside em preencher a lacuna entre a percepção acústica e a fundamentação visual para fontes em movimento. Ao introduzir um benchmark que exige o raciocínio conjunto sobre semântica de fonte, localização, movimento e identidade visual, e ao demonstrar um modelo que aprende com sucesso essas representações espaço-temporais, o trabalho avança os modelos de linguagem omnimodais para lidar com entidades multimodais persistentes cujas propriedades evoluem ao longo do tempo. Os resultados sugerem que o modelamento explícito de trajetórias de FOA variáveis no tempo e o uso de aprendizado por reforço baseado em currículo são críticos para alcançar um raciocínio audiovisual espaço-temporal robusto.