Resumo Técnico: Nemotron-Labs-Audio-Visual Flamingo (AV-Flamingo)

1. Definição do Problema

Apesar do domínio do vídeo no tráfego global da internet e da experiência humana do mundo como uma sequência audiovisual contínua, os atuais Grandes Modelos de Linguagem (LLMs) têm dificuldade em compreender e raciocinar sobre vídeos longos e complexos de maneira semelhante à humana. Os atuais Modelos de Linguagem de Grande Escala Áudio-Visuais (AV-LLMs) focam primariamente em clipes curtos e frequentemente tratam as modalidades de áudio e visão separadamente ou dependem de aprendizado cross-modal implícito. Os principais desafios incluem:

• Escassez de Dados: Falta de dados áudio-visuais pareados de grande escala e alta qualidade projetados para o raciocínio conjunto, particularmente para conteúdo de longa duração. A maioria dos recursos disponíveis é unimodal ou limitada a tarefas de reconhecimento de curta duração.
• Limitações Arquiteturais: Os modelos atuais frequentemente exibem um "viés visual", onde camadas mais profundas privilegiam a visão e suprimem representações latentes de áudio, levando a uma percepção conjunta deficiente.
• Raciocínio Temporal: As abordagens existentes falham em fundamentar efetivamente os passos de raciocínio intermediários a carimbos de tempo (timestamps) específicos em fluxos áudio-visuais longos, resultando em degradação de desempenho conforme a duração do vídeo aumenta.
• Ecossistemas Fechados: Os modelos mais capazes são frequentemente de código fechado ou apenas de pesos abertos, dificultando a reprodutibilidade e o progresso aberto.

2. Metodologia

Os autores apresentam o Nemotron-Labs-Audio-Visual Flamingo (AV-Flamingo), um AV-LLM totalmente aberto e de última geração, projetado para a compreensão e o raciocínio conjuntos sobre vídeos reais longos e complexos. A abordagem é construída sobre três pilares técnicos centrais:

A. Arquitetura

O AV-Flamingo é baseado na arquitetura OmniVinci, utilizando um LLM base Qwen2.5-7B. O sistema integra cinco componentes chave:

1. Codificador de Visão SigLip: Extrai características espaciais densas de imagens e quadros de vídeo, processadas através de um módulo Dinâmico S2 "Spatial-Scale-then-Compress" para lidar com entradas de alta resolução sem consumo excessivo de tokens.
2. Codificador de Áudio AF-Whisper: Um codificador baseado em Whisper que utiliza um mecanismo de janela deslizante para processar áudio de comprimento arbitrário (segmentado em blocos de 30 segundos) sem truncamento.
3. Alinhamento Cross-Modal: Sequências de tokens visuais e de áudio são intercaladas temporalmente e alinhadas usando Constrained Rotary Time Embeddings (CRTE). Isso garante que o LLM possa distinguir a ordenação e o tempo relativo de eventos multimodais.
4. Backbone de LLM: Processa a sequência de tokens intercalados de forma autorregressiva.
5. Streaming TTS: Um módulo transformador de decodificação única que permite interação voz-para-voz em tempo real.

B. Curadoria de Dados: Audio-Visual-Skills (AV-Skills)

Para enfrentar o gargalo de dados, os autores introduzem o AV-Skills, um conjunto de dados de grande escala composto por aproximadamente 7 milhões de instâncias de treinamento (legendas e pares de QA) em vídeos curtos (até 60s) e longos (60s–15 min).

• Fontes: Derivados de conjuntos de dados públicos (ex: YouTube-8M, LSMDC, MovieClips) e vídeos da internet aberta.
• Foco em Habilidades (Skills): Diferente de conjuntos de dados anteriores focados em reconhecimento, o AV-Skills visa habilidades de raciocínio complexo, incluindo:
  • Curta duração: Raciocínio de relação, mudança de emoção, raciocínio temporal, percepção espacial, raciocínio causal, detecção de alucinação e contagem (áudio/vídeo).
  • Longa duração: Raciocínio "needle-in-the-haystack" (agulha no palheiro), referência/ordenação temporal, compreensão de subcenas, raciocínio holístico, raciocínio de nível de tópico e legendagem detalhada.

C. Currículo de Treinamento

O modelo passa por um currículo de três estágios para escalar progressivamente as capacidades:

1. Pré-treinamento (Contexto Curto): Inicializa a partir do OmniVinci e realiza o ajuste fino total em uma mistura de dados unimodais e AV-Skills-Short (duração máxima de 5 min, contexto de 16K). Isso preserva habilidades fundamentais enquanto introduz o raciocínio cross-modal.
2. Meio-treinamento (Contexto Longo): Expande para dados AV-Skills-Long (duração máxima de 15 min, contexto de 32K). Este estágio foca em legendagem de longa duração, fundamentação temporal precisa e QA complexo, retendo habilidades de contexto curto via dados subamostrados. O modelo resultante é o AVF-Instruct.
3. Pós-treinamento (Raciocínio): Treinado no AV-Think, um conjunto de dados de tripletos de pergunta-resposta-raciocínio. Este estágio emprega Fine-Tuning Supervisionado (SFT) seguido de Aprendizado por Reforço via Group Relative Policy Optimization (GRPO). O objetivo é produzir racionalidades estruturadas passo a passo ancoradas a carimbos de tempo específicos. O modelo final é o AVF-Think.

D. Temporal Audio-Visual Interleaved Chain-of-Thought (TAVIT)

Um novo framework de raciocínio onde os passos de raciocínio intermediários são explicitamente fundamentados a carimbos de tempo tanto nos fluxos de áudio quanto nos visuais (ex: tags <t>...</t>). Isso melhora o alinhamento temporal, a interpretabilidade e a capacidade do modelo de navegar em fluxos longos e complexos.

3. Principais Contribuições

1. Modelo AV-Flamingo: Um AV-LLM de fronteira totalmente aberto, capaz de compreensão e raciocínio áudio-visual conjuntos sobre vídeos reais longos e complexos.
2. Receita Escalável: Um framework abrangente para a próxima geração de AV-LLMs, incluindo curadoria de dados em escala de internet (AV-Skills), expansão de capacidade direcionada e raciocínio temporalmente fundamentado (TAVIT).
3. Lançamento Open Source: Os autores disponibilizam os pesos do modelo, código de treinamento, código de inferência e técnicas associadas para apoiar pesquisas futuras.
4. Desempenho: O AV-Flamingo supera modelos abertos de tamanho similar por margens claras e permanece altamente competitivo com, ou supera, modelos de pesos abertos e fechados muito maiores (ex: Gemini 2.5 Pro, GPT-4o) em tarefas longas e complexas.

4. Resultados Experimentais

O modelo foi avaliado em mais de 15 benchmarks abrangendo áudio, visão, omni-modalidade e compreensão de fala.

• Compreensão Omni-Modal: O AVF-Think alcançou 51,6% no WorldSense e 73,9% no DailyOmni, superando o Qwen2.5-Omni e o OmniVinci. No MMOU (um benchmark para raciocínio de vídeo longo), o AVF-Think atingiu 60,2%, superando significativamente a linha de base de código aberto Minicpm-o 4.5 (46,8%) e aproximando-se do proprietário Gemini-2.5 Pro (64,2%).
• Compreensão de Vídeo: No Video-MME, o AVF-Instruct marcou 70,7% (sem legendas) e 71,2% (com legendas), superando o NVILA e o OmniVinci.
• Compreensão de Áudio: O AVF-Instruct alcançou a melhor pontuação média geral (73,49) no MMAU, superando o Audio Flamingo 3 e o OmniVinci. Também estabeleceu novos resultados de estado da arte em vários benchmarks de ASR, incluindo 1.64 WER no LibriSpeech test-clean.
• Robustez: O modelo demonstrou forte generalização para tarefas não vistas e robustez em vídeos de longa duração, onde o desempenho tipicamente degrada em outros modelos.

5. Significância e Alegações

O artigo afirma que o AV-Flamingo representa um passo significativo em direção ao escalonamento da inteligência áudio-visual aberta além dos benchmarks acadêmicos. Ao alavancar dados em escala de internet e pós-treinamento direcionado para raciocínio, ele aborda a lacuna crítica na compreensão áudio-visual de longa duração e temporalmente fundamentada.

Os autores enfatizam que o lançamento do modelo, dos dados e do código reduz a barreira para pesquisadores sem acesso a recursos proprietários, fomentando um ecossistema de pesquisa mais inclusivo. Eles reconhecem limitações, como o potencial viés de origem nos dados da internet aberta e desafios com evidências extremamente densas ou esparsas em vídeos muito longos, mas posicionam o AV-Flamingo como uma base robusta para futuros sistemas áudio-visuais abertos. O trabalho destaca que a fundamentação temporal explícita e o raciocínio cross-modal são essenciais para ir além do simples reconhecimento rumo à verdadeira compreensão de conteúdo de vídeo real complexo.