Resumo Técnico: OmniEncoder

1. Declaração do Problema

Os atuais modelos de linguagem grandes omni-modais (OmniLLMs) tipicamente empregam um design modular específico para cada modalidade, utilizando codificadores separados para visão e áudio. Essa arquitetura frequentemente resulta em uma estratégia de amostragem "vídeo grosseiro, áudio denso", onde quadros visuais são amostrados em baixas frequências (1–2 fps) enquanto o áudio é processado em altas frequências (25 fps).

Os autores argumentam que esse design cria uma discrepância fundamental com a percepção humana. Os humanos percebem o mundo de forma holística, vendo, ouvindo e sentindo o movimento contínuo simultaneamente, com interações cross-modais ocorrendo nos estágios mais iniciais do processamento sensorial. A abordagem predominante "quadro a quadro, modalidade a modalidade" leva a:

• Interação cross-modal empobrecida durante a fase de codificação.
• Incapacidade de capturar movimento visual de alta granularidade, o que é crítico para tarefas como reconhecimento de língua de sinais, análise esportiva de alta granularidade e leitura labial.
• Ineficiência computacional ao tentar aumentar as taxas de quadros visuais para igualar a densidade do áudio usando mecanismos de atenção global, que escalonam quadraticamente ($O(T^2)$) com o comprimento da sequência.

2. Metodologia: Omni-Encoder

Para abordar esses desafios, os autores propõem o Omni-Encoder, uma espinha dorsal Transformer unificada projetada para co-incorporar sinais visuais e áudio em uma 25 fps simétrica dentro de um espaço latente compartilhado. A arquitetura processa vídeo e áudio brutos simultaneamente em vez de fundi-los em uma etapa posterior.

Componentes Arquitetônicos Principais

A. Modelo de Tokens do Omni-Encoder

O vídeo de entrada é decomposto em três fluxos de tokens distintos em cada posição temporal ($t$):

1. Tokens de Áudio ($a_t$): Extraídos de espectrogramas log-Mel via CNNs 1D leves.
2. Tokens Visuais Contínuos (VC) ($vc_t$): Vetores aprendíveis quadro a quadro introduzidos para capturar dinâmicas de movimento interquadro (por exemplo, trajetórias de movimento, inícios de gestos, micro-movimentos).
3. Tokens Visuais Base (VB) ($vb_t$): Gerados via incorporação de patches para capturar características de aparência estática (textura, forma, layout).

Esparsificação de Tokens: Para manter a viabilidade computacional enquanto preserva a fidelidade do movimento, aplica-se um Esparsificador de Tokens. Ele retém todos os tokens de Áudio e VC na resolução completa de 25 fps, mas faz o downsample dos tokens VB para 2 fps. Isso reduz drasticamente a contagem total de tokens encaminhados ao decodificador LLM a jusante, sem sacrificar a informação de movimento de alta frequência capturada pelos tokens VC.

B. Omni-RoPE (Codificação Posicional Rotativa 3D)

A Incorporação Posicional Rotativa 3D (RoPE) padrão atribui coordenadas $(t, h, w)$. No entanto, aplicar isso diretamente a modalidades heterogêneas cria um conflito onde os tokens de Áudio e VC carecem de coordenadas espaciais independentes.

• Solução: Os autores remapeiam as coordenadas espaciais. Os tokens VB são deslocados para começar em $(t, 1, 1)$, enquanto os tokens de Áudio ocupam $(t, 0, 0)$ e os tokens VC ocupam $(t, 0, 1)$.
• Benefício: Isso garante que todas as três modalidades recebam codificações posicionais não sobrepostas dentro da mesma formulação 3D RoPE, permitindo que o modelo distinga entre modalidades e modele relações cross-modais, preservando a extrapolação agnóstica à resolução.

C. Deslocamento de Janela Temporal

Para lidar com o custo computacional de vídeo a 25 fps, os autores substituem a atenção espaço-temporal global por um mecanismo de Deslocamento de Janela Temporal inspirado no Swin Transformer.

• Mecanismo: A sequência de tokens é particionada em grupos temporais não sobrepostos ($G=16$ quadros). A atenção espaço-temporal conjunta é computada dentro desses grupos.
• Deslocamento: Em camadas alternadas, os limites da janela são deslocados por $G/2$ quadros, permitindo que a informação flua entre grupos adjacentes.
• Complexidade: Isso reduz a complexidade da atenção de quadrática $O(T^2)$ para linear $O(T \cdot G)$, permitindo interação cross-modal densa a 25 fps com sobrecarga computacional gerenciável.

Estratégia de Treinamento

O modelo emprega uma estratégia de treinamento única, de ponta a ponta:

• Base: O componente LLM do Qwen2.5-Omni-3B é usado como um decodificador fixo.
• Inicialização: O Omni-Encoder é inicializado com pesos de aprendizado de representação de vídeo auto-supervisionado (V-JEPA). Novos componentes (incorporações de áudio, consultas aprendíveis VC) são inicializados aleatoriamente.
• Otimização: Apenas o cabeçalho final de modelagem de linguagem (LM) é treinável; todos os outros parâmetros do LLM são congelados. Isso evita pipelines complexos de pré-treinamento multiestágio.

3. Contribuições Principais

1. Codificação Unificada de Alta Frequência: O primeiro codificador unificado a processar sinais visuais e áudio simultaneamente a 25 fps, fechando a lacuna entre a percepção contínua semelhante à humana e os métodos de amostragem discretos atuais.
2. Inovações Arquiteturais Novas: A introdução do Modelo de Tokens (separando movimento e aparência), Omni-RoPE (coordenadas espaço-temporais-modais unificadas) e Deslocamento de Janela Temporal (atenção densa eficiente).
3. Desempenho em Tarefas de Movimento Denso: Demonstrar que um codificador unificado pode superar modelos especializados em tarefas que exigem modelagem temporal de alta granularidade, especificamente reconhecimento de língua de sinais e ação esportiva.

4. Resultados Experimentais

Os autores avaliaram o Omni-Encoder contra baselines específicas de modalidade e OmniLLMs existentes (por exemplo, Qwen2.5-Omni, Gemini-2.5-Pro) em vários benchmarks:

• Compreensão Visual Contínua:

  • Língua de Sinais: No NationalCSL6707, o Omni-Encoder alcançou 90,32%, superando o melhor modelo específico de domínio anterior (69,61%) em mais de 20 pontos percentuais. No SLR500, atingiu 97,8%, superando o especialista SignBERT.
  • Reconhecimento de Ação: No Diving48, alcançou 90,8% (vs. 90,3% SOTA), e 68,7% no SthSv2, competindo com bases fortes como InternVideo2-S2-1B.
  • Observação: OmniLLMs existentes (mesmo com SFT) performaram quase ao acaso ou mal nessas tarefas (por exemplo, Qwen2.5-Omni SFT marcou 25,7% no Diving48), destacando a limitação da codificação visual esparsa.

• Raciocínio Áudio-Visual:

  • Localização/Identificação de Falantes: O Omni-Encoder alcançou 98,8% de localização e 82,31% de identificação, igualando ou superando modelos dedicados como HumanOmni-Speaker.
  • AVQA: Alcançou 82,6%, comparável à variante SFT do Qwen2.5-Omni-3B.

• Reconhecimento Áudio-Visual (LRS2):

  • Sem pré-processamento de recorte labial, o modelo alcançou uma Taxa de Erro de Palavra (WER) de 45,3% (Apenas Visual), 10,2% (Apenas Áudio) e 7,2% (Áudio-Visual), demonstrando fusão cross-modal eficaz.

5. Significado e Alegações

O artigo postula que a codificação onívora unificada é uma direção promissora para construir modelos omni-modais que refletem mais de perto a natureza integrada da percepção humana.

• Mudança de Paradigma: Os resultados sugerem que afastar-se de taxas de amostragem específicas de modalidade e desajustadas em direção a um espaço de codificação unificado e de alta frequência permite que os modelos capturem dinâmicas de movimento de alta granularidade que anteriormente eram inacessíveis a OmniLLMs de propósito geral.
• Eficiência vs. Fidelidade: A arquitetura reconcilia com sucesso os duplos desafios de desentrelaçamento de modalidade (distinguir áudio, visual estático e sinais de movimento) e eficiência computacional (escalonamento linear com o comprimento do vídeo).
• Generalização: O modelo alcança desempenho de nível especialista em tarefas de movimento denso sem customização arquitetônica específica para a tarefa, validando a modelagem temporal de alta densidade como uma estratégia de representação de propósito geral eficaz.

Os autores concluem que, embora o modelo atualmente fique ligeiramente atrás de modelos proprietários de última geração em tarefas específicas de reconhecimento (atribuído à escala limitada de dados de treinamento), a abordagem unificada oferece uma base robusta para futuros sistemas omni-modais que percebem o mundo de forma holística.