OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

1. O Problema

Os Modelos de Linguagem Multimodais (MLLMs) modernos são capazes de gerar respostas fluentes a partir de entradas intercaladas de texto, imagem, áudio e vídeo. No entanto, um desafio crítico permanece: identificar quais fontes de entrada específicas sustentam cada afirmação gerada pelo modelo.

As abordagens de atribuição existentes enfrentam limitações significativas ao serem aplicadas a esses modelos:

• Foco em Classificação: A maioria dos métodos foi projetada para tarefas de classificação ou arquiteturas baseadas em codificadores (encoders), onde o objetivo é fixo (ex: um logit de classe).
• Incompatibilidade com Geração Autoregressiva: Em modelos decoder-only que geram texto token a token, não há um alvo fixo pré-definido. A estrutura do grafo causal evolui a cada passo de decodificação.
• Falta de Interpretabilidade Semântica: Métodos que operam no nível de token geram sinais ruidosos e fragmentados, dificultando a criação de explicações coerentes em nível de frase ou parágrafo (spans).
• Limitação Unimodal: Técnicas atuais não lidam naturalmente com a atribuição cruzada entre modalidades heterogêneas (texto, imagem, áudio, vídeo) dentro de uma única sequência causal.

2. Metodologia: OmniTrace

O OmniTrace é apresentado como um framework leve, agnóstico ao modelo e independente do sinal de pontuação, que formaliza a atribuição como um problema de rastreamento em tempo de geração (generation-time tracing).

Principais Componentes do Algoritmo:

1. Rastreamento de Token em Tempo Real:

   • Durante o processo de decodificação autoregressiva, para cada token gerado $y_t$, o sistema obtém um sinal de atribuição em nível de token ($a_t(i)$) a partir do contexto causal.
   • Esses sinais podem ser derivados de pesos de atenção, gradientes ou outras estatísticas internas do modelo.
   • O token é mapeado para a unidade de fonte mais relevante (ex: um intervalo de tempo específico no áudio, uma região na imagem ou um trecho de texto) agregando a massa de atribuição dentro de cada unidade de fonte pré-definida.

2. Agregação em Nível de Span (Frase/Parágrafo):

   • Como os rastreamentos em nível de token são ruidosos, o OmniTrace agrega esses sinais em spans semanticamente coerentes (ex: frases completas) após a geração.
   • Isso transforma sinais fragmentados em explicações estáveis que correspondem a unidades interpretáveis por humanos.

3. Seleção de Fontes com Base em Confiança e Coerência:

   • Para cada span gerado, o sistema seleciona um conjunto conciso de fontes de suporte utilizando um processo de curadoria que inclui:
     • Pesagem Semântica (POS-aware): Dá mais peso a tokens de conteúdo (substantivos, números) do que a palavras funcionais.
     • Confiança: Filtra mapeamentos fracos ou ambíguos.
     • Coerência Temporal: Favorece fontes que recebem suporte contínuo ao longo de tokens consecutivos, evitando saltos aleatórios entre modalidades.

Características Chave:

• Agnóstico ao Modelo: Funciona com qualquer MLLM decoder-only (ex: Qwen2.5-Omni, MiniCPM-o).
• Agnóstico ao Sinal: Pode utilizar pesos de atenção, gradientes ou outras métricas de alinhamento.
• Multimodal Unificado: Opera em uma linha do tempo de tokens unificada que abrange texto, imagem, áudio e vídeo simultaneamente.

3. Contribuições Principais

1. Formalização do Problema: Define a atribuição para geração multimodal aberta como um problema de rastreamento em tempo de geração, destacando as limitações das explicações baseadas em alvos fixos.
2. Framework OmniTrace: Introduz um protocolo unificado que converte sinais de atribuição em nível de token em explicações de fonte em nível de span, sem necessidade de re-treinamento ou supervisão adicional.
3. Validação Empírica: Demonstra que a atribuição em nível de span, consciente da geração, produz sinais de fundamentação (grounding) mais estáveis e interpretáveis do que métodos post-hoc (como auto-atribuição ou similaridade de embeddings) em diversas tarefas multimodais.

4. Resultados Experimentais

Os autores avaliaram o OmniTrace em modelos como Qwen2.5-Omni-7B e MiniCPM-o-4.5-9B em um conjunto de dados diversificado cobrindo 759 exemplos em tarefas de raciocínio e sumarização visual, de áudio e de vídeo.

• Desempenho Superior: O OmniTrace superou consistentemente as baselines (auto-atribuição, similaridade de embeddings, atribuição aleatória) em todas as modalidades.
  • Em tarefas de Visual QA, o OmniTrace alcançou F1 de ~76% (Qwen) e ~75% (MiniCPM), comparado a ~40% ou menos nas baselines.
  • Em tarefas de Áudio, o uso de segmentação ASR (Reconhecimento Automático de Fala) de alta qualidade combinado com o OmniTrace resultou em Time-F1 de 83.12 (Qwen), enquanto métodos sem segmentação semântica falharam drasticamente.
• Robustez: O framework manteve desempenho superior independentemente do sinal de pontuação subjacente (atenção média, atenção bruta ou gradientes).
• Análise de Ablação:
  • A remoção do filtro de confiança ou da coerência de execução (run-level coherence) causou uma queda drástica no desempenho, especialmente na atribuição de imagens (F1 caiu de ~76% para ~20%), indicando que a filtragem é crucial para lidar com o ruído visual.
  • A segmentação semântica de áudio (via ASR) provou ser crítica; o uso de tokens brutos de áudio degradou severamente a precisão.
• Correlação com Qualidade de Geração: A qualidade da atribuição não é estritamente monotônica com a qualidade da resposta final (ex: uma resposta errada ainda pode ter uma boa atribuição de evidência), sugerindo que o método captura o processo de decisão do modelo, não apenas a correção do resultado.

5. Significado e Impacto

O OmniTrace oferece uma fundação escalável para a transparência e interpretabilidade em modelos de linguagem omni-modais. Ao tratar a atribuição como um problema estruturado de rastreamento durante a geração, o trabalho:

• Permite que usuários e desenvolvedores entendam como e com base em qual evidência o modelo tomou uma decisão em tempo real.
• Facilita a depuração de modelos, identificando se o modelo está "alucinando" ou ignorando evidências críticas de modalidades específicas (ex: áudio ou vídeo).
• Estabelece um novo padrão para a avaliação de fundamentação (grounding) em sistemas de IA generativa complexos, movendo-se além da simples verificação de similaridade de embeddings para uma análise causal e temporal dinâmica.

Em resumo, o OmniTrace preenche uma lacuna crítica na IA multimodal, fornecendo ferramentas para tornar os processos de geração de modelos "caixa preta" em sistemas transparentes e auditáveis.