Unified Multimodal Uncertain Inference

1. Problema e Motivação

O raciocínio humano é fundamentalmente probabilístico, operando com graus de crença e estimativas de confiança em vez de julgamentos binários (verdadeiro/falso). No entanto, a maioria dos sistemas de Inteligência Artificial Multimodal atuais é limitada a classificações categóricas ou binárias, especialmente em tarefas de inferência natural (NLI) que envolvem áudio e vídeo.

• Limitação Atual: Embora a "Inferência Natural Incerta" (UNLI) tenha sido explorada no texto (estimando probabilidades escalares), a extensão para outras modalidades (áudio, vídeo) permanece restrita a julgamentos binários de implicação.
• Consequência: A falta de estimativas de probabilidade calibradas em sistemas multimodais reduz sua confiabilidade e utilidade em cenários de alto risco, onde é crucial expressar o grau de incerteza com base em evidências visuais, auditivas e textuais combinadas.
• Objetivo: Preencher essa lacuna criando um framework para inferência probabilística calibrada que abranja texto, áudio, vídeo e suas combinações.

2. Metodologia

O artigo propõe duas contribuições principais: a definição da tarefa UMUI e o método de treinamento CLUE.

A. Tarefa UMUI (Unified Multimodal Uncertain Inference)

A tarefa exige que um modelo receba um premissa multimodal (texto, áudio, vídeo ou combinação) e uma hipótese (declaração), produzindo uma estimativa de probabilidade escalar contínua no intervalo $[0, 1]$.

• Coleta de Dados: Os autores criaram um conjunto de avaliação humano anotado para pares de premissa-hipótese em áudio, vídeo e áudio-vídeo.
• Anotação: Especialistas atribuíram julgamentos de probabilidade (0-100%) e indicaram quais modalidades (áudio, vídeo ou ambos) fundamentaram sua decisão. O conjunto baseia-se em eventos do WIKIVIDEO e MULTIVENT2.0.

B. Método CLUE (Calibrated Latent Uncertainty Estimation)

Para treinar modelos que gerem essas estimativas calibradas, os autores desenvolveram o CLUE, composto por três componentes principais:

1. Calibração de Professor Autoconsistente (Self-Consistent Teacher Calibration):

   • Como dados humanos escalares em larga escala são caros, utilizam-se modelos "professores" (LLMs grandes) para gerar rótulos de treinamento.
   • Para mitigar a falta de calibração dos professores em zero-shot, aplica-se o princípio de autoconsistência: o professor gera múltiplas trajetórias de raciocínio (5 respostas) para o mesmo par, e as probabilidades são agregadas (média ou máximo) para criar rótulos de destilação mais robustos e calibrados.

2. Modelagem de Distribuição Latente de Confiança:

   • Em vez de gerar um token de texto discreto (ex: "0.8"), o modelo prevê uma distribuição latente sobre tokens de confiança discretizados ($<CONF_i>$).
   • O intervalo $[0, 1]$ é dividido em $N$ bins. Durante o treinamento, o modelo é supervisionado por uma distribuição alvo Gaussiana centrada no rótulo verdadeiro.
   • A função de perda minimiza a Divergência de Kullback-Leibler (KL) entre a distribuição prevista e a alvo.
   • Na inferência, a probabilidade final é reconstruída via agregação ponderada, permitindo estimativas suaves e de alta resolução, superando a limitação de outputs discretos de modelos autoregressivos padrão.

3. Agrupamento Específico por Modalidade (Modality-Specific Batching):

   • Para garantir estabilidade de gradiente e eficiência, os dados de treinamento são agrupados por modalidade (apenas texto, apenas áudio, etc.) em vez de misturá-los aleatoriamente no mesmo batch.
   • Isso evita desequilíbrios nas magnitudes dos gradientes e reduz o padding excessivo causado pelas grandes disparidades de comprimento entre modalidades (ex: texto curto vs. vídeo longo).

3. Contribuições Principais

1. Formalização da UMUI: Definição da tarefa de inferência probabilística calibrada através de múltiplas modalidades.
2. Novo Conjunto de Dados: Coleta de julgamentos de probabilidade escalar humana para pares premissa-hipótese em áudio, vídeo e multimodal, estendendo anotações binárias existentes para incerteza granular.
3. Arquitetura CLUE: Introdução de uma abordagem de treinamento que combina calibração de professor, modelagem de distribuição latente e agrupamento específico por modalidade.
4. Desempenho Eficiente: Demonstração de que um modelo de 3B parâmetros supera ou iguala modelos baselines de até 32B parâmetros em todas as modalidades.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados CLOTHO (áudio), UNLI (texto) e WIKIVIDEO (vídeo/áudio).

• Desempenho em Tarefas Binárias: O modelo CLUE superou significativamente as baselines (incluindo modelos de áudio e visão-linguagem de 32B) em acurácia, alcançando desempenho próximo ao perfeito em áudio e superior em cenários multimodais.
• Desempenho Escalar (Calibração):
  • Em termos de Erro Quadrático Médio (MSE), o modelo CLUE-D (baseado em distribuição) obteve os melhores resultados em todas as modalidades.
  • O modelo CLUE-D (3B) superou o modelo TMTO (14B, treinado apenas em texto) na tarefa de texto (UNLI), sugerindo que o treinamento multimodal melhora a inferência em modalidades únicas.
• Comparação Token vs. Distribuição: A abordagem baseada em distribuição (CLUE-D) foi superior à baseada em tokens (CLUE-T), pois captura a confiança interna do modelo de forma mais suave e precisa, evitando a quantização forçada de probabilidades.
• Estabilidade: O agrupamento específico por modalidade demonstrou reduzir flutuações no loss de treinamento e nas normas de gradiente em comparação com o agrupamento misto.

5. Significado e Conclusão

O trabalho demonstra que a modelagem de incerteza calibrada é viável e essencial para sistemas multimodais.

• Eficiência: Modelos menores (3B) podem superar modelos massivos (32B) se treinados com estratégias adequadas de calibração e organização de dados.
• Transferência Multimodal: O treinamento em uma mistura de modalidades fornece benefícios recíprocos, melhorando o desempenho em modalidades individuais (ex: áudio ou texto) através de sinais auxiliares.
• Aplicabilidade: A capacidade de expressar incerteza calibrada é um passo crucial para a confiabilidade de IA em aplicações do mundo real, permitindo que sistemas "saibam o que não sabem" e deleguem tarefas a humanos quando necessário.

Limitações: O conjunto de dados de avaliação é limitado em escala (10 tópicos, 4 anotadores) e o treinamento depende de rótulos gerados por professores sintéticos, o que impõe um teto de qualidade baseado na fidelidade desses rótulos sintéticos.