Resumo Técnico: Fundamentação ou Suposição? Sinais Visuais para Detecção de Alucinações em Tradução de Língua de Sinais

1. Definição do Problema

A Tradução de Língua de Sinais (SLT) é uma tarefa de vídeo-para-texto única, onde a modalidade visual constitui a própria língua de origem, em vez de um contexto auxiliar. Um modo de falha crítico em sistemas modernos de SLT, particularmente aqueles que utilizam arquiteturas gloss-free (sem glosas) e backbones de Grandes Modelos de Linguagem (LLM), é a alucinação. Neste contexto, a alucinação é definida como a geração de tokens de conteúdo que não são suportados pelas evidências do vídeo assinalado.

Embora os modelos gloss-free recentes tenham resolvido problemas de escalabilidade ao remover a necessidade de anotações de glosas intermediárias dispendiosas, eles introduzem uma nova vulnerabilidade: o decodificador tende a depender fortemente de priors de linguagem em vez da entrada visual quando as representações visuais são ambíguas ou de baixa qualidade. Isso resulta em traduções fluentes, porém factualmente incorretas. Os métodos existentes de detecção de alucinação, que dependem de sinais intrínsecos ao texto (ex: confiança, entropia, perplexidade), falham em distinguir entre um token predito com confiança com base em padrões linguísticos versus um predito com confiança com base em evidências visuais reais.

2. Metodologia

Os autores propõem uma medida de confiabilidade inovadora baseada no uso de fundamentação (grounding usage), que quantifica a extensão em que os tokens gerados dependem das evidências de vídeo versus os priors de linguagem. O método opera ao nível do token e agrega ao nível da sentença utilizando análise contrafactual.

2.1 Intuição Central

Em cada etapa de decodificação, o modelo ou fundamenta o próximo token no sinal de vídeo ou o supõe a partir de priors de linguagem. O método proposto mede essa dependência comparando o comportamento do modelo sob a entrada de vídeo real contra cenários contrafactuais onde a entrada visual é alterada.

2.2 Componentes do Sinal

O escore de confiabilidade é derivado de duas classes de evidências:

1. Sensibilidade Baseada em Características (Dependência Interna):

   • Sensibilidade do Estado Oculto: Mede a mudança direcional (distância angular normalizada) nos estados ocultos do decodificador quando a entrada de vídeo é removida (mascarada) versus quando está presente. Um ângulo maior indica uma dependência mais forte do vídeo.
   • Uso de Atenção Cruzada: Agrega a massa de atenção direcionada dos tokens do decodificador para as posições do codificador de vídeo. A diferença entre a atenção sob o vídeo limpo e o vídeo mascarado indica a extensão da fundamentação visual.

2. Sinais Contrafactuais (Evidência Externa):

   • O sistema executa três passagens de decodificação paralelas condicionadas ao mesmo prefixo:
     1. Limpa (Clean): Com o vídeo real ($x$).
     2. Sem Vídeo (No-Video): Com o codificador visual desativado ($\emptyset$).
     3. Descombinada (Mismatched): Com um vídeo embaralhado ou não relacionado ($x'$).
   • Margens de Probabilidade: O método calcula a log-probabilidade e as diferenças de logit entre a passagem limpa e a contrafactual mais forte (a probabilidade máxima das passagens sem vídeo ou de vídeo descombinado).
   • Vantagens: Calcula ganhos de probabilidade absolutos ($\Delta_{clean}$ e $\Delta_{mis}$) para determinar se o vídeo correto melhora ativamente a predição em comparação com as alternativas.

2.3 Fusão e Agregação

• Nível de Token: Uma fusão linear de sinais baseados em características e sinais contrafactuais, passada por uma ativação sigmoide, gera um escore de confiabilidade por token ($r_t$).
• Nível de Sentença: Os escores de token são agregados usando pooling tail-10 (média dos 10% mais baixos de confiabilidade dos tokens). Isso foca nas partes menos confiáveis da sentença, que são as mais indicativas de risco de alucinação.
• Integração: A confiabilidade baseada na fundamentação é combinada com baselines de texto apenas (confiança, perplexidade, entropia) em uma variante "META" para criar um estimador de risco de alucinação abrangente.

3. Principais Contribuições

• Primeira Investigação de Alucinações em SLT: Este trabalho é o primeiro a investigar e caracterizar explicitamente as alucinações especificamente dentro do domínio da Tradução de Língua de Sinais.
• Métrica de Uso de Fundamentação: Introdução de uma medida de confiabilidade inovadora que quantifica a fundamentação visual, distinguindo entre tokens gerados via evidência visual e aqueles supostos via priors de linguagem.
• Estrutura Contrafactual: Design de uma estrutura de pontuação usando perturbações contrafactuais (mascaramento e descombinação de vídeo) para capturar tanto mudanças de estado interno do modelo quanto deslocamentos de probabilidade externa.
• Validação Empírica: Demonstração de que os sinais baseados em fundamentação superam os baselines baseados apenas em texto na detecção de alucinações e fornecem informações complementares quando combinados com medidas de incerteza linguística.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks: PHOENIX-2014T (Língua de Sinais Alemã) e CSL-Daily (Língua de Sinais Chinesa), utilizando tanto modelos baseados em glosas (TwoStream-SLT) quanto gloss-free (SpaMo).

• Correlação com Alucinação: Existe uma forte correlação negativa entre o escore de confiabilidade proposto e a métrica CHAIR (Caption Hallucination Assessment with Image Relevance). À medida que o uso de fundamentação aumenta, as taxas de alucinação diminuem.
• Desempenho de Detecção: A confiabilidade baseada em fundamentação supera significativamente os baselines de texto apenas (confiança, perplexidade, entropia) na detecção binária de alucinações.
  • No CSL-Daily (Gloss-Free), o método de fundamentação alcançou um AUC de 0,951 e Precisão de 0,970, comparado a ~0,953 AUC e 0,868 Precisão para o melhor baseline de texto apenas (Confiança).
  • A variante combinada META alcançou o desempenho mais alto, atingindo um AUC de 0,963 e Precisão de 0,883 no CSL-Daily (Gloss-Free).
• Desempenho de Regressão: O escore de confiabilidade prevê efetivamente a taxa contínua de CHAIR, alcançando uma correlação de Spearman de $\rho = -0,680$ no CSL-Daily (Gloss-Free).
• Generalização: Os pesos de confiabilidade treinados em um dataset/família de modelos transferem-se de forma robusta para outros, embora o desempenho degrade ligeiramente ao transferir de modelos baseados em glosas para modelos gloss-free devido a diferenças na granularidade de tokenização e prevalência de alucinação.
• Teste de Estresse: Sob degradações visuais (ruído Gaussiano, queda de frames), o escore de confiabilidade diminui, confirmando sua sensibilidade à qualidade da informação visual.
• Gloss-Free vs. Gloss-Based: A análise revela que modelos gloss-free alucinam com mais frequência porque sistematicamente subutilizam a informação visual, recorrendo aos priors linguísticos. Distribuições de nível de token mostram que modelos gloss-free possuem margens de log menores e ângulos de sensibilidade de estado oculto menores em comparação com modelos baseados em glosas.

5. Significância e Alegações

O artigo afirma que a detecção de alucinação em geração multimodal não pode ser totalmente explicada por sinais intrínsecos ao texto isoladamente. Em SLT, onde a entrada visual é a própria língua de origem, distinguir entre "suposição" (dependência de priors de linguagem) e "fundamentação" (dependência de evidências visuais) é crítico.

Os autores estabelecem que:

1. A Confiabilidade é uma Ferramenta Prática: A medida proposta fornece uma ferramenta reutilizável e interpretável para diagnosticar alucinações em SLT sem a necessidade de traduções de referência.
2. Complementaridade: Sinais de fundamentação visual fornecem informações complementares às medidas de incerteza baseadas em texto. A combinação delas gera o framework de detecção mais robusto.
3. Causa Raiz dos Erros em Gloss-Free: A dependência sistemática excessiva de priors de linguagem em modelos gloss-free é o principal motor de suas maiores taxas de alucinação. A falta de supervisão de glosas intermediárias permite que o decodificador se desvie da evidência visual.
4. Trabalho Fundamental: Esta pesquisa lança as bases para uma detecção de alucinação mais robusta na geração multimodal ao desmembrar explicitamente a contribuição da fundamentação visual da fluência linguística.

O artigo conclui que um modelo multimodal robusto deve buscar um equilíbrio entre suposição (para fluência) e fundamentação (para correção factual), e que medir explicitamente esse equilíbrio é essencial para sistemas de SLT confiáveis.