Resumo Técnico: Desvendando Alucinações via Projeção Semântica Ortogonal

Declaração do Problema

À medida que os Modelos de Linguagem-Visão (VLMs) e modelos de difusão multimodais são implantados em aplicações de missão crítica, a confiabilidade de suas explicações torna-se primordial. No entanto, os métodos existentes de IA Explicável (XAI) para esses modelos frequentemente sofrem de alucinação semântica. Neste fenômeno, mapas de atribuição (mapas de saliência) destacam regiões da imagem que correspondem a objetos que não estão presentes na imagem quando estimulados por descrições de texto específicas. Por exemplo, um modelo pode destacar um cachorro quando o prompt é "gato", ou destacar uma ovelha quando o prompt é "gato" e nenhuma ovelha existe.

O artigo argumenta que este problema não é meramente uma falha em arquiteturas específicas, mas uma consequência fundamental do Vazamento Semântico Linear dentro de espaços de incorporação (embeddings) de alta dimensão. Em modelos como CLIP e SigLIP, os embeddings de texto e imagem residem em um espaço compartilhado onde conceitos semanticamente relacionados, mas distintos (ex: "gato" e "cachorro"), não são ortogonais. Eles compartilham componentes direcionais comuns. Quando os métodos de saliência computam atribuições baseadas nesses embeddings não ortogonais, os componentes compartilhados fazem com que o método destaque regiões irrelevantes, levando a "sinais fantasmas" ou explicações alucinadas. O artigo postula que o modelo pode parecer correto, mas está, na verdade, "certo pelos motivos errados".

Metodologia: Projeção Semântica Ortogonal (OSP)

Para abordar isso, os autores propõem a Projeção Semântica Ortogonal (OSP), uma intervenção geométrica projetada para desvincular sinais semânticos únicos de conceitos compartilhados antes de computar os mapas de saliência.

Estrutura Teórica

Os autores formalizam o problema através da estrutura de Atribuição Semântica Linear (LSA). Eles demonstram que a maioria dos métodos de saliência multimodal (incluindo GradCAM, LeGrad, CheferCAM e DAAM) pode ser expressa como funções lineares (ou localmente lineares) do embedding de texto.

• Lema 1 (Vazamento Semântico Linear): Se o ângulo entre o embedding de texto da classe alvo $A$ e uma classe distratora $B$ for diferente de zero (ou seja, eles não são ortogonais), o mapa de saliência para $B$ conterá um componente proporcional ao verdadeiro mapa de saliência de $A$. Este "sinal fantasma" é controlado diretamente pela similaridade de cosseno entre os embeddings.

O Algoritmo OSP

O OSP utiliza a Busca de Correspondência Ortogonal (OMP) para realizar uma decomposição esparsa do embedding de texto. O processo envolve:

1. Construção do Dicionário: Um dicionário de semânticas ($\mathbf{D}$) é criado, consistindo de conceitos "distratores" que são semântica ou visualmente relacionados ao alvo. Os autores exploram quatro estratégias para isso: classes do ImageNet, relações ImageNet + WordNet, e dicionários gerados por LLMs (Gemini 3 Flash e GPT-OSS 120B).
2. Decomposição Esparsa: O embedding de texto alvo ($\mathbf{a}^{\text{txt}}_{\text{target}}$) é tratado como um sinal a ser aproximado pelos átomos do dicionário.
3. Extração de Resíduo: O algoritmo seleciona iterativamente os átomos mais correlacionados com o resíduo atual e atualiza o conjunto ativo. Crucialmente, o resíduo final ($\mathbf{r}$) é estritamente ortogonal a todos os átomos distratores selecionados.
4. Projeção: O resíduo $\mathbf{r}$ representa a "direção semântica única" do conceito alvo, destilada de componentes compartilhados com os distratores.
5. Aplicação: Este resíduo purificado substitui o embedding de texto original na computação da saliência. Para modelos discriminativos, isso é feito diretamente no embedding de consulta. Para modelos de difusão (como Stable Diffusion), o OSP é aplicado aos vetores de chave (key vectors) no mecanismo de atenção cruzada antes da operação softmax.

O método é plug-and-play, não exigindo o retreinamento do VLM ou do modelo de difusão subjacente.

Principais Contribuições

1. Análise Geométrica da Alucinação: O artigo fornece um framework matemático formal ligando falhas de fundamentação (grounding) à não-ortogonalidade das direções de embedding semântico. Ele caracteriza a alucinação como uma função do vazamento semântico linear e oferece uma interpretação geométrica de como esses erros se propagam.
2. Uma Técnica de XAI Universal: O OSP é apresentado como um framework generalizado compatível com múltiplas arquiteturas (CLIP, SigLIP, modelos de Difusão) e vários métodos de saliência (GradCAM, LeGrad, CheferCAM, AttentionCAM, DAAM).
3. Validação Abrangente: O método é avaliado em três modelos fundamentais, cinco métodos de XAI e múltiplos conjuntos de dados (ImageNet-Segmentation, MS COCO).
4. Avaliação Centrada no Humano: Um estudo de usuário envolvendo 200 participantes demonstra que o OSP melhora a precisão de identificação, a confiança e a confiança humana nas explicações do modelo.

Resultados Experimentais

Os autores avaliaram o OSP nos conjuntos de dados ImageNet-Segmentation e MS COCO utilizando métricas como mIoU (mean Intersection-over-Union), mAP (mean Average Precision) e AUROC (Area Under the ROC Curve).

• Supressão de Alucinação: O OSP consistentemente amplia a lacuna entre prompts positivos (alvo presente) e negativos (alvo ausente). Especificamente, ele melhora significativamente o AUROC, indicando melhor discriminação entre conceitos presentes e ausentes.
• Fidelidade de Localização: O método melhora ou mantém o desempenho de localização (mIoU) para prompts positivos, enquanto suprime mapas de calor imprecisos para prompts negativos.
• Robustez: As melhorias sustentam-se através de diferentes estratégias de construção de dicionário, incluindo aquelas geradas por LLMs e baseadas em conjuntos de dados estáticos como ImageNet e WordNet.
• Eficiência: O custo computacional do OSP é desprezível (menos de um segundo), tornando-o prático para intervenção em tempo de inferência.
• Estudo de Usuário: Participantes utilizando mapas de calor aprimorados pelo OSP mostraram maior precisão ao identificar o foco do modelo, maior confiança em suas respostas e maior confiança nas explicações em comparação com os métodos de base.

Significância e Alegações

O artigo afirma que o OSP representa um paradigma fundamentalmente novo para a interpretabilidade. Ao contrário de abordagens anteriores que tentam decompor os embeddings de imagem para encontrar conceitos visuais, o OSP decompõe matematicamente o espaço de embedding de texto para isolar direções semânticas puras.

Os autores afirmam que, ao abordar a causa raiz da alucinação — a não-ortogonalidade dos embeddings no espaço de representação — eles fornecem uma solução teoricamente sólida e empiricamente validada. Eles enfatizam que esta intervenção geométrica torna os mapas de atribuição mais confiáveis para os usuários finais, traduzindo a fundamentação teórica em melhorias mensuráveis na interpretabilidade humana. O trabalho sugere que a perspectiva geométrica abre caminhos promissores para estender a interpretabilidade robusta para arquiteturas generativas de maior escala e aplicações mais amplas de IA confiável.