Explainable embeddings with Distance Explainer

Each language version is independently generated for its own context, not a direct translation.

Imagine que você tem um mapa do tesouro muito especial, mas em vez de cidades e rios, ele é feito de "pontos" que representam coisas como fotos de cachorros, textos sobre flores ou músicas.

Neste mapa, quanto mais perto dois pontos estão um do outro, mais parecidos eles são. Quanto mais longe, mais diferentes. Isso é o que chamamos de "espaço embutido" (ou embedded space) na inteligência artificial. O problema é que esse mapa é um labirinto invisível: a IA sabe que uma foto de um "abelha" está perto de uma foto de "flor", mas ninguém sabe exatamente por quê. Será que é por causa das cores? Das asas? Do formato?

É aqui que entra o Distance Explainer (Explicador de Distância), a nova ferramenta apresentada neste artigo.

A Analogia: O Detetive do "E Se...?"

Pense na IA como um detetive que olha para duas fotos (digamos, uma de um abelha e outra de uma mosca) e diz: "Ei, essas duas são muito parecidas!".

O Distance Explainer é como um detetive secundário que quer descobrir o que exatamente faz essas duas fotos serem parecidas (ou diferentes). Ele faz isso usando uma técnica de "E se...?":

O Jogo do Esconde-Esconde: O detetive pega a foto da abelha e começa a cobrir partes dela com um "pó preto" (máscaras), como se estivesse apagando pedaços da imagem.
A Pergunta Crucial: A cada vez que ele apaga um pedaço, ele pergunta à IA: "Agora, a abelha ainda parece com a mosca?".
- Se a IA disser: "Nossa, agora elas parecem muito diferentes!", significa que o pedaço que você apagou era muito importante para a semelhança.
- Se a IA disser: "Eles continuam parecidos", significa que aquele pedaço não era tão importante.
O Mapa de Calor: Depois de fazer isso milhares de vezes (cobrindo asas, listras, fundo, etc.), o sistema cria um mapa colorido.
- Vermelho: Áreas que, se apagadas, fazem as fotos parecerem menos parecidas (são as semelhanças).
- Azul: Áreas que, se apagadas, fazem as fotos parecerem mais parecidas (são as diferenças).

O Grande Truque: O "Espelho"

O que torna esse método especial é como ele decide quais pedaços da imagem analisar. Em vez de apenas olhar para o que torna as coisas iguais, ele usa um modo chamado "Espelho".

Imagine que você está tentando entender por que dois amigos se parecem.

O método normal olha apenas para o que eles têm em comum.
O Distance Explainer olha para o que os torna iguais E para o que os torna diferentes ao mesmo tempo, como se estivesse usando um espelho. Ele compara os "melhores" pedaços que aproximam as fotos com os "piores" pedaços que as afastam. Ao fazer isso, ele cancela o "ruído" (coisas aleatórias) e deixa apenas a verdade nítida.

O Que Eles Descobriram?

Os autores testaram isso em várias situações:

Abelha vs. Mosca: O mapa mostrou que as asas são o que faz as duas parecerem iguais (vermelho), mas as listras são o que as faz parecerem diferentes (azul).
Cachorro vs. Carro: Se você mostra uma foto de um cachorro e pergunta "por que isso não é um carro?", o sistema destaca o focinho do cachorro como a principal diferença.
Fotos vs. Textos: Eles também usaram com legendas. Se você mostra uma foto de um "labradoodle" e a legenda é "um labradoodle", o sistema destaca os olhos e a coleira do cachorro como o que conecta a imagem ao texto.

Por Que Isso é Importante?

Antes disso, a IA era uma "caixa preta". Nós sabíamos que ela acertava, mas não sabíamos o "porquê". Com essa ferramenta:

Confiança: Se a IA diz que uma foto de um paciente com câncer é parecida com outra, os médicos podem ver exatamente quais partes da imagem a IA está olhando.
Correção de Erros: Se a IA acha que um "carro" é parecido com uma "bicicleta" porque ambos têm rodas, o mapa mostra isso. Assim, os cientistas podem ajustar a IA para focar no corpo do veículo, não apenas nas rodas.
Transparência: Transforma a matemática complexa em imagens que qualquer pessoa consegue entender.

Resumo Final

O Distance Explainer é como um lupa mágica para a inteligência artificial. Ele não apenas diz "isso é parecido com aquilo", mas pinta um mapa colorido mostrando exatamente quais detalhes (uma asa, uma roda, uma palavra) estão fazendo essa conexão acontecer. Isso torna a IA menos misteriosa e mais confiável para o mundo real.

Each language version is independently generated for its own context, not a direct translation.

1. O Problema

O campo da Inteligência Artificial Explicável (XAI) avançou significativamente para dados estruturados (imagens, texto, séries temporais), mas existe uma lacuna crítica na interpretabilidade de espaços vetoriais embutidos (embedded spaces). Nestes espaços, as dimensões representam abstrações complexas e não são diretamente interpretáveis.

Limitação atual: Métodos existentes focam na explicabilidade de modelos como um todo ou em decisões de classificação de entrada única (ex: LIME, GradCAM).
Desafio específico: Não há métodos gerais para explicar a distância entre dois pontos em um espaço embutido (ex: por que uma imagem de um "abelha" está semanticamente mais próxima de uma imagem de "mosca" do que de um "carro"?). Métodos anteriores como S-RISE e CorrRISE são específicos para reconhecimento facial e não são agnósticos à modalidade.

2. Metodologia: Distance Explainer

Os autores propõem o Distance Explainer, um método post-hoc e local para gerar mapas de atribuição que explicam a distância entre dois itens de dados em um espaço vetorial.

Princípios Fundamentais:

Base: Adaptação da técnica RISE (Randomized Input Sampling for Explanation), que utiliza máscaras aleatórias para determinar a importância de pixels.
Entrada Dupla: Diferente do RISE original (que usa uma entrada e uma classe), o Distance Explainer recebe duas entradas:
1. Item de Referência ( $r$ ): Pode estar em qualquer modalidade (ex: texto ou imagem).
2. Item a ser Explicado ( $e$ ): O item sobre o qual se gera o mapa de atribuição.
Métrica de Distância: Utiliza a distância cosseno ( $d_{cos}$ ) entre os vetores de embedding do item mascarado e a referência, em vez de probabilidades de classe.

Algoritmo Passo a Passo:

Geração de Máscaras: Gera-se $N$ máscaras binárias aleatórias para o item $e$ (substituindo pixels mascarados por um valor de base).
Inferência: Cada versão mascarada de $e$ é passada pelo modelo para obter seu embedding.
Cálculo de Distância: Calcula-se a distância cosseno entre o embedding mascarado e o embedding da referência fixa ( $r$ ).
Filtragem Baseada em Distância (Inovação Chave):
- Em vez de ponderar as máscaras pela distância (o que gera pesos muito pequenos e indistinguíveis em espaços de alta dimensão), o método filtra e seleciona as máscaras.
- Modo Espelho (Mirror Mode): Seleciona-se o top $x\%$ das máscaras que aumentam a distância (destacando regiões que tornam os itens diferentes) e o bottom $x\%$ das máscaras que diminuem a distância (destacando regiões que tornam os itens similares).
- O mapa final é a soma das máscaras de aumento de distância menos a soma das máscaras de diminuição de distância. Isso cancela ruído e melhora a relação sinal-ruído.

3. Contribuições Principais

Método Agnóstico à Modalidade: Funciona para pares imagem-imagem e imagem-título (caption), ao contrário de métodos anteriores limitados a tarefas específicas como verificação facial.
Explicação de Distância: Preenche a lacuna de explicar por que dois pontos estão próximos ou distantes em um espaço latente, identificando características que contribuem para a similaridade ou dissimilaridade.
Filtragem de Máscaras: Substitui a ponderação por seleção e filtragem baseada em ranking de distância, resolvendo problemas de sensibilidade em espaços de alta dimensão.
Avaliação Abrangente: Avaliação quantitativa e qualitativa em modelos ImageNet (ResNet50, VGG16) e CLIP (ViT-B/32).

4. Resultados e Avaliação

Os autores utilizaram métricas padrão de XAI (Quantus) para validar o método:

Fidelidade (Faithfulness): Testado via Incremental Deletion. A remoção de pixels identificados como importantes (que diminuem a distância) causou um aumento significativo na distância para a referência, confirmando que o mapa aponta para características reais que influenciam a decisão do modelo.
Robustez/Sensibilidade: O método apresentou baixa sensibilidade a pequenas perturbações de entrada (valores de sensibilidade de 0.04 a 0.06), indicando resultados estáveis.
Randomização (MPRT): Ao randomizar os pesos das camadas do modelo, os mapas de atribuição mudaram drasticamente (perda de estrutura e baixa correlação), provando que a explicação depende dos parâmetros aprendidos do modelo e não de viéses do algoritmo de explicação.
Avaliação Qualitativa:
- Imagem vs. Imagem: O método identificou corretamente que as asas de uma abelha a aproximam de uma mosca, enquanto as listras a afastam. Em pares "cão + carro" vs. "carro", destacou o carro; vs. "cão", destacou o cão.
- Imagem vs. Títulos: Funcionou bem com o modelo CLIP, identificando que uma imagem de um carro se afasta do título "uma bicicleta" (exceto pelas rodas, que são compartilhadas).
Análise de Parâmetros:
- Número de Máscaras: 1000 máscaras ofereceram o melhor equilíbrio entre estabilidade e custo computacional.
- Resolução de Superpixels: Resoluções entre 8x8 e 16x16 foram ideais para capturar detalhes sem introduzir ruído excessivo.
- Porcentagem de Seleção: O modo "espelho" com seleção de 10% de cada lado (top e bottom) mostrou-se robusto.

5. Significado e Impacto

Transparência em Modelos Multimodais: O método é crucial para aumentar a confiança em modelos como CLIP, que mapeiam diferentes modalidades para um espaço compartilhado, permitindo que pesquisadores entendam as nuances semânticas que definem a proximidade.
Eficiência na Pesquisa: Facilita a análise de fenômenos complexos em ciências (ex: aquisição de linguagem, biologia) onde modelos de embedding são usados, permitindo verificar se o modelo está aprendendo conceitos semanticamente corretos.
Generalização: Embora focado em imagens neste estudo, a metodologia é projetada para ser estendida a texto, tabelas e séries temporais, desde que uma função de mascaramento específica seja definida.
Custo Computacional: O custo é comparável ao do RISE original (dominado pelas execuções do modelo para cada máscara), tornando-o viável para aplicações práticas.

Em resumo, o Distance Explainer oferece uma ferramenta robusta e generalizável para desvendar a "caixa preta" das distâncias em espaços vetoriais, permitindo que usuários entendam não apenas o que um modelo classifica, mas como ele relaciona diferentes conceitos.