Counterfactual Explanations on Robust Perceptual Geodesics

Este artigo apresenta o Perceptual Counterfactual Geodesics (PCG), um método que gera explicações contrafactuais semântica e visualmente válidas traçando geodésicas em um espaço latente com métrica riemanniana perceptual, superando as limitações de abordagens existentes que produzem artefatos fora da variedade ou colapsos adversariais.

O essencial

Imagine que você tem um "cérebro de máquina" (uma Inteligência Artificial) que é muito boa em reconhecer coisas, como diferenciar um gato de um cachorro. Mas, se você perguntar a ela: "O que eu precisaria mudar nesta foto de um gato para que ela pareça um cachorro?", ela pode te dar uma resposta estranha.

Muitas vezes, a IA sugere mudanças que são matematicamente corretas, mas visualmente ridículas: ela pode adicionar ruídos invisíveis, distorcer o rosto do gato de forma assustadora ou criar um animal que é metade gato, metade cachorro, mas que não existe na natureza. Isso acontece porque a IA está seguindo um mapa de "distância" errado. Ela pensa que mudar um pixel aqui ou ali é o mesmo que mudar a essência do animal.

O artigo "Explicações Contrafactuais em Geodésicas Perceptivas Robustas" (ou PCG, para os amigos) propõe uma solução inteligente para esse problema. Vamos usar uma analogia para entender como funciona:

1. O Problema: O Mapa Errado

Pense no espaço de todas as fotos possíveis como um terreno gigante e montanhoso.

• As fotos de gatos estão em um vale.
• As fotos de cachorros estão em outro vale.
• O objetivo é ir do vale dos gatos para o vale dos cachorros da maneira mais natural possível.

Os métodos antigos tentavam fazer isso de duas formas erradas:

• O Caminhante Cego (Métodos Antigos): Eles tentavam caminhar em linha reta pelo ar, ignorando as montanhas. O resultado? Eles caíam em buracos (imagens que não fazem sentido, chamadas de "artefatos fora da superfície") ou tropeçavam em pedras que pareciam cachorros, mas eram apenas truques visuais (ataques adversariais).
• O Mapa de Papel (Métricas Comuns): Eles usavam uma régua simples (distância de pixels) para medir o caminho. Para a régua, mudar a cor de uma orelha é a mesma coisa que mudar a forma do focinho. Isso leva a caminhos tortos e sem sentido.

2. A Solução: O Guia com Óculos de Visão Robusta

Os autores criaram o PCG (Geodésicas Contrafactuais Perceptivas). Pense no PCG como um guia de montanha muito experiente que usa óculos especiais.

• Os Óculos Especiais (Métrica Robusta): Em vez de olhar apenas para a cor dos pixels (como uma régua comum), o guia usa óculos treinados para ver o que os humanos veem. Esses óculos sabem que mudar o formato da orelha é uma mudança grande e importante, enquanto mudar a sombra de um pixel é irrelevante. Eles ignoram os "truques" que confundem a IA.
• O Caminho (Geodésica): O guia não traça uma linha reta pelo ar. Ele traça o caminho mais suave e natural ao longo das montanhas e vales. Ele garante que, a cada passo que você dá, a imagem continua sendo uma foto realista. Você nunca sai do terreno (a "superfície" das fotos reais).

3. Como Funciona na Prática (O Processo de Duas Etapas)

O método funciona como uma escultura em duas fases:

• Fase 1: O Esboço Suave. O guia traça um caminho longo e suave entre o gato original e um cachorro qualquer que ele conhece. Ele garante que, ao longo desse caminho, o animal mude gradualmente: o focinho estica um pouco, as orelhas mudam de formato, a pelagem se ajusta. Nada acontece de repente. É como um filme de animação onde o gato se transforma em cachorro frame a frame, sem "pulos" estranhos.
• Fase 2: O Ajuste Fino. Agora, o guia olha para o final do caminho. Ele precisa garantir que a foto final seja reconhecida como um cachorro pela IA. Se o caminho terminou muito longe do gato original, ele "puxa" o final do caminho de volta, mantendo a suavidade. O resultado é a menor mudança possível que transforma o gato em cachorro, sem quebrar a realidade.

Por que isso é importante?

1. Sem "Alucinações": A IA não cria monstros ou imagens borradas. Ela faz mudanças que fazem sentido para nós.
2. Explicação Real: Se você quiser saber por que a IA achou que aquela foto era um gato, o PCG mostra exatamente o que precisa mudar (ex: "mude a forma da orelha") de forma clara, sem truques matemáticos.
3. Segurança: Métodos antigos podem ser enganados facilmente (como um hacker). O PCG é "robusto", ou seja, é difícil de enganar porque ele segue as regras da percepção humana, não apenas a matemática fria.

Resumo em uma frase

O PCG é como ter um GPS inteligente para a imaginação da IA: ele não te manda voar por cima das montanhas (o que geraria imagens estranhas), mas te guia pelo caminho mais natural e seguro, garantindo que você chegue ao destino (a nova classe de imagem) sem sair do terreno da realidade.

Resumo técnico

1. O Problema

O artigo aborda as limitações críticas dos métodos atuais de Explicação Contrafactual (CE) em modelos de visão computacional profunda. As explicações contrafactuais visam identificar as modificações mínimas necessárias em uma entrada (ex: uma imagem) para alterar a previsão de um modelo para uma classe desejada.

Os autores identificam que os métodos existentes, baseados em otimização no espaço latente de modelos generativos (como GANs), sofrem de três falhas fundamentais:

1. Geometrias Planas ou Desalinhadas: A maioria dos métodos assume uma geometria euclidiana plana no espaço latente ou utiliza métricas de distância que não refletem a curvatura intrínseca da variedade (manifold) dos dados. Isso leva a trajetórias que saem da variedade de dados válidos (off-manifold), gerando artefatos visuais ou imagens implausíveis.
2. Vulnerabilidade Adversarial e "Colapso": Métricas comuns (como distância pixel a pixel $\ell_2$) ou métricas baseadas em classificadores padrão são frágeis. Elas podem ser exploradas por perturbações adversariais que, embora pequenas na métrica escolhida, não possuem significado semântico. Isso resulta em exemplos adversariais on-manifold (que estão na variedade de dados mas não são semanticamente válidos) ou off-manifold.
3. Falta de Coerência Semântica: As trajetórias geradas frequentemente exibem "deriva semântica" (mudanças bruscas de atributos) ou falham em cruzar a "divisão semântica" entre classes de forma suave e interpretável.

O artigo argumenta que a distinção entre um exemplo adversarial e uma explicação contrafactual válida não reside apenas em estar "dentro" ou "fora" da variedade de dados, mas na robustez semântica da trajetória percorrida.

2. Metodologia: Perceptual Counterfactual Geodesics (PCG)

Os autores propõem o PCG, um método que gera explicações contrafactuais traçando geodésicas (caminhos de menor energia) em um espaço latente equipado com uma métrica Riemanniana robusta.

Componentes Principais:

• Métrica Riemanniana Robusta: Em vez de usar a métrica euclidiana padrão ou a métrica de um classificador padrão, o PCG induz uma métrica no espaço latente a partir de modelos de visão robustos (adversarialmente treinados).
  • A métrica é construída como uma soma ponderada das pullbacks (retiradas) das métricas euclidianas de múltiplas camadas intermediárias de um modelo robusto (ex: ResNet-50 robusto).
  • Isso penaliza direções frágeis (sensíveis a perturbações adversariais) e favorece variações que são suaves e semanticamente alinhadas com a percepção humana.
• Otimização em Duas Fases:
  1. Fase 1 (Geodésica Robusta): Fixa-se a entrada original e um ponto de destino (uma amostra da classe alvo). Otimiza-se o caminho intermediário para minimizar a energia perceptual robusta, garantindo que a trajetória siga a geometria da variedade induzida pelo modelo robusto.
  2. Fase 2 (Refinamento Contrafactual): Libera-se o ponto final e otimiza-se conjuntamente a energia da geodésica e a perda de classificação. Um esquema de "re-ancoragem" é utilizado periodicamente para ajustar o ponto final para o ponto mais próximo na trajetória que já satisfaz a classe alvo, garantindo que o caminho final seja o mais curto possível em termos de métrica robusta.

Algoritmo:

O método discretiza a trajetória latente $\gamma$ em pontos $\{z_0, ..., z_T\}$. A energia a ser minimizada é a soma das variações quadráticas das ativações do modelo robusto ao longo do caminho:
$$E_{robust}(z) = \frac{1}{2} \sum_{i=0}^{T-1} \sum_{k=1}^{K} w_k \frac{1}{\delta t} \| h_k(g(z_{i+1})) - h_k(g(z_i)) \|_2^2$$
Onde $h_k$ são as ativações das camadas do modelo robusto e $g$ é o gerador.

3. Contribuições Chave

1. Geração de Contrafactuais via Geodésicas Robustas: Introdução do PCG, que utiliza uma métrica Riemanniana induzida por características de visão robusta no espaço latente de geradores STYLEGAN2/3. Isso garante que as transições cruzem a barreira semântica de forma suave e válida.
2. Interpolação Geodésica Perceptual: Demonstração de que a geometria latente robusta permite interpolações suaves e semanticamente coerentes entre amostras, evitando o colapso adversarial e a deriva semântica observada em métricas padrão.
3. Novas Métricas de Avaliação: Proposição de que métricas de distância padrão (como FID e LPIPS) podem ser enganosas em regimes adversariais. O artigo valida o uso de métricas robustas (R-FID, R-LPIPS) e métricas de alinhamento de variedade (MAS) para expor falhas ocultas em métodos existentes.

4. Resultados Experimentais

O PCG foi avaliado em três conjuntos de dados de alta dimensão: AFHQ (animais), FFHQ (rostos humanos) e PlantVillage (folhas de plantas).

• Comparação Qualitativa:
  • Métodos baselines (REVISE, VSGD, RSGD) frequentemente produzem imagens com artefatos off-manifold (texturas distorcidas, membros extras) ou exemplos adversariais on-manifold (semântica confusa).
  • O PCG gera trajetórias onde a mudança de classe (ex: gato para cão) ocorre de forma gradual, preservando identidade, pose e iluminação, sem artefatos visuais.
• Comparação Quantitativa:
  • Distância Perceptual: O PCG obteve os menores valores em todas as métricas de distância, especialmente nas métricas robustas ($L_R$ e R-LPIPS), indicando que as mudanças são semanticamente significativas e não apenas ruído adversarial.
  • Realismo e Fidelidade: O PCG obteve os melhores resultados em R-FID (distância de distribuição robusta) e Manifold Alignment Score (MAS), provando que as trajetórias permanecem alinhadas com a estrutura intrínseca dos dados.
  • Esparsidade (COUT): O método gera mudanças mais concentradas nas representações internas do classificador, em vez de dispersar perturbações por muitas características de baixo nível.
• Análise de Falhas: O estudo mostrou que métodos que ignoram a geometria robusta (como RSGD com métricas de classificador padrão) falham em distinguir entre exemplos contrafactuais válidos e exemplos adversariais, mesmo quando parecem "suaves" sob métricas euclidianas.

5. Significado e Impacto

Este trabalho é significativo por redefinir a abordagem de explicações contrafactuais em visão computacional:

• Superação da Ambiguidade Adversarial: O PCG resolve a ambiguidade histórica entre exemplos adversariais e explicações contrafactuais ao impor uma geometria que penaliza direções não robustas.
• Validação da Robustez como Guia: Demonstra que modelos robustos não são apenas melhores para classificação, mas fornecem a estrutura geométrica necessária para navegar no espaço de dados de forma interpretável.
• Novo Paradigma de Otimização: Move o foco de otimizações locais baseadas em gradiente simples para otimizações globais de trajetórias (geodésicas) em variedades Riemannianas, oferecendo um caminho para explicações mais confiáveis em sistemas de IA de alto risco.

Em resumo, o PCG estabelece que para obter explicações contrafactuais verdadeiramente semânticas e válidas, a otimização deve ser guiada por uma geometria que incorpore a robustez adversarial e a percepção humana, em vez de apenas a proximidade pixel a pixel.