A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Resumo Técnico: Uma Visão Geométrica do Comportamento Contrafactual

Definição do Problema
Explicações contrafactuais visam identificar mudanças de entrada semanticamente significativas e pequenas que alterem a previsão de um modelo. Embora amplamente utilizadas para auditar sistemas de aprendizado de máquina, os métodos atuais frequentemente tratam a geração de contrafactuais como um problema de otimização local restrito pela viabilidade específica da tarefa. No entanto, uma perturbação que altera a previsão pode existir dentro de um orçamento de localidade, mas falhar em corresponder a uma alternativa realista se cair em uma região de fraco suporte de dados. Além disso, modelos com desempenho preditivo quase idêntico podem exibir comportamentos contrafactuais vastamente diferentes. Este trabalho investiga por que essas discrepâncias ocorrem, hipotetizando que o comportamento contrafactual não é apenas uma função da precisão preditiva, mas é governado pela interação geométrica entre a proximidade da fronteira de decisão e o suporte de dados local no espaço de representação.

Metodologia
Os autores propõem uma estrutura geométrica e uma sonda de busca local padronizada para avaliar o comportamento contrafactual em diversos domínios (visão, linguagem, imagens médicas e multimodal).

1. Estrutura Geométrica:

   • Proximidade da Fronteira de Decisão ($dbd(z)$): Definida como a distância até a fronteira de decisão mais próxima, aproximada via uma linearização de primeira ordem do hiato de logit entre as duas classes preditas principais.
   • Suporte da Classe Alvo Local ($r_k(z)$): Definido como a distância euclidiana de um embedding $z$ ao seu $k$-ésimo vizinho mais próximo dentro do conjunto de referência da classe alvo no espaço de embedding. Isso mede se a região alvo é densamente povoada por dados.
   • Hipóteses: O trabalho testa três hipóteses: (H1) Modelos com precisão equivalente diferem em comportamento contrafactual; (H2) Variar a cabeça do classificador sob embeddings fixos altera o comportamento contrafactual; e (H3) A interação entre proximidade de fronteira e suporte local prevê resultados contrafactuais.

2. Configuração Experimental:

   • Encoders: O estudo avalia vários encoders pré-treinados (ex: ResNet-50, ViT, BERT, CLIP, SigLIP2) através de datasets como Shapes, MNIST, Chest X-ray, IMDb e MM-IMDb.
   • Cabeças de Classificador: Classificadores lineares são treinados sobre embeddings congelados. Para isolar o efeito do posicionamento da fronteira, os autores treinam múltiplas cabeças sobre os mesmos embeddings usando diferentes inicializações e forças de regularização (decaimento de peso).
   • Protocolo de Busca: É utilizado um gradiente descendente projetado padronizado no espaço de embedding para encontrar uma mudança de predição dentro de uma região de confiança fixa ($\tau$) e um orçamento de iterações.
   • Métricas: Sucesso Contrafactual (CF-Suc), Distância Contrafactual (CF-Dist) e Esforço de Otimização (OptEff).

Principais Contribuições

1. Estrutura Geométrica e Sonda: Introdução de um método padronizado para avaliar o comportamento contrafactual baseado na interação entre proximidade de fronteira e suporte de dados local, indo além de simples métricas preditivas.
2. Isolamento de Efeitos de Fronteira: Demonstração de que, sob representações fixas, variar apenas a cabeça do classificador (via inicialização ou regularização) pode alterar substancialmente o sucesso e a distância contrafactual, enquanto deixa a precisão preditiva largamente inalterada.
3. Poder Preditivo Conjunto: Evidência de que a proximidade da fronteira sozinha é insuficiente; a combinação de proximidade de fronteira e suporte local é necessária para explicar a variação na viabilidade e no esforço contrafactual.

Resultos

• Divergência em Modelos com Precisão Equivalente: Modelos com lacunas mínimas de precisão (ex: <0,02) exibiram grandes discrepâncias no comportamento contrafactual. Por exemplo, no MNIST, dois modelos com uma lacuna de precisão de 0,01 mostraram uma diferença de 65 pontos percentuais nas taxas de sucesso contrafactual.
• Sensibilidade do Classificador: Quando o encoder foi congelado e apenas a cabeça do classificador linear foi variada, as taxas de sucesso contrafactual variaram significamente (ex: lacunas de CF-Suc de 0,12 a 0,32) apesar da estabilidade da precisão. Aumentar a regularização deslocou a distância média da fronteira, o que correlacionou monotonicamente com um menor sucesso contrafactual.
• Modelagem Comportamental Preditiva: Modelos de regressão usando apenas precisão ou perda de entropia cruzada explicaram pouca variância nos resultados contrafactuais. No entanto, modelos incorporando $dbd(z)$e$r_k(z)$ alcançaram pontuações de $R^2$ significativamente maiores. Especificamente, adicionar o suporte de dados local à proximidade de fronteira melhorou consistentemente o poder preditivo em todos os datasets.
• Mudanças Suportadas vs. Não Suportadas: O estudo distingue entre "mudanças suportadas" (alcançar uma região alvo com forte suporte de dados local) e "mudanças não suportadas" (atravessar uma fronteira para regiões esparsas). O comportamento contrafactual eficaz dependeu fortemente de alcançar regiões suportadas, e não meramente de atravessar uma fronteira.
• Melhoria da Busca via Geometria: Em um estudo de caso no MNIST, aumentar o objetivo de busca contrafactual com priors conscientes de geometria (penalizando a distância aos vizinhos da classe alvo) aumentou com sucesso os resultados da busca onde os baselines padrão falharam, demonstrando a utilidade prática desses sinais geométricos.

Significância e Alegações
O artigo alega que o comportamento contrafactual constitui uma dimensão distinta de avaliação de modelo, separada do desempenho preditivo e da robustez baseada em margem. Os autores argumentam que:

• A viabilidade contrafactual não é invariante entre modelos funcionalmente similares; ela depende criticamente de como o classificador posiciona as fronteiras em relação à estrutura de dados local.
• Métricas preditivas padrão (precisão, perda) são insuficientes para auditar explicações contrafactuais ou sistemas de recurso.
• Compreender a interação entre a proximidade da fronteira e o suporte local é essencial para seleção de modelos, análise de robustez e design de métodos contrafactuais mais confiáveis.
• Os achados sugerem que futuros métodos contrafactuais devem explicitamente considerar o suporte de dados local para garantir que as explicações geradas residam em regiões suportadas pela distribuição de dados.

O trabalho conclui que, embora esses fatores geométricos expliquem a variação nos atuais setups de cabeça linear, estender essa perspectiva para modelos não lineares de ponta a ponta e desenvolver objetivos contrafactuais conscientes de geometria permanece como uma direção para pesquisas futuras.