Resumo Técnico: O Limite Representacional das Interações Escalares

1. Definição do Problema

O artigo aborda uma limitação fundamental em IA Explicável (XAI) no que diz respeito à forma como a cooperação de características é quantificada em redes neurais profundas. Os paradigmas atuais dependem de escores de interação de pares com sinal (ex: Índice de Interação de Shapley, Faith-SHAP) para explicar dependências de características. Esses métodos atribuem um valor escalar único a um par de características, interpretando valores positivos como sinergia e negativos como redundância.

Os autores argumentam que essa abordagem escalar é fundamentalmente falha porque funde três mecanismos cooperativos distintos:

1. Unicidade (U): O valor preditivo que uma característica fornece que nenhuma outra pode fornecer.
2. Redundância (R): O valor preditivo compartilhado entre múltiplas características.
3. Sinergia (S): O valor preditivo que emerge apenas quando as características são combinadas, excedendo a soma de suas contribuições individuais.

O problema central é que um escalar único não pode codificar simultaneamente essas três dimensões ortogonais. O artigo prova que, em Modelos Causais Estruturais (SCMs) de ordem superior mínimos, especificamente um XOR de 3 vias, índices fiéis (faithful) retornam zero (apagando o sinal), enquanto índices projetivos redistribuem o sinal de ordem superior em coeficientes de ordem inferior espúrios, falhando em distinguir o mecanismo subjacente.

2. Metodologia: Stochastic Hi-Fi

Para resolver este gargalo representacional, os autores introduzem o Stochastic Hi-Fi, um estimador post-hoc, livre de retreinamento, que decompõe a importância da característica em perfis de U/R/S por característica.

Mudança Operacional Central

Ao contrário de métodos que dependem do retreinamento de modelos em subconjuntos de características (que respondem ao que um modelo poderia aprender) ou decomposições de variância observacional (que não podem desambiguar sinergia de redundância sem intervenção), o Stochastic Hi-Fi utiliza inferência mascarada intervencional.

• Perda Intervencional: Para uma coalizão de características $S$, o método calcula a perda esperada $L(S)$ mascarando as características em $S$ e substituindo-as por amostras de uma distribuição de fundo $p_{bg}$ (a marginal das características inativas). Isso audita o que o modelo implantado realmente utiliza.
• Decomposição LOCO: O método define o ganho Leave-One-Covariate-Out (LOCO) para uma característica $i$ no contexto $C$ como a redução na perda quando $i$ é adicionada a $C$.
  • Unicidade ($U_i$): O ganho LOCO mínimo através de todos os contextos (valor preditivo no contexto menos favorável).
  • Efeito de primeira ordem ($\pi_i$): O ganho LOCO em um contexto vazio.
  • Capacidade Preditiva Máxima ($L^{\max}_i$): O ganho LOCO máximo através de todos os contextos.
  • Redundância ($R_i$) e Sinergia ($S_i$): Derivados algebricamente como $R_i = \pi_i - U_i$ e $S_i = L^{\max}_i - \pi_i$.

Estratégia de Estimativa

Avaliar todas as $2^n$ coalizões é intratável. O Stochastic Hi-Fi emprega uma abordagem de vocabulário estocástico:

1. Vocabulário de Coalizões: Ele mantém uma tabela de coalizões visitadas, estimando sua média de perda e variância online usando o algoritmo de Welford.
2. Política de Exploração: Uma estratégia $\epsilon$-greedy com um termo softmin prioriza coalizões subamostradas, garantindo que cada coalizão tenha uma probabilidade não nula de ser amostrada (condição de massa positiva).
3. Amostragem de Diamante (Diamond Sampling): Para reduzir a variância na estimativa de interações de pares (a diferença mista $\Delta_{ij}$), o método avalia quatro coalizões estruturalmente adjacentes ($C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$) utilizando o mesmo lote de fundo (background batch). Este acoplamento de "diamante" explora a covariância positiva entre coalizões adjacentes para cancelar o ruído, desde que uma condição de covariância de dominância de adjacência seja atendida.

3. Principais Contribuições

1. O Teorema da Conflação (Teórico)

Os autores provam o Teorema 1, demonstrando que, em um SCM XOR de 3 vias mínimo, nenhum índice escalar pode representar conjuntamente U, R e S.

• Índices fiéis (ex: Shapley-Taylor) retornam exatamente zero para todos os pares, apagando o sinal de ordem superior.
• Índices projetivos (ex: SII padrão) redistribuem o efeito do trio em coeficientes de pares espúrios de magnitude $\pm 1/4$.
• Conclusão: A falha é representacional, não computacional. O espaço de saída deve mudar de um escalar para um vetor (U, R, S).

2. Estimador Stochastic Hi-Fi (Metodológico)

O artigo introduz um estimador livre de retreinamento com garantias estatísticas rigorosas:

• Semântica Intervencional: Ele audita modelos implantados via inferência mascarada em vez de retreinamento.
• Limites de Amostra Finita: Fornece limites de concentração do tipo Hoeffding para a aproximação de Monte Carlo das perdas das coalizões.
• Redução de Variância: Prova que a amostragem de "diamante" reduz estritamente a variância em comparação com a amostragem independente sob condições específicas de covariância (Teorema 3).
• Convergência: Estabelece garantias de convergência uniforme para o perfil U/R/S sobre um vocabulário finito.

3. Validação Empírica

O método é validado em três domínios distintos:

• SCMs Tabulares: O Stochastic Hi-Fi recupera a estrutura real de U/R/S dos modelos XOR e AND-OR, enquanto os baselines escalares falham em distinguir os mecanismos (razões de recuperação até 411$\times$ maiores que os baselines).
• Circuitos de Transformer (GPT-2): Aplicado ao circuito de Identificação de Objeto Indireto (IOI), ele separa cabeças de reserva redundantes de pares de cabeças sinérgicas. Ele identifica cabeças que são invisíveis para o patching de ativação de primeira ordem (baixo efeito de singleton) mas carregam sinergia substancial em nível de par.
• Imagens Médicas (ChestX-ray14): Em um modelo DenseNet121, o método iguala o GradCAM no Jogo de Apontamento (Pointing Game - localização), mas supera significamente este no AUC de Deleção (fidelidade causal), demonstrando que perfis U/R/S de grade grossa preservam melhor a fidelidade causal do que mapas de saliência padrão.

4. Resultados e Alegações

Métricas de Desempenho

• SCMs: No XOR de 3 vias, os baselines escalares confundem papéis distintos com razões de até 411$\times$. O Stochastic Hi-Fi recupera o perfil dominante de sinergia para características ativas e separa a característica espectadora.
• GPT-2 IOI: A decomposição revela que pares dentro do mesmo papel (ex: cabeças de S-Inibição) são dominados por redundância, enquanto pares de papéis cruzados (ex: Indução + S-Inibição) são dominados por sinergia. Ele identifica com sucesso cabeças com unicidade negativa (indicando comportamento de reserva) e alta sinergia, apesar de baixos escores de primeira ordem.
• ChestX-ray14:
  • Localização: A precisão do Pointing Game é estatisticamente indistinguível do GradCAM ($p=0.140$). O IoU@15 mostra um pequeno déficit significativo, atribuído à grade grosseira de $14\times14$.
  • Fidelidade Causal: O AUC de Deleção melhora substancialmente de 0.332 (GradCAM) para 0.269 ($p=1.61 \times 10^{-78}$), indicando desempenho superior em identificar características cuja remoção degrada o desempenho do modelo.

Significância e Escopo

O artigo afirma que a interação de pares com sinal é uma projeção útil, mas não uma explicação completa da cooperação.

• Desmembramento de Mecanismos: A principal contribuição é a mudança do codomínio de saída de um escalar para um perfil desmembrado por mecanismos (U, R, S), permitindo que pesquisadores distingam entre contribuições únicas, redundantes e sinérgicas.
• Fidelidade do Modelo: Ao evitar o retreinamento, o método audita o modelo específico implantado em vez de um hipotético modelo retreinado.
• Limitações: Os autores explicitamente notam que as estimativas de unicidade ($U_i$) são limites superiores conservadores quando o vocabulário não é exaustivo. Em imagens, grades grosseiras trocam resolução espacial por fidelidade causal. O método depende da escolha da distribuição de fundo $p_{bg}$, que define o estimando e requer relatório de sensibilidade explícito.

O artigo conclui que as explicações de interação devem relatar mecanismos, não apenas sinais, e que o Stochastic Hi-Fi fornece um framework tratável, post-hoc, para tal, com semântica intervencional estrita.