Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Resumo Técnico: Além do L2: Generalizando Explicações Abdutivas Latentes para Diversas Arquiteturas Baseadas em Protótipos

Declaração do Problema
Redes neurais baseadas em protótipos (PBNs) são reconhecidas como arquiteturas "interpretáveis por design" que justificam previsões referenciando exemplos de treinamento semelhantes (protótipos). Recentemente, as Explicações Latentes Abdutivas (ALE) foram introduzidas para fornecer explicações formais, matematicamente garantidas para essas redes, computando limites estritos nas distâncias do espaço latente. No entanto, as formulações atuais de ALE estão rigidamente confinadas a espaços latentes Euclidianos usando distâncias $L_2$. Isso cria uma lacuna crítica: as PBNs de última geração utilizam cada vez mais representações não euclidianas, incluindo métricas esféricas (similaridade de cosseno), densidades Gaussianas e projeções dimensionais (softmax). Os métodos de explicação formal atuais são incompatíveis com essas diversas estruturas geométricas, impedindo a análise de interpretabilidade rigorosa em todo o espectro de arquiteturas baseadas em protótipos.

Metodologia
Os autores generalizam o framework ALE para suportar arquiteturas de protótipos não euclidianas, derivando algoritmos de limitação específicos para diferentes variantes geométricas. O objetivo central permanece o mesmo: computar conjuntos de protótipos minimamente subconjuntos que garantam a previsão de um modelo, iterativamente estreitando os limites dos valores de ativação.

1. Similaridade de Cosseno (Geometria Esférica): Para arquiteturas como a TesNet, que utilizam similaridade de produto escalar em uma esfera unitária, os autores adaptam o raciocínio para a geometria esférica. Como a similaridade de cosseno não satisfaz a desigualdade triangular padrão, eles utilizam a Distância Angular ($d_\angle$) para derivar limites. Eles introduzem uma Aproximação de Interseção de Calota Esférica, onde a interseção de duas calotas esféricas (definidas por um patch e dois protótipos) é limitada por uma calota esférica de raio mínimo envolvente. Isso permite a derivação de limites inferiores e superiores estritos na similaridade entre um patch latente e protótipos não observados.
2. Projeção Dimensional (Geometria de Simplex): Para arquiteturas como a PIP-Net, que mapeiam ativações para um simplex de probabilidade via uma função softmax, o raciocínio geométrico muda de distâncias espaciais para a conservação de massa de probabilidade. Os autores propõem uma Explicação de Simplex onde adicionar um par $\langle \text{patch}, \text{protótipo} \rangle$ à explicação "consome" uma porção da massa de probabilidade, limitando estritamente o limite superior dos protótipos restantes. Eles também introduzem uma Explicação de Peso Esparso para modelos com cabeças de classificação esparsas e não negativas, o que permite o cálculo exato do score para a classe prevista e a limitação estrita para as classes concorrentes.
3. Similaridade Gaussiana Isotrópica: Para redes probabilísticas (ex: ProtoGMM) onde os protótipos são distribuições Gaussianas, os autores mapeiam o problema de volta para um espaço Euclidiano universal. Ao assumir covariância isotrópica, eles recuperam uma distância Euclidiana "verdadeira" a partir do score de similaridade. Eles aplicam a Aproximação de Interseção de Hiperesfera (HIA) padrão neste espaço Euclidiano mapeado e então projetam os limites geométricos resultantes de volta para o espaço de ativação específico do modelo.
4. Similaridade Focal: Para arquiteturas como a ProtoPool, que utilizam pooling focal para suprimir ruído de fundo, os autores demonstram que os limites espaciais de ALE existentes podem ser agregados para limitar as estatísticas agregadas (valores máximos e esperados) necessárias para a operação de pooling focal, sem alterar o solver geométrico subjacente.

Principais Contribuições

• Generalização de ALE: O artigo estende o framework ALE além dos espaços $L_2$ Euclidianos para suportar métricas esféricas, densidades Gaussianas e projeções baseadas em simplex.
• Novos Algoritmos de Limitação: Os autores derivam sistematicamente como mapear diversas arquiteturas para os limites existentes ou construir novos algoritmos de limitação específicos de arquitetura (ex: Interseção de Calota Esférica, conservação de massa de Simplex).
• Framework Unificado: Ao unificar esses diversos modelos sob um único framework formal, este trabalho possibilita a primeira comparação rigorosa de interpretabilidade entre arquiteturas.
• Validação Empírica: Os autores validam essas construções teóricas computando explicações formais de subconjuntos mínimos em classificadores de imagem totalmente treinados em múltiplos datasets (Oxford Flowers 102, Oxford IIIT Pet, CUB200) e arquiteturas (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet).

Resultados
Os experimentos revelam trade-offs significativos entre o tamanho da explicação (interpretabilidade) e o custo computacional entre diferentes paradigmas:

• PIP-Net: Modelos com cabeças lineares esparsas e não negativas (PIP-Net) produzem os menores tamanhos absolutos de explicação e tempos de computação mais rápidos (aprox. 0,07s), sugerindo que são inerentemente mais compatíveis com verificação formal.
• Paradigma de Simplex: O paradigma de explicação de Simplex (para PIP-Net) alcança o menor tamanho relativo de explicação (0,1%–0,2%), indicando excelente escalabilidade com as dimensões do espaço latente.
• Modelos Gaussianos: A HIA escalada fornece os menores tamanhos relativos de explicação para modelos Gaussianos (4,6%–6,2%), mas incorre no maior overhead computacional (até 142s), com algumas configurações sofrendo timeout em datasets maiores.
• Modelos de Cosseno/Esféricos: Embora a HIA Esférica alcance tamanhos relativos competitivos, tanto o Cosine TI quanto a HIA Esférica sofrem de alta variância e problemas de escalabilidade, frequentemente sofrendo timeout no dataset CUB200.
• Métrica: Os autores introduzem uma métrica de "Tamanho Relativo" para normalizar os tamanhos das explicações entre diferentes paradigmas, fornecendo um indicador robusto da interpretabilidade arquitetural inerente independente do número total de protótipos.

Significância
O artigo afirma fornecer a primeira comparação quantitativa de interpretabilidade formal entre diversas redes baseadas em protótipos. Ao estender o ALE para espaços não euclidianos, ele preenche a lacuna entre as garantias teóricas da XAI Formal e a realidade prática das diversas arquiteturas de protótipos modernas. O trabalho destaca princípios de design específicos — como o uso de cabeças esparsas e não negativas — que levam a uma melhor interpretabilidade formal. Estabelece que, embora a precisão geométrica (ex: em modelos Gaussianos ou esféricos) possa gerar limites estritos, isso muitas vezes ocorre a um custo computacional significativo, ressaltando a necessidade de um design arquitetural cuidadoso para equilibrar garantias de interpretabilidade com escalabilidade.