Resumo Técnico: FRInGe – Gradientes Integrados no Espaço de Distribuição com Geometria Fisher–Rao

1. Formulação do Problema

Métodos de atribuição baseados em gradientes, como os Gradientes Integrados (IG), são amplamente utilizados para explicar previsões de redes neurais profundas devido à sua fidelidade ao modelo e escalabilidade. No entanto, o IG padrão sofre de várias limitações práticas que afetam a estabilidade e a interpretabilidade das explicações:

• Sensibilidade à Linha de Base: A escolha da linha de base no espaço de entrada (por exemplo, imagens zeradas ou ruído) é heurística e pode levar a explicações qualitativamente diferentes.
• Artefatos de Trajetória: A interpolação em linha reta padrão no espaço de entrada frequentemente atravessa regiões onde os gradientes são mal condicionados, dominados por artefatos ou saturados.
• Saturação: Ao longo de trajetórias padrão, as saídas do modelo podem mudar rapidamente no início e depois estabilizar, concentrando gradientes informativos em um segmento estreito, enquanto etapas posteriores contribuem com ruído.
• Erro de Discretização: Aproximar a integral de caminho com somas de Riemann finitas pode introduzir erros substanciais quando os gradientes variam abruptamente.

Tentativas existentes de abordar essas questões frequentemente envolvem o desenho de trajetórias diretamente no espaço de entrada ou o uso de modelos generativos explícitos para definir variedades de dados, o que pode confundir a qualidade da atribuição com a qualidade do modelo generativo.

2. Metodologia: FRInGe

Os autores propõem o FRInGe (Gradientes Integrados Fisher–Rao), um método que redefine o ponto de referência e o cronograma de interpolação dentro do espaço de distribuições preditivas em vez do espaço de entrada. O método consiste em três componentes principais:

A. Referência de Distribuição Preditiva

Em vez de selecionar uma linha de base heurística de entrada, o FRInGe define a referência no espaço de distribuições preditivas. Adota uma referência de máxima entropia ($q^\star = \frac{1}{C}\mathbf{1}$), representando uma distribuição uniforme sobre as classes. Isso operacionaliza "nenhuma informação" diretamente no nível da saída do modelo, removendo a dependência de designs de linha de base específicos do tipo de dado.

B. Cronograma Geodésico Fisher–Rao

A interpolação entre a distribuição preditiva do modelo $p(x)$ e a referência de máxima entropia $q^\star$ é definida como uma geodésica Fisher–Rao no simplex de probabilidade.

• Usando o embutimento de raiz quadrada $\psi(p) = \sqrt{p}$, o simplex é mapeado para o ortante positivo de uma esfera unitária.
• A geodésica é computada via interpolação linear esférica (slerp) neste espaço embutido, garantindo que o caminho siga a geometria intrínseca das distribuições preditivas.

C. Trajetória no Espaço de Entrada via Métrica de Arrastamento (Pullback)

Para realizar essa trajetória no espaço de distribuições no espaço de entrada, o FRInGe utiliza a métrica de Fisher de arrastamento.

• Passos Conscientes da Geometria: O método minimiza uma perda de alinhamento esférico entre a previsão atual e o próximo ponto de passagem na geodésica. A direção de descida é computada usando a métrica de Fisher de arrastamento $G(x) = J_F(x)^\top S(x) J_F(x)$, onde $J_F$ é o Jacobiano dos logits e $S(x)$ é a matriz de informação de Fisher da distribuição softmax.
• Estabilização por Região de Confiança: Para garantir estabilidade numérica e evitar deslocamentos de entrada grandes e não perceptuais, o método emprega uma regra dual de região de confiança:
  1. Controle KL: Limita o tamanho do passo com base na divergência KL local (aproximada pela norma de Fisher), garantindo progresso constante no espaço preditivo.
  2. Limite Euclidiano: Impõe um tamanho máximo de passo euclidiano para evitar instabilidade em regiões onde a geometria preditiva é plana.
• Regularização Espacial: Para desencorajar perturbações adversariais de alta frequência, um operador de suavização espacial (por exemplo, Laplaciano discreto) é adicionado ao sistema linear que resolve a direção de atualização.

D. Cálculo de Atribuição

As atribuições de características são obtidas integrando os gradientes de entrada ao longo da trajetória no espaço de entrada realizada. Como a trajetória se move da entrada em direção à referência, a integral acumulada é negada para restaurar a orientação padrão de linha de base para entrada. O método satisfaz a completude em relação ao ponto final realizado da trajetória.

3. Contribuições Principais

1. Definição no Espaço de Distribuição: O FRInGe é o primeiro método de atribuição a definir tanto a referência do IG quanto o cronograma de interpolação inteiramente dentro do espaço de distribuições preditivas, usando uma referência de máxima entropia.
2. Geometria Intrínseca: Constrói o cronograma de integração como uma geodésica Fisher–Rao, evitando linhas retas euclidianas arbitrárias no espaço de entrada.
3. Realização por Arrastamento: Induz a trajetória correspondente no espaço de entrada via métrica de Fisher de arrastamento, criando um campo vetorial consciente do modelo sem exigir um modelo generativo explícito da variedade de dados.
4. Mecanismo de Estabilização: A integração de regiões de confiança baseadas em KL e limites euclidianos garante a realização numérica estável do caminho, abordando questões de saturação e erro de discretização.

4. Resultados Experimentais

Os autores avaliaram o FRInGe em 1.000 imagens de validação do ImageNet em seis arquiteturas (Inception-v3, ResNet-18/50/101/152, VGG-19).

• Métricas de Calibração (MAS): O FRInGe demonstra a melhoria mais significativa nas métricas de Pontuação Alinhada por Magnitude (MAS) (tanto Inserção quanto Deleção). Isso indica que as atribuições do FRInGe estão melhor calibradas às dinâmicas de confiança do modelo; a massa de atribuição acumulada rastreia de perto a mudança real na confiança do modelo.
• Métricas de Perturbação: O FRInGe permanece competitivo em métricas AUC baseadas em perturbação padrão (Inserção/Deleção) e métricas de Infidelidade, embora não domine uniformemente todas as linhas de base (por exemplo, o SmoothGrad às vezes performa melhor na AUC de Deleção).
• Comparação com Linhas de Base Geométricas: O FRInGe supera outros métodos conscientes da geometria, como GGIG e GeoIG, em MAS e Infidelidade, sugerindo que seus ganhos derivam da combinação de cronograma no espaço preditivo e geometria de arrastamento, e não apenas do desenho do caminho.
• Estudos de Ablação: Remover a geometria de arrastamento (rastreamento euclidiano) ou a regularização espacial leva a trajetórias mais ruidosas e de alta frequência e a pontuações de calibração mais baixas, confirmando que todos os três componentes (referência preditiva, geometria de Fisher e regularização) são necessários para o desempenho ótimo.
• Custo Computacional: O FRInGe é computacionalmente mais caro que o IG padrão (requerendo soluções de gradiente conjugado em cada etapa), com tempos de execução de 4x a 22x mais lentos, dependendo da arquitetura. No entanto, os autores observam que isso é aceitável para análise e auditoria offline.

5. Significado e Alegações

O artigo afirma que o FRInGe oferece uma alternativa principiante aos Gradientes Integrados Euclidianos, deslocando a definição de "progresso" da distância no espaço de pixels para mudanças no estado preditivo do modelo.

• Alinhamento com Dinâmicas do Modelo: O benefício principal é o alinhamento da magnitude da atribuição com as dinâmicas internas de confiança do modelo. Ao seguir a geodésica Fisher–Rao, o método evita a saturação e os artefatos comuns em caminhos em linha reta, produzindo explicações mais fiéis à forma como o modelo realmente processa informações.
• Independência de Modalidade: Ao definir a referência no espaço de distribuições (máxima entropia), o método reduz a necessidade de linhas de base desenhadas manualmente e específicas da modalidade de dados.
• Limitações: Os autores reconhecem a sobrecarga computacional como a principal limitação prática. Sugerem que trabalhos futuros poderiam focar em aproximações estruturais mais baratas da métrica inversa de arrastamento ou preditores amortizados para acelerar o método.

O artigo conclui que o FRInGe demonstra com sucesso que explicações que seguem as próprias dinâmicas preditivas do modelo (via geometria Fisher–Rao) produzem atribuições de maior qualidade e melhor calibradas do que aquelas que seguem caminhos euclidianos arbitrários.