Enhancing Visual Feature Attribution via Weighted Integrated Gradients

Problema

O Integrated Gradients (IG) é um método fundamental para atribuição de características em IA Explicável (XAI), particularmente para visão computacional. No entanto, sua eficácia depende fortemente da escolha de uma imagem de linha de base (baseline). Em tarefas de visão de alta dimensão, não existe uma linha de base universalmente "neutra"; escolhas comuns (ex: preto, branco ou ruído aleatório) frequentemente resultam em explicações inconsistentes ou ruidosas.

Para mitigar isso, o Expected Gradients (EG) faz a média das atribuições de IG sobre múltiplas linhas de base. Embora o EG reduza a sensibilidade à escolha de uma única linha de base, ele depende de uma limitação crítica: ele atribui pesos uniformes a todas as linhas de base, assumindo implicitamente que elas são igualmente informativas. Os autores argumentam que, em modelos de visão complexos, as linhas de base variam significativamente em sua relevância para um determinado input. A média uniforme pode permitir que linhas de base de baixa qualidade ou ruidosas diluam a atribuição final, levando a explicações instáveis e menos fiéis.

Metodologia: Weighted Integrated Gradients (WG)

O artigo propõe o Weighted Integrated Gradients (WG), uma extensão fundamentada do IG que atribui pesos dependentes do input a diferentes linhas de base com base em sua adequação para explicar um input específico.

1. Medida de Aptidão Não Supervisionada ($D_\alpha$):
O WG introduz um critério não supervisionado para avaliar a adequação da linha de base sem exigir anotações manuais ou conhecimento de domínio. Ele define uma pontuação de "aptidão" (fitness) baseada em perturbação:

• Definição: $D_\alpha$ é o número mínimo de características que devem ser mascaradas para reduzir a pontuação de saída do modelo para $\alpha\%$ de seu valor original.
• Lógica: Uma linha de base com um $D_\alpha$ menor é considerada mais "apta" porque menos características precisam ser removidas para impactar significativamente a confiança do modelo. Isso implica que a linha de base destaca efetivamente as características influentes.
• Ponderação: O peso $w_k$ para a $k$-ésima linha de base é inversamente proporcional ao seu escore de aptidão ($w_k \propto 1/D_\alpha$). Linhas de base que geram explicações mais fiéis (menor $D_\alpha$) recebem pesos maiores.

2. Computação Eficiente (Algoritmo 1):
Calcular $D_\alpha$ via busca exaustiva é computacionalmente proibitivo ($O(n)$). Os autores propõem uma estratégia de busca binária que aproveita a monotonicidade da redução de pontuação após a remoção de características. Ao mascarar iterativamente as características com base em escores de importância (ex: atribuições de IG), o algoritmo alcança uma complexidade de tempo de $O(\log n)$ por linha de base.

3. Justificativa Teórica:

• Propriedades Axiomáticas: O WG preserva os axiomas centrais do IG (Invariância de Implementação e Sensibilidade) e satisfaz uma propriedade de completude generalizada.
• Análise Probabilística: Sob a suposição de Monotonicidade de Relevância-Aptidão de Proxy Esperada (ou seja, linhas de base com melhores escores de aptidão tendem a colocar mais massa de probabilidade em características verdadeiramente relevantes), os autores provam que o WG aumenta a relevância esperada da atribuição agregada em comparação com a média uniforme (EG).
• Garantias de Amostra Finita: O artigo fornece um teorema mostrando que, quando o WG atinge uma margem de relevância positiva sobre a relevância média do EG, a fração de relevância empírica se concentra acima da média do EG a uma taxa exponencial.

Principais Contribuições

1. Formulação: Os autores reformulam a seleção de linha de base no IG como um problema de ponderação dependente do input, indo além da suposição uniforme do EG.
2. Mecanismo: Eles propõem uma medida de aptidão baseada em perturbação e não supervisionada ($D_\alpha$) para estimar a utilidade da linha de base e derivar pesos adaptativos.
3. Análise: Eles fornecem uma análise teórica mostrando que, sob suposições de monotonicidade específicas, a agregação ponderada pela aptidão produz uma massa de relevância esperada maior do que a média uniforme.
4. Avaliação Empírica: Eles avaliam o WG em diversas arquiteturas (Convolucionais e Transformers) em datasets padrão (ImageNet, COCO), relatando tanto ganhos de fidelidade de atribuição quanto o overhead computacional.

Resultados Experimentais

Os autores avaliaram o WG contra o EG usando sete modelos de backbone (DenseNet121, MobileNetV2, ResNet50/101, VGG16/19 e ViT-B/16).

• Métricas:
  • AUC de Deleção (Menor é melhor): Mede quão rapidamente a confiança do modelo cai quando as características mais atribuídas são removidas. O WG superou consistentemente o EG, com melhorias relativas variando de 19,36% a 36,01% entre os modelos.
  • AUC de Sobreposição (Maior é melhor): Uma métrica supervisionada que mede o alinhamento espacial com máscaras de segmentação de ground-truth. O WG mostrou melhorias variando de 5,69% a 18,55%.
• Qualidade Visual: A análise qualitativa (mapas de saliência) indica que o WG produz atribuições mais nítidas e focadas nos objetos principais em comparação ao EG.
• Trade-off: Os autores observam explicitamente que o WG incorre em custo computacional adicional devido à etapa de avaliação de aptidão (aproximadamente 5,7$\times$ mais lento que o EG em suas medições).

Significância e Alegações

O artigo posiciona o WG não como uma alternativa mais rápida ao EG, mas como um trade-off de fidelidade de atribuição. Sua principal significância reside em:

• Confiabilidade: Ao reduzir adaptativamente o peso de linhas de base de baixa qualidade, o WG garante atribuições mais confiáveis sem curadoria manual de linhas de base.
• Abordagem Fundamentada: Oferece um mecanismo baseado em dados para abordar o "problema da linha de base" na atribuição baseada em caminho, indo além da suposição de que todas as linhas de base contribuem igualmente.
• Aplicabilidade: O método é particularmente adequado para cenários onde a melhoria na qualidade da explicação justifica o tempo de execução adicional, aumentando a utilidade da XAI em aplicações críticas de visão.

Os autores mantêm um tom modesto em relação às suas alegações teóricas, reconhecendo que as garantias probabilísticas dependem de uma suposição "esperada e baseada em proxy" e que a monotonicidade de relevância-aptidão é verificada empiricamente, mas não garantida para cada instância individual de input. Eles concluem que o WG é um passo em direção a explicações mais claras e confiáveis para sistemas de deep learning, desde que o overhead computacional seja aceitável para o caso de uso específico.