Resumo Técnico: AGOP-IxG para Atribuição de Características Locais em Dados Tabulares

Declaração do Problema

Pipelines de Aprendizado de Máquina Automatizado (AutoML) implantam cada vez mais modelos de caixa-preta em domínios de alto risco (por exemplo, pontuação de crédito, risco médico), tornando necessárias explicações por previsão para reguladores e usuários finais. Embora métodos de atribuição de características como SHAP, Gradientes Integrados (IG) e LIME sejam padrão, sua seleção é frequentemente impulsionada pela convenção e não pela fidelidade medida. Existe uma lacuna fundamental de avaliação: dados tabulares do mundo real carecem de atribuição de verdade fundamental, forçando a dependência de proxies circulares (por exemplo, concordância entre métodos) ou métricas globais (por exemplo, ROAR) que não avaliam a qualidade de explicações individuais por amostra. Consequentemente, os praticantes carecem de uma base principial para selecionar um método de atribuição que equilibre precisão, robustez ao ruído e custo computacional.

Metodologia

O Método Proposto: AGOP-IxG

Os autores propõem o AGOP-IxG, um método rápido de atribuição por amostra para classificadores tabulares que combina InputXGradient com um filtro de gradiente derivado da matriz Produto Externo do Gradiente Médio (AGOP).

1. Etapa de Treinamento (Ajuste):

   • Para um conjunto de treinamento de $n$ amostras, o gradiente da pontuação da classe prevista ($g_i = \nabla_x \hat{s}_{c_i}(x_i)$) é computado para cada amostra.
   • A matriz AGOP $M$ é construída como o produto externo empírico do gradiente: $M = \frac{1}{n} \sum_{i=1}^n g_i g_i^\top$.
   • $M$ é decomposto em autovalores ($M = V\Lambda V^\top$). Uma truncagem de posto-$K$ é aplicada, retendo apenas autovetores onde os autovalores excedem 1% do autovalor máximo ($\lambda_{max}$). Isso cria uma reconstrução de baixo posto $M_K = V_K \Lambda_K V_K^\top$.
   • Este processo atua como um filtro de ruído, amplificando componentes de gradiente alinhados com direções de alta variância da distribuição de treinamento, enquanto zera direções de ruído de baixo autovalor.

2. Etapa de Atribuição (Teste):

   • Para uma amostra de teste $x$ com linha de base $x'$ (média de treinamento por característica), o gradiente $g$ é computado.
   • O gradiente é pré-multiplicado pela matriz AGOP truncada: $g_{attr} = g M_K$.
   • A atribuição final $e_j$ é calculada como o produto da diferença da característica e do gradiente filtrado: $e_j = (x_j - x'_j) \cdot (g_{attr})_j$.
   • As atribuições são normalizadas para somar 1.

Eficiência Computacional: Ao utilizar a fatoração de baixo posto ($M_K = V_K \Lambda_K V_K^\top$), o método evita formar a matriz completa $d \times d$, exigindo apenas dois produtos matriz-vetor. Isso resulta em um tempo de execução aproximadamente 350× a 1.650× mais rápido que o SHAP.

Framework de Avaliação

O artigo introduz um benchmark de duas partes:

1. Parte 1: Benchmarks Sintéticos Controlados: Três tarefas tabulares multiclasse (Linear, Não Linear Esparsa e Interação de Características) são geradas, onde a atribuição de verdade fundamental é derivável analítica ou numericamente. As métricas incluem correlação de posto de Spearman, precisão Top-$k$ e Massa de Característica de Ruído (atribuição atribuída a características irrelevantes).
2. Parte 2: Fidelidade Global do Mundo Real: O protocolo ROAR (Remover e Retreinar) é aplicado aos conjuntos de dados de Renda Adulta e Inadimplência de Cartão de Crédito para medir a fidelidade do ranking global de características.

Principais Contribuições

1. Algoritmo AGOP-IxG: Um esquema de atribuição novel que compõe InputXGradient com um filtro de gradiente AGOP truncado de posto top-$K$. É projetado especificamente para fidelidade de atribuição local por amostra.
2. Framework de Avaliação Controlada: Uma suíte de benchmarks sintéticos paramétricos (Linear, Não Linear Esparsa, Interação) com atribuição de verdade fundamental conhecida, permitindo avaliação direta da qualidade por amostra sem medidas proxy. O framework é agnóstico ao modelo e projetado para reutilização em pipelines de AutoML.
3. Análise Empírica Abrangente: Uma comparação do AGOP-IxG contra quatro baselines (SHAP, Gradientes Integrados, InputXGradient, LIME) em conjuntos de dados sintéticos e reais, destacando o trade-off entre fidelidade local e ranking global.

Resultados

Parte 1: Benchmarks Sintéticos

• Robustez ao Ruído: O AGOP-IxG alcançou a menor massa de característica de ruído em todos os três conjuntos de dados sintéticos, superando significativamente o SHAP, IG e LIME. Isso valida a eficácia da truncagem AGOP na filtragem de ruído.
• Correlação de Posto: O AGOP-IxG liderou na correlação de posto de Spearman em todos os três conjuntos de dados.
• Precisão Top-$k$:
  • Tarefa Linear: O LIME superou ligeiramente o AGOP-IxG (0,915 vs. 0,895), consistente com a adequação do LIME para processos lineares.
  • Não Linear Esparsa: O AGOP-IxG e o SHAP ficaram praticamente empatados (0,514 vs. 0,515), embora o AGOP-IxG tenha liderado na correlação de Spearman.
  • Interação: O AGOP-IxG liderou o SHAP em todas as métricas (Spearman 0,534 vs. 0,466).
• Tempo de Execução: O AGOP-IxG foi ordens de magnitude mais rápido (0,02–0,10s por conjunto de dados) em comparação com o SHAP (~33s).

Parte 2: Dados do Mundo Real (ROAR)

• Nos conjuntos de dados de Renda Adulta e Inadimplência de Cartão de Crédito, todos os cinco métodos produziram resultados agrupados de perto (dispersão de AUC < 0,01).
• Nenhum método único dominou o ranking global de características. O AGOP-IxG ficou em último na Renda Adulta e em terceiro no Cartão de Crédito, mas as diferenças foram marginais (~1,7% de mudança relativa).
• Os autores observam que isso é consistente com o design do AGOP-IxG: ele otimiza para fidelidade local por amostra, enquanto o ROAR avalia rankings globais derivados da média de vetores normalizados.

Significado e Alegações

O artigo afirma que o AGOP-IxG fornece um forte viés indutivo para explicabilidade local por previsão, sem sacrificar o tempo de execução, tornando-o operacionalmente valioso para pipelines de AutoML com orçamentos de tempo estritos (por exemplo, inferência em tempo real).

• Orientação de Seleção de Método: Os resultados sugerem que a escolha do método de atribuição deve depender do consumidor a jusante. Para explicações por decisão (por exemplo, relatórios regulatórios sobre negações específicas), o AGOP-IxG oferece fidelidade local superior e robustez ao ruído. Para seleção global de características dentro de um pipeline de AutoML, a escolha do método importa menos, pois os métodos se agrupam de perto no desempenho de ranking global.
• Implantabilidade: O custo sub-milissegundo por amostra do AGOP-IxG permite implantação em tempo real (por exemplo, anexar códigos de motivo a cada decisão de crédito negada), enquanto a latência do SHAP o torna proibitivo em escala (por exemplo, explicar um milhão de decisões levaria ~9 horas com o SHAP vs. <2 minutos com o AGOP-IxG).
• Utilidade do Benchmark: Os geradores sintéticos propostos servem como uma ferramenta agnóstica ao modelo para futuros sistemas de AutoML selecionarem ou ajustarem automaticamente métodos de atribuição com base na fidelidade medida e não na convenção.

Os autores permanecem modestos, reconhecendo que os resultados são baseados em MLPs e tarefas sintéticas, e que a atribuição de verdade fundamental não está disponível em dados reais. Eles não afirmam que o AGOP-IxG é universalmente superior, mas sim que ele se destaca no regime específico de atribuição local, robusta ao ruído e em tempo real.