Resumo Técnico: Das Decisões de Redes Neurais para Casos de Treinamento

Definição do Problema

Redes neurais estão sendo cada vez mais implementadas em domínios de alto risco (ex: diagnóstico médico, aprovação de crédito, licitação de energia) onde as decisões exigem mais do que explicações ao nível de características. Auditores e partes interessadas precisam de evidências ao nível de caso: instâncias de treinamento específicas que sustentam uma decisão, os resultados que essas instâncias carregavam e como elas moldam a preferência da ação atual. Embora métodos de atribuição de características (ex: valores de Shapley) identifiquem variáveis de entrada influentes, eles não rastreiam explicitamente as decisões de volta aos dados de treinamento.

Redes neurais padrão absorvem a experiência de treinamento em parâmetros aprendidos, tornando a conexão entre uma decisão implantada e seus casos de treinamento relevantes indireta. Embora a Teoria da Decisão Baseada em Casos (CBDT) formalize o raciocínio ao agregar o suporte de resultados de casos lembrados, aplicar este framework a redes neurais padrão com representações fixas permanece um desafio em aberto. O problema central é determinar quando e como os coeficientes de uma leitura linear sobre uma representação neural fixa podem ser interpretados como pesos de similaridade do tipo CBDT versus termos de influência geométrica assinada, e como usar essa decomposição para auditoria pós-treinamento sem retreinar o modelo.

Metodologia

1. Estrutura Teórica: Decomposição Exata de Casos

O artigo estabelece um elo matemático exato entre leituras de Mínimos Quadrados Ordinários (OLS) sobre representações neurais fixas e o raciocínio baseado em casos.

• Configuração: Considere uma rede treinada com um mapa de representação fixa $\phi(x) \in \mathbb{R}^H$. Para uma ação discreta $a$, a leitura é linear: $Q(x, a) = v_a^\top \phi(x)$.
• Leitura OLS: O vetor de pesos $v_a$ é ajustado via OLS para minimizar a perda quadrática contra vetores de retorno condicionados à ação $r_a$ derivados dos casos de treinamento.
• Decomposição Exata: Os autores derivam que a pontuação de leitura para qualquer ação $a$ no input $x$ é exatamente uma soma ponderada de retornos de casos de treinamento:
  $$Q(x, a) = \sum_{i=1}^n \alpha_i(x) r_{i,a}$$
  onde o coeficiente $\alpha_i(x) = \phi(x)^\top G^{-1} \phi(x_i)$ é determinado pela matriz de Gram empírica $G = \Phi^\top \Phi$ das representações de treinamento.
• Semântica:
  • Regime de Similaridade CBDT: Se a representação for branqueada ($G = nI_H$) e os coeficientes forem não negativos, $\alpha_i(x)$ comporta-se como um peso de similaridade CBDT padrão (produto escalar escalonado).
  • Influência Gram-Geométrica Assinada: Fora deste regime, os coeficientes são assinados e não normalizados. Eles representam influência gram-geométrica assinada, onde coeficientes positivos indicam casos próximos no espaço de representação que elevam a pontuação, e coeficientes negativos atuam como correções de campo distante que baixam ou compensam a pontuação.

2. Sinais de Auditoria

Com base na decomposição, os autores propõem três sinais de auditoria:

1. Pontuação de Auditoria de Caso: Decompõe a pontuação da ação em contribuições $\psi_i(a, x) = \alpha_i(x)r_{i,a}$. Ordenar pela contribuição absoluta identifica casos influentes; ordenar pelo sinal distingue casos de suporte versus casos de compensação.
2. Entropia de Influência: Mede a coerência da evidência da ação entre os top-$k$ casos influentes. Baixa entropia indica suporte consistente para uma única ação; alta entropia sugere evidências conflitantes.
3. Diagnóstico de Risco de Influência de Caso: Combina a entropia de influência de caso com um termo de desajuste de Gini entre os top-10 casos para sinalizar consultas com suporte fraco ou disperso, particularmente útil para detectar mudanças de covariável (covariate shifts).

3. Configuração Experimental

O método é avaliado em:

• Gerador CBDT Sintético: Para verificar a recuperação de estruturas de preferência de casos conhecidas.
• Licitação de Energia PJM: Dados reais de carga com retornos de preço sintéticos para um problema de licitação de 3 ações.
• Datasets UCI: Adult Income (tarefa de aprovação) e Default Credit (tarefa de exposição ao risco) usando retornos por procuração.
• Baselines: Funções de Influência, Seleção de Ponto Representante, TracIn e um baseline de produto interno.

Principais Contribuições

1. Explicação Estilo CBDT Exata: O artigo prova que, para leituras OLS de representação fixa, toda pontuação de ação é uma agregação exata de retornos de casos de treinamento. Isso fornece uma rota direta e não aproximada de uma decisão neural para os casos de treinamento específicos que a moldam.
2. Esclarecimento Semântico: Os autores caracterizam as condições sob as quais os pesos de casos funcionam como pesos de similaridade CBDT (regime branqueado, não negativo) versus quando devem ser interpretados como influência gram-geométrica assinada. Essa distinção evita a confusão de "similaridade" com "influência" em contextos de auditoria.
3. Framework de Auditoria Sem Retreinamento: A auditoria proposta requer apenas o ajuste de uma sonda OLS de camada superior em uma representação fixa. Não requer acesso à trajetória de otimização original, retreinar o modelo ou aproximações baseadas em perturbação.

Resultados

• Recuperação da Estrutura de Casos: No cenário CBDT sintético, a leitura OLS alcançou 96,0% de concordância de teste com a ação CBDT ótima, e as pontuações de suporte reconstruídas mostraram forte correlação com os suportes reais de CBDT em todas as ações.
• Qualidade de Atribuição: Comparado aos baselines (Funções de Influência, Ponto Representante, TracIn), o método proposto alcançou a maior consistência de ação Top-30 (0,941 vs. 0,909 para Funções de Influência) e correlação de Pearson competitiva com as contribuições de caso da verdade fundamental (ground-truth).
• Desempenho no Mundo Real:
  • PJM: A política neural e o tomador de decisão CBDM concordaram em 3221 de 3358 decisões de teste. As divergências concentraram-se em regiões de transição de carga de margem baixa. A auditoria identificou com sucesso que ações "agressivas" tinham um alinhamento de suporte mais fraco, sinalizando-as para inspeção detalhada.
  • Tarefas UCI: Observou-se alta concordância rede-CBDT (0,9408 para Adult Income, 0,875 para Default Credit). A auditoria identificou com sucesso a ação de "aprovação padrão" em Default Credit como a menos fielmente reconstruída, destacando a ambiguidade.
• Utilidade Diagnóstica: O escore de risco de influência de caso melhorou o AUC para detecção de predições incorretas sob mudanças de covariável em comparação com baselines de margem de rede padrão, demonstrando sua utilidade em identificar consultas com suporte fraco.

Significância e Alegações

O artigo afirma fornecer uma visão de auditoria pós-treinamento prática das decisões neurais ao tornar a base de casos de treinamento algebricamente explícita.

• Modéstia de Escopo: Os autores declaram explicitamente que a decomposição exata se aplica a leituras OLS de representação fixa. Eles não alegam que um treinamento não linear de ponta a ponta arbitrário admite a mesma decomposição sem esta redução.
• Limites de Interpretabilidade: O framework esclarece que os casos recuperados não são uniformemente "suportivos"; coeficientes negativos desempenham um papel crucial como correções geométricas. A auditoria é válida na medida da fidelidade da sonda (medida pela reconstrução da pontuação).
• Praticidade: O método oferece um compromisso: ele incorre em maior latência por consulta (aprox. 58,6 ms) comparado a baselines de sub-milissegundo, mas fornece recuperação de casos mais relevante para a decisão sem necessidade de retreinar ou acessar trajetórias de treinamento.

O trabalho faz a ponte entre o rigor teórico da Teoria da Decisão Baseada em Casos e a implementação prática de redes neurais, oferecendo uma ferramenta para rastrear, inspecionar e contestar decisões de IA de alto risco através da lente de seu histórico de treinamento.