Resumo Técnico: Além de Explicar Predições: Explicações Baseadas em Lógica para Confiança em Modelos de Aprendizado de Máquina

Declaração do Problema

Modelos de aprendizado de máquina, particularmente em domínios críticos como saúde e finanças, são cada vez mais esperados para fornecer não apenas predições precisas, mas também indicadores confiáveis de incerteza. Embora as explicações abdutivas baseadas em lógica (AXps) tenham emergido como um método rigoroso para interpretabilidade, oferecendo garantias formais de correção e minimalidade, elas possuem uma limitação crítica: focam exclusivamente na preservação da classe predita.

As AXps tradicionais identificam subconjuntos mínimos de características suficientes para garantir que qualquer instância que satisfaça essas condições receba a mesma classificação que a instância original. No entanto, elas não levam em conta a confiança preditiva do modelo. Consequentemente, uma única explicação abdutiva pode cobrir um conjunto de instâncias que inclui tanto predições altamente confiantes quanto aquelas situadas muito próximas da fronteira de decisão (alta incerteza). Em aplicações de alto risco, isso pode levar ao excesso de confiança, pois os usuários podem assumir que todas as predições justificadas são igualmente confiáveis, obscurecendo as limitações reais do modelo.

Métodos de explicação que consideram a incerteza geralmente dependem de técnicas de atribuição ou perturbação que estimam a incerteza, mas carecem de garantias formais sobre o conjunto de instâncias cobertas. Eles tipicamente estimam a incerteza de uma explicação, em vez de restringir a explicação para garantir um nível de confiança mínimo em todas as instâncias cobertas.

Metodologia

1. Limiar de Confiança Mínima (MCT)

Os autores introduzem o conceito de Limiar de Confiança Mínima (MCT) para quantificar a garantia de confiança mais fraca fornecida por uma explicação abdutiva.

• Definição: Para uma determinada explicação $\mathcal{E}$, o MCT é a pontuação de predição mais próxima da fronteira de decisão entre todas as instâncias que satisfazem $\mathcal{E}$.
  • Para a classe $+1$, $MCT(\mathcal{E}) = \min_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
  • Para a classe $-1$, $MCT(\mathcal{E}) = \max_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
• Significância: O MCT representa a pior confiança preditiva para o conjunto de instâncias cobertas pela explicação. Ele é computado formulando um problema de otimização sobre a expressão de pontuação de predição simbólica do modelo, sujeito às restrições da codificação do modelo e às atribuições de características na explicação.

2. Explicações Abdutivas Conscientes de Confiança

Baseando-se no MCT, o artigo propõe explicações abdutivas conscientes de confiança. Estas são subconjuntos mínimos de características que garantem não apenas a preservação da classe predita, mas também que a pontuação de predição para qualquer instância satisfazendo o critério atenda a um limiar especificado pelo usuário $\tau$.

• Formulação: Uma explicação $\mathcal{E}$ é consciente de confiança com relação a $\tau$ se for uma explicação abdutiva e:
  • $MCT(\mathcal{E}) \geq \tau$ (para classe $+1$)
  • $MCT(\mathcal{E}) \leq \tau$ (para classe $-1$)
• Restrições de Limiar: O limiar $\tau$ é restringido pela pontuação de predição da instância original sendo explicada, pois a instância original deve satisfazer a explicação. Assim, $\tau$ não pode exigir um nível de confiança superior à própria pontuação da instância.

3. Abordagem Algorítmica

Os autores adaptam o procedimento padrão de remoção de características usado para computar AXps tradicionais (Algoritmo 1) para incorporar restrições de confiança (Algoritmo 2).

• Processo: Partindo da instância completa, as características são removidas iterativamente. Uma característica é removida apenas se o subconjunto resultante de características ainda satisfizer o limiar de confiança definido pelo usuário $\tau$.
• Otimização: Em cada etapa, o algoritmo computa o MCT da explicação candidata usando solvers de otimização (especificamente Z3 para resolução de SMT).
• Monotonicidade: A abordagem baseia-se na monotonicidade da condição de consciência de confiança: se um subconjunto de características falha em atender ao limiar de confiança, qualquer redução subsequente (subconjuntos desse subconjunto) também falhará. Isso garante que o algoritmo termine com uma explicação mínima.
• Refinamento: O artigo também discute uma estratégia para recomputar explicações do zero sob restrições de confiança mais estritas, em vez de estender incrementalmente as explicações existentes. Isso permite que a busca encontre subconjuntos mínimos alternativos que possam oferecer melhores garantias de confiança sem necessariamente aumentar o tamanho da explicação.

Contribuições Principais

1. Identificação de uma Lacuna: O artigo demonstra que as explicações abdutivas tradicionais frequentemente fornecem garantias de confiança substancialmente mais fracas do que a confiança associada à instância específica sendo explicada, o que pode induzir os usuários ao erro em cenários de alto risco.
2. Conceito de MCT: Introdução do Limiar de Confiança Mínima como uma métrica formal para quantificar a garantia de confiança mais fraca de uma explicação.
3. Estrutura Consciente de Confiança: Proposta de uma nova classe de explicações que impõem limiares de confiança definidos pelo usuário enquanto mantêm as garantias formais de correção e minimalidade.
4. Implementação Algorítmica: Desenvolvimento de um algoritmo (Algoritmo 2) que integra o cálculo do MCT no processo de geração de explicações, formulado como um problema de otimização sobre representações lógicas de Árvores de Boosting de Gradiente (GBTs).
5. Validação Empírica: Avaliação experimental mostrando que as explicações conscientes de confiança melhoram consistentemente as garantias de confiança mínima com apenas um aumento modesto no comprimento da explicação e, em muitos casos, podem alcançar garantias mais fortes sem aumentar a cardinalidade da explicação de forma alguma.

Resultados Experimentais

A estrutura foi avaliada em tarefas de classificação binária usando Árvores de Boosting de Gradiente (XGBoost) em quatro conjuntos de dados de referência: MAGIC, Adult, Mushroom e Spambase.

• Fraqueza da Linha de Base: As explicações abdutivas tradicionais frequentemente forneceram garantias de confiança (MCT) significativamente menores do que a confiança da instância original. Em muitos casos, os valores de MCT transformados estavam próximos de 0,5 (a fronteira de decisão), mesmo para predições altamente confiantes.
• Melhoria com Restrições: Aplicar restrições conscientes de confiança (por exemplo, exigindo 50% ou 75% da pontuação de predição original) deslocou consistentemente os valores de MCT para longe da fronteira de decisão, indicando garantias de confiança mais fortes.
• Análise de Trade-off:
  • Tamanho da Explicação: Requisitos de confiança mais estritos geralmente levam a explicações mais longas (mais características). No entanto, o aumento foi frequentemente modesto em relação ao total de características. Por exemplo, no conjunto de dados Spambase (57 características), um limiar de 75% aumentou o comprimento médio da explicação de 13,25 para 19,12 características, um crescimento relativo de cerca de 10%, enquanto melhorou significativamente a confiança.
  • Preservação de Cardinalidade: Um achado significativo (RQ3) é que garantias de confiança mais fortes nem sempre exigem explicações maiores. O estudo descobriu que para uma porcentagem substancial de instâncias (variando de 1% a 34%, dependendo do conjunto de dados e da classe), explicações alternativas com a mesma cardinalidade da AXp original poderiam ser encontradas para oferecer garantias de confiança estritamente melhores. Isso valida a estratégia de recomputar as explicações do zero em vez de simplesmente estender as existentes.

Significância e Alegações

O artigo afirma que sua abordagem proposta é particularmente adequada para aplicações onde tanto a correção preditiva quanto a confiança são essenciais para uma tomada de decisão confiável. Ao integrar garantias de confiança diretamente no processo de explicação baseada em lógica, a estrutura permite que os usuários troquem explicitamente a concisão da explicação por garantias de confiança mais fortes.

Os autores enfatizam que seu trabalho aborda uma limitação específica da XAI atual: a falta de garantias formais sobre a confiabilidade do conjunto de instâncias cobertas por uma explicação. Diferente de métodos que meramente estimam a incerteza, esta abordagem restringe a geração da explicação para garantir que cada instância que satisfaz a explicação atenda a um padrão mínimo de confiança.

O artigo mantém uma postura modesta em seu escopo, observando que, embora o método tenha sido demonstrado em Árvores de Boosting de Gradiente, a abordagem é aplicável a qualquer modelo que forneça pontuações de confiança. Sugere que trabalhos futuros poderiam estender esses conceitos para classificação multiclasse e outros formalismos de explicação baseados em lógica, mas não alega aplicabilidade imediata a esses domínios sem pesquisa adicional.