Resumo Técnico: Regra de Bolso (Rule of Thumb): Explicando Sistemas de Inteligência Artificial usando Informação Parcial

Declaração do Problema

A Inteligência Artificial Explicável (XAI) enfrenta limitações críticas em três áreas de aplicação emergentes: classificação zero-shot com Grandes Modelos de Linguagem (LLMs), auditoria de sistemas de IA proprietários opacos e o uso de IA para descoberta científica. Os métodos existentes, baseados principalmente em análise de sensibilidade (ex: SHAP, LIME, Integrated Gradients), dependem da perturbação de características de entrada para observar mudanças na saída do modelo. Essa abordagem encontra barreiras fundamentais:

1. Inacessibilidade: Métodos baseados em sensibilidade frequentemente exigem acesso aos pesos do modelo (gradientes) ou a capacidade de consultar o modelo com dados sintéticos perturbados. Isso é impossível para LLMs de código fechado acessados apenas via API e proibitivamente caro devido ao alto número de chamadas de API necessárias (ex: 500–5000 chamadas por explicação).
2. O Efeito Rashomon na Auditoria: Ao auditar sistemas proprietários, pesquisadores costumam construir modelos "mímicos" para aproximar o sistema alvo. No entanto, diferentes modelos mímicos com precisão semelhante podem possuir mecanismos internos distintos, levando a explicações contraditórias (o efeito Rashomon). Isso compromete a validade de auditorias baseadas em modelos mímicos.
3. Validade Científica: A análise de sensibilidade assume que o comportamento do modelo em dados fora da distribuição (sintéticos) reflete a causalidade do mundo real. Isso pode levar a hipóteses espúrias, onde características não informativas parecem importantes simplesmente porque o modelo reage arbitrariamente a perturbações sintéticas.

Metodologia: Regra de Bolso (Rule of Thumb - ROT)

Os autores propõem a "Regra de Bolso" (ROT), uma nova formulação de XAI que define a importância da característica com base na preditividade em vez da sensibilidade. Em vez de perguntar como a alteração de uma característica muda a saída, a ROT pergunta como o conhecimento de um valor específico de uma característica atualiza a predição do comportamento do sistema de IA.

Formulação

A ROT modela a saída do sistema de IA $C(x)$ como uma soma de funções aditivas representando a informação forneada pelos valores individuais das características. Para um conjunto de dados $X$ e um conjunto de características $\mathcal{J}$, o modelo estima:
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
onde:

• $F$ é uma função sigmoide (classificação) ou identidade (regressão).
• $f_{\theta_j}(x_j)$ é uma função aprendida que representa a importância da característica $j$ ao assumir o valor $x_j$.
• $G$ é um termo de viés global.
• A estimativa mantém-se para qualquer subconjunto de características $J \subseteq \mathcal{J}$.

Otimização

O objetivo é encontrar os pesos ótimos $\theta$ que minimizam a perda entre a saída real do modelo $C(x)$ e a estimativa derivada de subconjuntos aleatórios de características. A função de perda $L$ é marginalizada sobre todos os pontos de dados e todos os possíveis subconjuntos de características:
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
Crucialmente, essa otimização é resolvida eficientemente usando dropout aplicado às importâncias das características durante o treinamento. Isso permite que o modelo seja ajustado no conjunto de dados completo e não perturbado, sem exigir consultas adicionais ao modelo para cada explicação. Uma vez ajustada, a importância da característica para um ponto de dado específico é simplesmente o valor de $f_{\theta_j}(x_j)$.

Distinções Chave

• Sem Perturbação: A ROT não requer a geração de dados sintéticos ou a perturbação de entradas.
• Características Não-Entrada: A ROT pode incorporar características externas e não-entrada (ex: atributos demográficos não passados ao modelo) na explicação ao realizar o ajuste em conjuntos de dados estendidos, permitindo a detecção de viés mesmo se o modelo afirma não utilizá-los.
• Agnóstica ao Modelo: Requer apenas a capacidade de observar predições em dados existentes, não o acesso aos pesos ou a capacidade de consultar novos inputs.

Principais Contribuições e Resultados

1. Classificação Zero-Shot com LLMs

• Experimento: Os autores aplicaram a ROT à classificação de imagem zero-shot (API GPT-4o-mini) e classificação de texto (desfechos de casos judiciais e críticas de filmes).
• Resultados: As explicações da ROT alinharam-se de perto com as anotações humanas (AUROC ponderado de 0,77 para casos judiciais, comparável aos 0,74 do SHAP).
• Eficiência: Enquanto a primeira explicação da ROT exigiu treinamento (aprox. 1160 segundos para o conjunto de dados judicial), as explicações subsequentes foram virtualmente instantâneas (<0,1 ms). Em contraste, o SHAP exigiu ~1320 segundos por explicação. A ROT possibilitou explicações para LLMs onde métodos baseados em sensibilidade eram computacionalmente inviáveis.

2. Auditoria de Sistemas Proprietários Black-Box

• Experimento: Os autores auditaram o sistema de recomendação de e-commerce da Amazon, replicando um estudo do The Markup que utilizou um modelo mímico de Floresta Aleatória (Random Forest).
• Resultados:
  • Efeito Rashomon: Diferentes modelos mímicos (variando hiperparâmetros ou algoritmos) produziram explicações SHAP/LIME contraditórias quanto à importância das características (ex: se "avaliações do produto" ou "marca é amazon" era o mais importante).
  • Vantagem da ROT: A ROT forneceu explicações consistentes sem necessidade de um modelo mímico. Ela identificou "marca é amazon" como a característica mais importante, mas também destacou unicamente "vendido por amazon" como um fator significativo, revelando um possível comportamento de auto-preferência que as auditorias baseadas em mímicos perderam.

3. Descoberta Científica

• Experimento: Os autores testaram a ROT em conjuntos de dados de previsão de diabetes, reincidência criminal e aprovação de empréstimos, especificamente projetando cenários onde certas características eram ou não informativas ou mascaradas por características "isca" (foil) adversárias.
• Resultados:
  • Características Não Informativas: Quando a "idade" foi matematicamente desacoplada dos desfechos de diabetes, o SHAP e o LIME ainda atribuíram importância a ela (gerando hipóteses espúrias), enquanto a ROT identificou corretamente que ela era sem importância.
  • Robustez Adversária: Em configurações adversárias projetadas para enganar explicadores para priorizarem características "isca" em vez de sensíveis (ex: raça ou gênero), o SHAP e o LIME falharam (recuperando a característica sensível <5% das vezes). A ROT manteve uma taxa de sucesso >89%, identificando corretamente as verdadeiras características sensíveis.

4. Eficiência Computacional e Impacto Ambiental

• A ROT é ordens de magnitude mais rápida que o SHAP e o LIME para explicações em larga escala. O artigo observa que, após o ajuste inicial, a ROT pode computar milhões de explicações no tempo que o SHAP leva para computar uma, reduzindo significativamente a pegada ambiental da XAI.

Significância e Alegações

O artigo afirma que a ROT aborda problemas de validade e praticidade de longa data na XAI ao mudar o paradigma da análise de sensibilidade para a preditividade de características.

• Conformidade Regulatória: A ROT é posicionada como uma ferramenta que atende aos requisitos da Lei de IA da UE (ex: Artigos 15 e 74) para auditar sistemas de alto risco, onde reguladores podem ter acesso a conjuntos de dados, mas não ao acesso total ao modelo ou à capacidade de consultar novos inputs.
• Rigor Científico: Ao evitar suposições sobre mecanismos causais e comportamento fora da distribuição, a ROT oferece uma base mais robusta para gerar hipóteses científicas em comparação com métodos baseados em sensibilidade.
• Implantação Prática: A ROT é apresentada como um substituto direto para bases de código de XAI existentes, sendo agnóstica ao modelo, mais rápida e capaz de explicar sistemas (como LLMs acessíveis apenas via API) que anteriormente eram inexplicáveis.

Os autores enfatizam que a ROT não pretende resolver a inferência causal, mas fornece um método confiável para entender o comportamento do modelo baseado na preditividade de dados observados, tornando-a unicamente adequada para as restrições dos sistemas de IA modernos e proprietários.