Extended Empirical Validation of the Explainability Solution Space

Este relatório técnico valida estendida e empiricamente a Espaço de Soluções de Explicabilidade (ESS) através de uma avaliação transversal que, além da previsão de rotatividade de funcionários, incorpora um sistema heterogêneo de alocação de recursos urbanos inteligentes, demonstrando a generalidade e adaptabilidade do framework a diferentes domínios, perfis de risco e configurações de partes interessadas.

O essencial

Imagine que você é o gerente de segurança de um banco muito grande. Todos os dias, milhões de pessoas usam seus cartões de crédito para comprar coisas. O seu trabalho é garantir que ninguém esteja roubando.

Antigamente, você tinha uma lista de regras simples: "Se a compra for em outro país e for muito cara, bloqueie". Mas hoje, os ladrões são espertos e as regras simples não funcionam mais. Então, o banco contratou um Robô Superinteligente (chamado de modelo de IA) para analisar cada compra em frações de segundo e decidir: "É seguro" ou "É roubo".

O problema? O Robô é uma "caixa preta". Ele toma decisões, mas ninguém sabe exatamente por que ele decidiu bloquear uma compra. Se ele bloquear a compra errada de um cliente honesto, o cliente fica furioso. Se ele deixar passar um ladrão, o banco perde dinheiro. Além disso, a lei europeia diz: "Você tem que explicar por que tomou essa decisão".

É aqui que entra este relatório técnico. Os autores criaram um "Mapa de Soluções de Explicação" (chamado de ESS) para ajudar o banco a escolher a melhor maneira de explicar as decisões do Robô para diferentes pessoas.

O Mapa Mágico (O ESS)

Pense no ESS como um GPS para escolher ferramentas de explicação. Ele olha para três direções principais:

1. O Auditor (Compliance): Precisa de provas sólidas para a lei e para os reguladores.
2. O Cliente/Agente (Usuário): Precisa de uma explicação simples e rápida para entender o que aconteceu e o que fazer.
3. O Programador (Desenvolvedor): Precisa de detalhes técnicos para consertar o Robô se ele estiver doente.

O relatório testou 5 "ferramentas de explicação" diferentes nesse cenário de fraude bancária:

1. SHAP (O Detetive Matemático): É preciso, rápido e gera relatórios técnicos perfeitos. É como ter um laudo médico detalhado.
2. LIME (O Tradutor Rápido): Tenta explicar uma decisão específica de forma simples, mas às vezes é um pouco impreciso.
3. Explicações Contrafactuais (O "E Se..."): Dá a resposta mais útil para o cliente. Exemplo: "Sua compra foi bloqueada. Se o valor fosse 10 euros menor, ela teria passado." É como dizer: "Você não passou no teste porque faltou 1 ponto. Se tivesse mais 1 ponto, passaria."
4. Regras Extraídas (O Manual de Instruções): Transforma o cérebro do Robô em uma lista de regras simples ("Se X e Y, então Z"). Ótimo para auditar, mas lento demais para usar em tempo real.
5. Protótipos (O Exemplo Visual): Mostra compras parecidas que já foram bloqueadas antes. "Olhe, essa compra é igual a essa outra que era fraude."

O Resultado: A Estratégia Híbrida (O Plano Mestre)

O relatório descobriu que nenhuma ferramenta é perfeita para tudo. Usar apenas uma seria como tentar usar um martelo para parafusar e pregar. A solução ideal é uma estratégia em camadas, como um castelo com diferentes portões:

• Camada 1 (O Portão Principal - Tempo Real): Para todas as compras, o banco usa o SHAP.
  • Por que? É rápido (menos de 50 milissegundos!), preciso e gera o relatório técnico que o auditor e o programador adoram. É o "trabalho pesado" que acontece invisivelmente.
• Camada 2 (O Portão de Emergência - Quando há disputa): Se o cliente liga reclamando que sua compra foi bloqueada, o sistema gera uma Explicação Contrafactual.
  • Por que? Porque o cliente não quer saber de matemática. Ele quer saber: "O que eu faço para a próxima compra passar?". Essa ferramenta diz exatamente isso de forma simples.
• Camada 3 (O Arquivo Morto - Auditoria Semanal): Uma vez por semana, os programadores usam a Extração de Regras.
  • Por que? É lento demais para o dia a dia, mas é ótimo para pegar o "cérebro" do Robô e escrever um manual de como ele funciona, para garantir que ele não está fazendo nada estranho.

A Lição Principal

A grande descoberta deste relatório é que não existe uma "bala de prata". Não adianta tentar forçar uma única ferramenta a atender o auditor, o cliente e o programador ao mesmo tempo.

A melhor solução é misturar as ferramentas de forma inteligente:

• Use o rápido e técnico para o dia a dia.
• Use o simples e prático quando o cliente estiver chateado.
• Use o lento e detalhado para checar a saúde do sistema periodicamente.

Isso garante que o banco proteja seu dinheiro, obedeça às leis e mantenha seus clientes felizes, tudo ao mesmo tempo. É como ter uma equipe de especialistas onde cada um faz o que faz de melhor, em vez de tentar fazer um único funcionário fazer tudo.

Resumo técnico

Resumo Técnico: Validação Empírica Estendida do Espaço de Soluções de Explicabilidade (ESS) Aplicado a um Sistema de Detecção de Fraude Bancária em Tempo Real

1. Problema e Motivação

O relatório aborda o desafio crítico de implementar Inteligência Artificial Explicável (XAI) em sistemas de detecção de fraude bancária em tempo real, um domínio que difere significativamente de contextos anteriores (como a análise de rotatividade de funcionários). O sistema analisado utiliza um modelo de ensemble gradient-boosted (XGBoost) para classificar transações de cartão como fraudulentas ou legítimas, operando sob restrições rigorosas:

• Latência: Orçamento de 200 ms para todo o processo (engenharia de características, inferência e geração de explicação).
• Regulação: Conformidade com a Diretiva de Serviços de Pagamento 2 (PSD2), Artigo 22 do GDPR (direito à explicação) e diretrizes do Banco Central Europeu (EBA).
• Desafios Específicos: Desequilíbrio severo de classes (0,08% de fraude), consequências financeiras e legais diretas, e a necessidade de atender a três grupos de stakeholders com requisitos conflitantes:
  1. Oficiais de Conformidade: Requerem logs auditáveis e rastreabilidade para auditorias regulatórias.
  2. Analistas e Agentes de Atendimento: Necessitam de explicações compreensíveis e acionáveis para tomar decisões de override ou comunicar-se com clientes.
  3. Engenheiros de ML: Precisam de ferramentas de debugging e monitoramento de drift de características em ambientes adversariais.

O objetivo é validar a generalização do Espaço de Soluções de Explicabilidade (ESS) — uma estrutura tridimensional proposta em um artigo companheiro — neste novo contexto de alta pressão e restrições de tempo real.

2. Metodologia

O relatório aplica a metodologia operacional do ESS, que posiciona técnicas de XAI ao longo de três eixos: Conformidade (C), Compreensibilidade do Usuário (U) e Utilidade para Desenvolvedores (D).

Etapas da Metodologia:

1. Seleção de Técnicas: Foram avaliadas cinco famílias representativas de XAI aplicáveis a dados tabulares:
   • Atribuição de Características (SHAP - TreeExplainer).
   • Surrogados Locais (LIME).
   • Explicações Contrafactuais (CF).
   • Extração de Regras (Rule Extraction).
   • Protótipos e Exemplos (PROTO).
2. Vetores de Propriedades Intrínsecas: Cada técnica foi pontuada (escala 1-5) em sete propriedades (Auditabilidade, Rastreabilidade, Compreensibilidade, Acionabilidade, Fidelidade, Debuggability, Eficiência).
3. Agregação Ponderada: As propriedades foram agregadas nos três eixos principais (C, U, D) usando funções de ponderação específicas.
4. Ajuste Contextual: Como o sistema opera em modo de Substituição (decisões automatizadas sem validação humana prévia), aplicaram-se multiplicadores contextuais para amplificar a importância da Conformidade ($\gamma_C = 1.15$) e do Usuário ($\gamma_U = 1.10$), refletindo a alta responsabilidade e o direito de recurso do titular do cartão.
5. Seleção Multi-objetivo: Foi realizada uma análise de utilidade ponderada pela eficiência computacional ($U/R$), considerando o orçamento de latência de 200 ms como uma restrição rígida.

3. Principais Contribuições

• Validação de Generalização: Demonstra que o framework ESS é aplicável e consistente em domínios com restrições de tempo real e alta regulamentação, não apenas em contextos de batch (como o estudo de caso de RH).
• Estratégia Híbrida Tiered: Propõe uma arquitetura de explicabilidade em camadas, reconhecendo que nenhuma técnica única domina todos os eixos simultaneamente.
• Integração de Restrições Operacionais: Incorpora explicitamente a latência e o custo computacional como fatores decisivos na seleção de técnicas, algo frequentemente negligenciado em taxonomias puramente teóricas de XAI.
• Análise de Trade-offs: Ilustra matematicamente os compromissos entre conformidade regulatória, utilidade para o usuário final e eficiência de desenvolvimento em um cenário de fraude.

4. Resultados e Descobertas

A aplicação do ESS resultou em perfis distintos para cada família de técnicas, levando a uma recomendação híbrida:

• SHAP (TreeExplainer): Alcançou o melhor equilíbrio entre Conformidade e Utilidade para Desenvolvedores, com alta eficiência computacional (<50 ms). É a técnica dominante para o pipeline em tempo real.
• Explicações Contrafactuais (CF): Obtiveram a pontuação máxima em Compreensibilidade/Acionabilidade do Usuário ($U' = 5.00$), sendo ideais para casos de disputa, mas com custo computacional moderado (~100 ms).
• Extração de Regras (Rule Extraction): Dominou o eixo de Conformidade ($C' = 5.00$), mas foi rejeitada para o pipeline em tempo real devido à baixa eficiência e natureza offline.
• LIME e Protótipos: Ofereceram utilidade intermediária, mas com perfis menos equilibrados que o SHAP para este contexto específico.

Recomendação Híbrida Final (Estratégia de 3 Camadas):

1. Camada 1 (Sempre Ativa - Tempo Real): SHAP. Usado como padrão para todas as transações pontuadas. Garante auditabilidade, fidelidade e debugging dentro do limite de latência.
2. Camada 2 (Seletiva - Disputas/Revisão): Explicações Contrafactuais. Ativadas apenas para transações bloqueadas que entram em processo de disputa (2-5% dos casos). Fornecem o máximo de recurso ao usuário ("Se o valor fosse menor que X, não seria bloqueado").
3. Camada 3 (Periódica - Conformidade Offline): Extração de Regras. Executada semanalmente para documentação de auditoria e relatórios regulatórios, fornecendo uma visão global e auditable do comportamento do modelo.

5. Significado e Conclusão

Este relatório confirma que o Espaço de Soluções de Explicabilidade (ESS) é uma ferramenta robusta para governança de IA.

• Consistência: Os resultados no domínio de fraude alinham-se com o estudo de caso de RH, sugerindo que a combinação "SHAP por padrão / Contrafactuais seletivos / Regras offline" pode ser um equilíbrio quase ótimo para cenários de substituição em dados tabulares.
• Viabilidade Operacional: A abordagem demonstra como equilibrar requisitos teóricos de explicabilidade com restrições práticas de engenharia (latência de 200 ms).
• Limitações e Futuro: O estudo aponta a necessidade de refinar o eixo de "Usuário" para distinguir entre analistas profissionais e clientes leigos, e de incorporar a robustez temporal (estabilidade da explicação frente a mudanças na distribuição de dados adversariais).

Em suma, o trabalho fornece um roteiro prático e validado empiricamente para a implementação de sistemas de IA explicável em ambientes bancários críticos, garantindo conformidade regulatória sem sacrificar a performance operacional.