BoolXLLM: LLM-Assisted Explainability for Boolean Models

Resumo Técnico: BOOLXLLM

Declaração do Problema
Embora a aprendizagem de máquina interpretável vise fornecer modelos transparentes, a implementação prática em domínios de alto risco (finanças, saúde) enfrenta dois desafios persistentes ao utilizar modelos expressivos baseados em regras booleanas como o BOOLXAI. Primeiro, em conjuntos de dados de alta dimensão, os praticantes devem selecionar manualmente características semanticamente significativas e determinar como discretizar variáveis numéricas em categorias significativas; essas decisões dependem fortemente de expertise de domínio e impactam significativamente a interpretabilidade do modelo. Segundo, mesmo quando as regras booleanas são estruturalmente compactas, elas frequentemente parecem abstratas para partes interessadas não técnicas. Uma regra como Or(duration > 393, nr.employed <= 5076, month = mar) carece de fundamentação semântica sem contexto adicional, dificultando sua acessibilidade para decisores humanos.

Metodologia: O Framework BOOLXLLM
O artigo propõe o BOOLXLLM, um framework híbrido que integra Modelos de Linguagem de Grande Escala (LLMs) ao pipeline completo de aprendizagem de regras booleanas. Esta abordagem aprimora o classificador BOOLXAI existente — que aprende regras lógicas compactas usando operadores como AtLeast, AtMost e Choose — com LLMs em três etapas críticas para preencher a lacuna entre a lógica formal e narrativas humanas:

1. Seleção de Características Guiada por LLM:
   Em vez de depender exclusivamente de correlação estatística, o framework utiliza LLMs como uma interface semântica entre metadados do conjunto de dados e a seleção de características. Ao fornecer ao LLM o objetivo de previsão, nomes de características, descrições e contexto de domínio opcional, o modelo identifica e classifica características com base na relevância semântica. A saída é restrita a um formato JSON estruturado para garantir análise determinística, reduzindo efetivamente o espaço de busca enquanto preserva variáveis relevantes para o domínio.

2. Recomendação de Limiares Baseada em LLM:
   Características numéricas na aprendizagem de regras booleanas requerem discretização. A binarização padrão frequentemente produz divisões arbitrárias (por exemplo, age > 36.33) que carecem de interpretabilidade. O BOOLXLLM formula a seleção de limiares como uma tarefa de prompt estruturada, onde o LLM propõe limiares de discretização conscientes do contexto, alinhados com semânticas de domínio (por exemplo, age > 35). Esses limiares são gerados antes do processo de otimização de regras, garantindo que as condições resultantes estejam alinhadas com o raciocínio humano.

3. Compressão e Interpretação de Regras:
   Para abordar a abstração das regras booleanas, o framework emprega LLMs para interpretação global e local:

   • Nível Global: Expressões booleanas são primeiro traduzidas em descrições em linguagem natural. Esses textos são incorporados e agrupados para identificar "famílias de regras" — regras estruturalmente diferentes, mas semanticamente similares. O LLM então resume esses agrupamentos para revelar padrões em nível populacional e segmentos comportamentais.
   • Nível Local: O LLM gera explicações específicas para cada instância condicionando-se tanto à regra booleana aprendida quanto à amostra de entrada específica, traduzindo a lógica formal em narrativas em linguagem natural.

Crucialmente, o framework fundamenta todas as explicações geradas por LLM nas regras booleanas explícitas aprendidas pelo BOOLXAI. Este design mitiga o risco de alucinação e garante que a saída linguística permaneça fiel ao processo de decisão do modelo subjacente.

Contribuições Principais

• Framework Inovador: Introdução do BOOLXLLM, que integra LLMs à aprendizagem baseada em regras interpretáveis para seleção de características, definição de limiares e interpretação de regras.
• Fundamentação Semântica: Métodos para seleção de características guiada por LLM e recomendação de limiares que melhoram a relevância semântica das regras booleanas.
• Tradução Centrada no Humano: Desenvolvimento de técnicas de interpretação global e local que traduzem lógica formal em linguagem natural acessível.
• Validação Empírica: Demonstração de que pipelines assistidos por LLM podem aprimorar a interpretabilidade sem comprometer o desempenho preditivo.

Resultados Experimentais
Os autores avaliaram o BOOLXLLM no conjunto de dados de Marketing Bancário da UCI, comparando-o com um modelo BOOLXAI de referência usando todas as características e discretização padrão.

• Seleção de Características: Usando orientação de LLM, o sistema filtrou com sucesso 4 de 20 características (uma redução de 20%) com base na relevância semântica, alcançando uma precisão balanceada de 86%, comparável à referência usando todas as características.
• Definição de Limiares: Limiares gerados por LLM (por exemplo, duration > 400) alinharam-se melhor com semânticas de domínio do que a binarização padrão (por exemplo, duration > 393), sem qualquer perda no poder preditivo.
• Interpretabilidade: O sistema comprimiu com sucesso regras diversas de alto desempenho em "famílias de regras" coerentes e gerou explicações qualitativas. Por exemplo, uma regra booleana complexa foi traduzida em uma narrativa explicando que durações longas de chamadas indicam engajamento, enquanto contatos recentes sugerem que o cliente é alcançável.

Significado e Alegações
O artigo afirma que o BOOLXLLM preenche com sucesso a lacuna entre explicações formais e fiáveis e narrativas compreensíveis por humanos. Ao combinar o rigor lógico de regras booleanas simbólicas com a expressividade linguística e a consciência contextual de LLMs, o framework oferece um sistema de IA explicável que é tanto fundamentado teoricamente quanto acessível a não especialistas. O trabalho destaca a promessa de combinar raciocínio simbólico com modelos baseados em linguagem para avançar a XAI centrada no ser humano, demonstrando que tal integração pode melhorar a interpretabilidade e a usabilidade enquanto mantém desempenho preditivo competitivo.