BoolXLLM: LLM-Assisted Explainability for Boolean Models

Resumen Técnico: BOOLXLLM

Enunciado del Problema
Aunque el aprendizaje automático interpretable busca proporcionar modelos transparentes, la implementación práctica en dominios de alto riesgo (finanzas, atención médica) enfrenta dos desafíos persistentes al utilizar modelos expresivos basados en reglas booleanas como BOOLXAI. Primero, en conjuntos de datos de alta dimensión, los profesionales deben seleccionar manualmente características semánticamente significativas y determinar cómo discretizar variables numéricas en categorías significativas; estas decisiones dependen en gran medida de la experiencia del dominio e impactan significativamente la interpretabilidad del modelo. Segundo, incluso cuando las reglas booleanas son estructuralmente compactas, a menudo parecen abstractas para las partes interesadas no técnicas. Una regla como Or(duration > 393, nr.employed <= 5076, month = mar) carece de fundamentación semántica sin contexto adicional, lo que dificulta su accesibilidad para los tomadores de decisiones humanos.

Metodología: El Marco BOOLXLLM
El artículo propone BOOLXLLM, un marco híbrido que integra Modelos de Lenguaje Grandes (LLM) en la tubería de extremo a extremo del aprendizaje de reglas booleanas. Este enfoque complementa el clasificador BOOLXAI existente —que aprende reglas lógicas compactas utilizando operadores como AtLeast, AtMost y Choose— con LLM en tres etapas críticas para cerrar la brecha entre la lógica formal y las narrativas humanas:

1. Selección de Características Guiada por LLM:
   En lugar de depender exclusivamente de la correlación estadística, el marco utiliza LLM como una interfaz semántica entre los metadatos del conjunto de datos y la selección de características. Al proporcionar al LLM el objetivo de predicción, los nombres de las características, las descripciones y el contexto de dominio opcional, el modelo identifica y clasifica las características basándose en su relevancia semántica. La salida se restringe a un formato JSON estructurado para garantizar un análisis determinista, reduciendo efectivamente el espacio de búsqueda mientras preserva las variables relevantes para el dominio.

2. Recomendación de Umbrales Basada en LLM:
   Las características numéricas en el aprendizaje de reglas booleanas requieren discretización. La agrupación estándar a menudo produce divisiones arbitrarias (por ejemplo, age > 36.33) que carecen de interpretabilidad. BOOLXLLM formula la selección de umbrales como una tarea de prompting estructurada donde el LLM propone umbrales de discretización conscientes del contexto alineados con la semántica del dominio (por ejemplo, age > 35). Estos umbrales se generan antes del proceso de optimización de reglas, asegurando que las condiciones resultantes se alineen con el razonamiento humano.

3. Compresión e Interpretación de Reglas:
   Para abordar la abstracción de las reglas booleanas, el marco emplea LLM tanto para la interpretación global como local:

   • Nivel Global: Las expresiones booleanas se traducen primero a descripciones en lenguaje natural. Estos textos se incrustan y agrupan para identificar "familias de reglas"—reglas estructuralmente diferentes pero semánticamente similares. El LLM luego resume estos grupos para revelar patrones a nivel de población y segmentos de comportamiento.
   • Nivel Local: El LLM genera explicaciones específicas para cada instancia condicionándose tanto a la regla booleana aprendida como a la muestra de entrada específica, traduciendo la lógica formal en narrativas en lenguaje natural.

Crucialmente, el marco fundamenta todas las explicaciones generadas por el LLM en las reglas booleanas explícitas aprendidas por BOOLXAI. Este diseño mitiga el riesgo de alucinación y asegura que la salida lingüística permanezca fiel al proceso de decisión subyacente del modelo.

Contribuciones Clave

• Marco Novel: Introducción de BOOLXLLM, que integra LLM en el aprendizaje basado en reglas interpretables para la selección de características, la determinación de umbrales y la interpretación de reglas.
• Fundamentación Semántica: Métodos para la selección de características guiada por LLM y la recomendación de umbrales que mejoran la relevancia semántica de las reglas booleanas.
• Traducción Centrada en el Humano: Desarrollo de técnicas de interpretación global y local que traducen la lógica formal en lenguaje natural accesible.
• Validación Empírica: Demostración de que las tuberías asistidas por LLM pueden mejorar la interpretabilidad sin comprometer el rendimiento predictivo.

Resultados Experimentales
Los autores evaluaron BOOLXLLM en el conjunto de datos de Marketing Bancario de la UCI, comparándolo con un modelo base BOOLXAI que utilizaba todas las características y discretización estándar.

• Selección de Características: Utilizando la guía del LLM, el sistema filtró con éxito 4 de 20 características (una reducción del 20%) basándose en la relevancia semántica, logrando una precisión equilibrada del 86%, comparable a la del modelo base que utilizaba todas las características.
• Determinación de Umbrales: Los umbrales generados por el LLM (por ejemplo, duration > 400) se alinearon mejor con la semántica del dominio que la agrupación estándar (por ejemplo, duration > 393) sin ninguna pérdida en el poder predictivo.
• Interpretabilidad: El sistema comprimió con éxito reglas diversas de alto rendimiento en "familias de reglas" coherentes y generó explicaciones cualitativas. Por ejemplo, una regla booleana compleja se tradujo en una narrativa que explicaba que las duraciones de llamada largas indican compromiso, mientras que los contactos recientes sugieren que el cliente es alcanzable.

Significado y Afirmaciones
El artículo afirma que BOOLXLLM cierra con éxito la brecha entre explicaciones formales y fieles y narrativas comprensibles para los humanos. Al combinar el rigor lógico de las reglas booleanas simbólicas con la expresividad lingüística y la conciencia contextual de los LLM, el marco ofrece un sistema de IA explicable que está tanto fundamentado teóricamente como accesible para no expertos. El trabajo destaca la promesa de combinar el razonamiento simbólico con modelos basados en el lenguaje para avanzar en la XAI centrada en el humano, demostrando que dicha integración puede mejorar la interpretabilidad y la usabilidad mientras mantiene un rendimiento predictivo competitivo.