BoolXLLM: LLM-Assisted Explainability for Boolean Models

Résumé Technique : BOOLXLLM

Énoncé du Problème
Bien que l'apprentissage automatique interprétable vise à fournir des modèles transparents, leur déploiement pratique dans des domaines à haut risque (finance, santé) se heurte à deux défis persistants lors de l'utilisation de modèles expressifs basés sur des règles booléennes comme BOOLXAI. Premièrement, dans les ensembles de données à haute dimension, les praticiens doivent sélectionner manuellement des caractéristiques sémantiquement significatives et déterminer comment discrétiser les variables numériques en catégories pertinentes ; ces décisions reposent fortement sur l'expertise métier et impactent considérablement l'interprétabilité du modèle. Deuxièmement, même lorsque les règles booléennes sont structurellement compactes, elles apparaissent souvent abstraites pour les parties prenantes non techniques. Une règle telle que Or(duration > 393, nr.employed <= 5076, month = mar) manque d'ancrage sémantique sans contexte supplémentaire, ce qui entrave son accessibilité aux décideurs humains.

Méthodologie : Le Cadre BOOLXLLM
L'article propose BOOLXLLM, un cadre hybride qui intègre des Modèles de Langage (LLM) dans le pipeline complet d'apprentissage de règles booléennes. Cette approche enrichit le classifieur BOOLXAI existant — qui apprend des règles logiques compactes en utilisant des opérateurs tels que AtLeast, AtMost et Choose — avec des LLM à trois étapes critiques pour combler le fossé entre la logique formelle et les récits humains :

1. Sélection de Caractéristiques Guidée par LLM :
   Au lieu de se fier uniquement à la corrélation statistique, le cadre utilise les LLM comme interface sémantique entre les métadonnées de l'ensemble de données et la sélection de caractéristiques. En fournissant au LLM l'objectif de prédiction, les noms des caractéristiques, leurs descriptions et un contexte métier optionnel, le modèle identifie et classe les caractéristiques en fonction de leur pertinence sémantique. La sortie est contrainte à un format JSON structuré pour garantir un parsing déterministe, réduisant ainsi efficacement l'espace de recherche tout en préservant les variables pertinentes pour le domaine.

2. Recommandation de Seuil Basée sur LLM :
   Les caractéristiques numériques dans l'apprentissage de règles booléennes nécessitent une discrétisation. Le binning standard produit souvent des splits arbitraires (par exemple, age > 36.33) qui manquent d'interprétabilité. BOOLXLLM formule la sélection de seuil comme une tâche de prompt structurée où le LLM propose des seuils de discrétisation conscients du contexte et alignés sur les sémantiques du domaine (par exemple, age > 35). Ces seuils sont générés avant le processus d'optimisation des règles, garantissant que les conditions résultantes s'alignent sur le raisonnement humain.

3. Compression et Interprétation des Règles :
   Pour remédier à l'abstraction des règles booléennes, le cadre emploie des LLM pour l'interprétation globale et locale :

   • Niveau Global : Les expressions booléennes sont d'abord traduites en descriptions en langage naturel. Ces textes sont intégrés et regroupés pour identifier des « familles de règles » — des règles structurellement différentes mais sémantiquement similaires. Le LLM résume ensuite ces clusters pour révéler des modèles au niveau de la population et des segments comportementaux.
   • Niveau Local : Le LLM génère des explications spécifiques à l'instance en se basant à la fois sur la règle booléenne apprise et sur l'échantillon d'entrée spécifique, traduisant la logique formelle en récits en langage naturel.

Crucialement, le cadre ancre toutes les explications générées par le LLM dans les règles booléennes explicites apprises par BOOLXAI. Cette conception atténue le risque d'hallucination et garantit que la sortie linguistique reste fidèle au processus de décision du modèle sous-jacent.

Contributions Clés

• Cadre Novel : Introduction de BOOLXLLM, qui intègre des LLM dans l'apprentissage de règles interprétables pour la sélection de caractéristiques, le seuillage et l'interprétation des règles.
• Ancrage Sémantique : Méthodes de sélection de caractéristiques guidée par LLM et de recommandation de seuil qui améliorent la pertinence sémantique des règles booléennes.
• Traduction Centrée sur l'Humain : Développement de techniques d'interprétation globale et locale qui traduisent la logique formelle en langage naturel accessible.
• Validation Empirique : Démonstration que les pipelines assistés par LLM peuvent améliorer l'interprétabilité sans compromettre les performances prédictives.

Résultats Expérimentaux
Les auteurs ont évalué BOOLXLLM sur l'ensemble de données UCI Bank Marketing, en le comparant à un modèle de base BOOLXAI utilisant toutes les caractéristiques et une discrétisation standard.

• Sélection de Caractéristiques : En utilisant l'orientation LLM, le système a filtré avec succès 4 caractéristiques sur 20 (une réduction de 20 %) sur la base de la pertinence sémantique, atteignant une précision équilibrée de 86 %, comparable à la base de référence utilisant toutes les caractéristiques.
• Seuillage : Les seuils générés par LLM (par exemple, duration > 400) s'alignaient mieux sur les sémantiques du domaine que le binning standard (par exemple, duration > 393) sans aucune perte de pouvoir prédictif.
• Interprétabilité : Le système a réussi à compresser diverses règles performantes en « familles de règles » cohérentes et à générer des explications qualitatives. Par exemple, une règle booléenne complexe a été traduite en un récit expliquant que de longues durées d'appel indiquent un engagement, tandis que des contacts récents suggèrent que le client est joignable.

Signification et Revendications
L'article revendique que BOOLXLLM comble avec succès le fossé entre les explications formelles et fidèles et les récits compréhensibles par l'homme. En combinant la rigueur logique des règles booléennes symboliques avec l'expressivité linguistique et la conscience contextuelle des LLM, le cadre offre un système d'IA explicable qui est à la fois théoriquement fondé et accessible aux non-experts. Le travail met en lumière la promesse de combiner le raisonnement symbolique avec des modèles basés sur le langage pour faire progresser l'IA explicable centrée sur l'humain, démontrant qu'une telle intégration peut améliorer l'interprétabilité et l'utilisabilité tout en maintenant des performances prédictives compétitives.