Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data

Cet article propose une méthode agentic utilisant des modèles de langage dotés de capacités de raisonnement pour induire des arbres de décision légers et interprétables à partir de petits jeux de données tabulaires, offrant des performances compétitives par rapport aux modèles boîte noire tout en garantissant la transparence et le respect de contraintes d'équité.

L'essentiel

🌳 L'Arbre de Décision qui "Réfléchit" avec un Assistant Intellectuel

Imaginez que vous devez enseigner à un enfant comment trier des fruits (pommes, poires, bananes) dans un panier.

La méthode traditionnelle (les "Boîtes Noires") :
Aujourd'hui, les meilleurs modèles d'intelligence artificielle pour ce genre de tâche fonctionnent comme des super-héros invisibles. Ils ont lu des millions de livres sur les fruits avant même de commencer. Ils sont incroyablement forts et précis, mais c'est un mystère total de savoir comment ils prennent leurs décisions. C'est comme si l'enfant vous donnait la bonne réponse sans pouvoir vous expliquer pourquoi. De plus, pour utiliser ce super-héros à chaque fois, il faut une énorme puissance de calcul (comme un moteur de fusée pour aller acheter du pain).

La nouvelle méthode de l'article (Talking Trees) :
Les auteurs proposent une approche différente, plus légère et plus transparente. Au lieu de laisser l'IA deviner toute seule, ils utilisent un Grand Intellectuel (un LLM) comme un architecte pour construire un arbre de décision simple et lisible.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. L'Architecte et le Chantier (Le "Loop Agentic")

Imaginez que vous engagez un architecte très intelligent (l'IA) pour construire une maison (le modèle de prédiction).

• L'ancien problème : Si vous demandez à l'architecte de construire la maison d'un coup, il risque de faire des erreurs ou de construire un château trop complexe à entretenir.
• La solution de l'article : L'architecte ne construit pas tout d'un coup. Il travaille par itérations (petits pas) :
  1. Il pense : "Je vais mettre une porte ici."
  2. Il agit : Il place la porte (il écrit du code pour modifier l'arbre).
  3. Il observe : "Oh, la porte est trop basse, les gens se cognent la tête. Je dois la rehausser."
  4. Il recommence : Il ajuste, teste, et améliore.

C'est ce qu'on appelle une boucle de pensée-action-observation. L'IA utilise des outils pour "tailler", "greffer" ou "élaguer" l'arbre, un peu comme un jardinier qui sculpte un topiaire.

2. Pourquoi c'est génial ? (Les 3 Super-Pouvoirs)

A. La légèreté (Inference "Low-Cost")
Une fois que l'architecte a fini de construire l'arbre, il part.

• Avant : Pour prédire le prix d'une maison, il fallait faire tourner le "super-héros invisible" (coûteux et lent).
• Maintenant : Vous avez un simple arbre de décision. Pour prédire, il suffit de poser quelques questions simples : "La maison a-t-elle plus de 100m² ?" -> Oui -> "A-t-elle un jardin ?" -> Non -> Prix : 200k€.
• Résultat : C'est ultra-rapide, ça ne consomme presque pas d'énergie, et ça peut tourner sur un simple ordinateur portable.

B. La transparence (On voit tout !)
Contrairement aux boîtes noires, ici, vous pouvez voir exactement comment l'arbre a été construit. Vous avez le journal de bord de l'architecte.

• Si vous voulez savoir pourquoi une personne a été refusée pour un prêt, vous pouvez lire l'arbre : "Refusé car le revenu est bas ET l'âge est supérieur à 60 ans".
• Cela permet de détecter les erreurs, les biais ou les tricheries.

C. Le contrôle total (Les "Règles du Jeu")
C'est le plus beau : vous pouvez donner des instructions à l'architecte en langage naturel, comme si vous parliez à un humain.

• "Fais attention à ne pas discriminer les femmes." (Équité)
• "Si le risque augmente, le prix doit augmenter, jamais l'inverse." (Monotonie)
• "Même si je n'ai pas les données sur le glucose pour entraîner le modèle, sache que c'est crucial pour le diabète, et intègre cette logique." (Connaissance manquante)

L'IA utilise sa propre "culture" (ce qu'elle a appris avant) pour combler les trous et respecter vos règles, même sans toutes les données.

3. Le résultat final

L'article montre que cet arbre, construit par l'IA avec l'aide de l'humain, est aussi performant que les géants noirs (les modèles complexes) sur beaucoup de tâches, tout en étant :

• ✅ Compris par l'humain (on peut le lire).
• ✅ Contrôlable (on peut lui dire quoi faire).
• ✅ Économique (pas besoin de super-ordinateur pour l'utiliser).

En résumé

Au lieu d'avoir un oracle mystérieux qui donne des réponses justes mais incompréhensibles, les auteurs ont créé un jardinier intelligent qui taille un arbre de décision. Cet arbre est simple, rapide, et vous pouvez lui dire : "Coupe cette branche qui est injuste" ou "Ajoute cette branche pour respecter la loi".

C'est une façon de rendre l'intelligence artificielle plus honnête, plus humaine et plus facile à utiliser dans la vraie vie.

Résumé technique

1. Problématique

Les modèles de fondation pour les données tabulaires (tabular foundation models) deviennent populaires pour les problèmes à faible ressource, car ils compensent les petits jeux de données par un pré-entraînement massif. Cependant, ces modèles souffrent de deux défauts majeurs :

1. Manque d'interprétabilité : Ils fonctionnent comme des "boîtes noires", rendant difficile la vérification de leurs règles de décision et la détection de biais ou de fuites de données.
2. Coût d'inférence : Ils nécessitent des ressources de calcul importantes pour chaque prédiction, ce qui est coûteux en production.

L'objectif de cet article est de proposer une alternative légère, contrôlable et interprétable : utiliser des modèles de langage (LLM) dotés de capacités de raisonnement pour induire des arbres de décision autonomes à partir de petits jeux de données tabulaires, tout en intégrant des contraintes utilisateurs (équité, monotonie, règles métier).

2. Méthodologie : L'Induction d'Arbres par Agent (Agentic Tree Induction)

Les auteurs reformulent la construction d'un arbre de décision non pas comme une tâche de génération unique, mais comme un cycle agentique "Pensée-Action-Observation" (Thought-Action-Observation loop).

• L'Agent : Un LLM (comme GPT-5, DeepSeek R1, etc.) agit comme un agent autonome. Il ne génère pas l'arbre entier d'un coup, mais le raffine itérativement.
• La Boîte à Outils (Toolset) : L'agent est équipé d'un ensemble minimal d'outils Python (bibliothèque personnalisée) pour manipuler l'arbre :
  • Visualisation : Afficher la structure de l'arbre ou d'un sous-arbre.
  • Élagage (Pruning) : Convertir un nœud en feuille.
  • Sélection de données : Extraire les échantillons passant par un nœud spécifique.
  • Greffe (Grafting) : Remplacer un sous-arbre existant par un nouveau (manuel ou appris).
  • Édition directe : Modifier les seuils, les caractéristiques ou les valeurs des feuilles.
• Le Processus :
  1. Pensée : L'agent formule une hypothèse (ex: "Ce nœud est trop hétérogène", "Il faut élaguer cette branche").
  2. Action : L'agent écrit et exécute du code Python utilisant les outils pour modifier l'arbre.
  3. Observation : L'agent analyse les métriques (RMSE, AUC, etc.) et la nouvelle structure pour valider ou rejeter la modification.
• Intégration de connaissances : Contrairement aux méthodes classiques, l'agent peut intégrer des connaissances de domaine fournies via le prompt (méta-données, règles métier) même si elles ne sont pas présentes dans les données d'entraînement.

3. Contributions Clés

1. Procédure d'entraînement nouvelle : Introduction d'un pipeline utilisant un LLM agentique et une boîte à outils pour construire, vérifier et affiner des arbres de décision, produisant un modèle autonome avec une inférence très légère.
2. Performance et Interprétabilité : Démonstration que les arbres construits par ces agents surpassent les arbres de décision CART standards (même ajustés) et offrent une alternative interprétable aux modèles de fondation tabulaires "boîte noire".
3. Contrôlabilité par Prompt : Capacité à intégrer des contraintes complexes via le langage naturel, telles que :
   • Équité (Fairness) : Réduire la dépendance aux attributs protégés (genre, race).
   • Fonctionnalités manquantes : Intégrer une variable connue par l'agent (via description textuelle) mais absente des données d'entraînement.
   • Contraintes de monotonie : Forcer le modèle à respecter des relations directionnelles (ex: si le risque augmente, la prédiction ne doit pas diminuer).
4. Ressources Open Source : Publication du code d'évaluation et des utilitaires de benchmarking.

4. Résultats Expérimentaux

Les expériences ont été menées sur 17 jeux de données tabulaires à faible ressource (OpenML TabArena v0.1), couvrant classification binaire, multiclasse et régression.

• Performance : Les arbres induits par l'agent surpassent systématiquement les arbres CART par défaut et souvent les arbres CART ajustés (tuned). Ils comblent une grande partie de l'écart de performance avec les modèles "boîte noire" de pointe (XGBoost, TabPFN, TabM).
  • Note : L'ajout d'une étape de correction sur les prédictions de TabPFN par un arbre agentique améliore encore les résultats.
• Comparaison avec d'autres méthodes LLM : La méthode surpasse OC-Tree (qui utilise XGBoost final) et DeLTA (qui édite des forêts aléatoires) sur la majorité des jeux de données.
• Analyse d'ablation :
  • La boucle agentique est cruciale : une approche "zero-shot" (une seule tentative sans itération) dégrade fortement les performances.
  • L'accès aux méta-données (descriptions des features) améliore les résultats, mais des descriptions erronées peuvent nuire.
  • L'utilisation de différents LLM (GPT-5, Claude, DeepSeek) montre que GPT-5 est le plus performant, mais que des modèles open-source comme Kimi K2 ou DeepSeek R1 restent compétitifs.
• Robustesse : Des tests de "fuite de données" (data leak) montrent que l'agent ne mémorise pas les solutions de benchmark ; lorsque la structure de dépendance des données est détruite, les performances s'effondrent comme pour un modèle classique, prouvant que l'apprentissage est réel.

5. Signification et Impact

• Inférence Légère : Une fois l'arbre construit, l'inférence ne nécessite aucun appel LLM, se réduisant à une simple série de comparaisons de features, ce qui est extrêmement rapide et peu coûteux.
• Transparence et Gouvernance : La trace de construction (séquence d'appels d'outils et d'arbres intermédiaires) permet d'auditer le processus de décision, de détecter les biais ou les raccourcis indésirables, ce qui est impossible avec les modèles de fondation actuels.
• Démocratisation de l'IA : Cette approche permet aux experts métier (non-data scientists) de guider la construction de modèles via le langage naturel, en imposant des contraintes éthiques ou réglementaires directement dans le prompt.
• Limites et Sécurité : L'article souligne les risques éthiques (biais dans les prompts) et de sécurité (exécution de code par l'agent), recommandant des environnements isolés (air-gapped) et une validation humaine rigoureuse avant le déploiement.

En conclusion, "Talking Trees" propose un changement de paradigme : utiliser la puissance de raisonnement des LLM non pas pour prédire directement, mais pour construire des modèles simples, interprétables et contrôlables, combinant ainsi la performance des données tabulaires avec la transparence et la flexibilité du langage naturel.