Résumé Technique : Enseigner aux LLM le raisonnement sur les données tabulaires via la Distillation de Rationale à Trois Niveaux (TLRD)

1. Énoncé du Problème

Les données tabulaires constituent le principal support de stockage de l'information dans le monde réel, pilotant des applications industrielles critiques dans l'évaluation du crédit, la santé et l'optimisation de la chaîne logistique. Bien que les ensembles classiques basés sur les arbres (ex. XGBoost, CatBoost) dominent ces tâches grâce à leur performance prédictive et leur efficacité, ils manquent de la capacité de fournir des explications lisibles et spécifiques à chaque cas, essentielles à la prise de décision des parties prenantes. À l'inverse, les Grands Modèles de Langage (LLM) peuvent naturellement générer des explications mais peinent avec les données tabulaires en raison de leur incapacité à capturer les schémas spécifiques au jeu de données, les distributions de caractéristiques et les interactions lors de leur pré-entraînement.

Un obstacle technique critique surgit lorsqu'on tente de fine-tuner directement des LLM sur des jeux de données tabulaires étiquetés. Supervisés uniquement par des étiquettes catégorielles, les modèles souffrent souvent d'un oubli catastrophique des comportements génératifs, menant à un effondrement de l'explication (explanation collapse). Dans cet état, le modèle optimise strictement la cartographie discriminante, produisant des sorties concises limitées à l'étiquette et échouant à générer des rationales libres et fondées sur des preuves. Les approches existantes de type "few-shot" pour les LLM sont souvent moins performantes que les bases solides et ne traitent pas de manière adéquate l'optimisation de la qualité de l'explication dans les contextes où de grands jeux de données étiquetés sont disponibles.

2. Méthodologie : Distillation de Rationale à Trois Niveaux (TLRD)

TLRD est un cadre conçu pour convertir des jeux de données tabulaires contenant uniquement des étiquettes en une supervision structurée et riche en rationales pour les LLM. Il emploie un pipeline de distillation enseignant-élève pour permettre à un modèle étudiant compact de prédire des étiquettes et de générer des explications fondées en utilisant uniquement les caractéristiques brutes lors de l'inférence.

2.1 Entrée Augmentée à Trois Niveaux

Pour remédier au manque de contexte spécifique au jeu de données du LLM, le cadre construit une Entrée Augmentée à Trois Niveaux pour le modèle enseignant lors de la construction du corpus. Cette entrée étend la ligne brute sérialisée avec deux sources de preuves supplémentaires :

1. Statistiques au niveau du Jeu de Données : Contexte de distribution globale, incluant la moyenne, l'écart-type, les quartiles et les fréquences conditionnelles de classe pour les caractéristiques numériques et catégorielles.
2. Voisins Récupérés : Un ensemble équilibré par classe d'instances historiques similaires, récupérées sur la base de correspondances de caractéristiques catégorielles et de similitude numérique (similitude cosinus sur des vecteurs standardisés).

2.2 Schéma de Rationale à Trois Niveaux

Guidé par un schéma fixe, le modèle enseignant analyse l'entrée augmentée pour générer des rationales structurées conditionnées par l'étiquette de vérité terrain (ground-truth). Le schéma impose trois niveaux de raisonnement complémentaires :

• Raisonnement au Niveau de l'Instance (basé sur les caractéristiques propres) : Analyse les valeurs spécifiques des caractéristiques en utilisant la logique métier générale et le sens commun pour déterminer l'impact directionnel sur la cible.
• Raisonnement au Niveau du Jeu de Données (basé sur les statistiques globales) : Contextualise les valeurs des caractéristiques par rapport aux statistiques globales (ex. comparer une valeur aux moyennes de classe ou aux percentiles) pour ancrer l'explication dans des preuves macro-niveau.
• Raisonnement au Niveau de la Comparaison (cas similaires) : Utilise les voisins récupérés pour extraire des combinaisons de caractéristiques et des déviations critiques, résumées dans des blocs <Patterns> et <Deviations>, afin de valider les prédictions par rapport à des preuves contrastives locales.

2.3 Distillation et Déploiement

L'enseignant génère un rapport de rationale structuré justifiant l'étiquette de vérité terrain. Un modèle étudiant compact est ensuite fine-tuné (via LoRA) sur ce corpus distillé. Crucialement, lors du déploiement, l'étudiant reçoit uniquement les caractéristiques brutes sérialisées (sans statistiques externes ni récupération). Le modèle est entraîné pour internaliser les connaissances liées au jeu de données et aux cas, permettant une inférence sans surcoût tout en conservant la capacité de générer la rationale à trois niveaux.

3. Contributions Clés

• Preuves à Rationales à Trois Niveaux : L'article introduit un schéma structuré qui guide un modèle enseignant à synthétiser des rationales fondées sur les caractéristiques de l'instance, les statistiques du jeu de données et les voisins de comparaison. Cela formalise la transformation de données tabulaires brutes en une supervision riche en preuves.
• Distillation du Contexte vers les Paramètres : TLRD propose une méthode de distillation où les statistiques du jeu de données et les voisins récupérés sont utilisés uniquement lors de la construction du corpus. Cela injecte indirectement des connaissances spécifiques au jeu de données dans les paramètres de l'étudiant, permettant une inférence autonome et efficace sans recherche externe ou consultation statistique.
• Évaluation Empirique Complète : Le cadre est évalué sur six jeux de données diversifiés (classification et régression). Les résultats démontrent que TLRD réduit significativement l'écart de performance entre les LLM et les ensembles d'arbres de pointe.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA et DIAMONDS, en utilisant divers backbones étudiants (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) et des modèles enseignants (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Performance vs Baselines : TLRD surpasse significativement les baselines LLM en zero-shot et few-shot. Sur les tâches de classification, les variantes de TLRD atteignent des performances compétitives face à de solides baselines non-LLM comme XGBoost, CatBoost et TabPFN. Par exemple, sur le jeu de données OKCUPID, TLRD (Gemma 3-12B) a atteint un Macro-F1 de 56,1, dépassant TabPFN v2.5 (55,9) et approchant CatBoost (58,9).
• Ancrage de la Rationale : L'analyse qualitative (Figure 3) montre que la distillation standard produit souvent des explications fluides mais génériques basées sur des suppositions de sens commun. En revanche, TLRD génère des explications qui citent des statistiques spécifiques au jeu de données (ex. "77,8 % de défauts contre 70,4 % de non-défauts") et identifient des déviations par rapport à des cas similaires, offrant un support de décision plus ancré.
• Études d'Ablation : Supprimer soit les statistiques du jeu de données, soit la récupération au niveau de la comparaison dégrade les performances, confirmant la nature complémentaire de la preuve à trois niveaux. De plus, TLRD surpasse la distillation standard et la "Distillation Augmentée par Preuves" (où l'enseignant voit les preuves mais manque du schéma structuré), soulignant l'importance du schéma dans la génération d'une supervision de haute qualité.
• Scalabilité : Le cadre est efficace même avec de petits modèles étudiants (ex. 4 milliards de paramètres) supervisés par des enseignants de taille moyenne, suggérant une voie pratique pour le déploiement avec des ressources limitées.

5. Signification et Limites

Signification :
TLRD offre un compromis pratique entre la haute performance prédictive des ensembles basés sur les arbres et l'interprétabilité des LLM. En distillant les schémas de raisonnement spécifiques au jeu de données dans un modèle étudiant, il permet un support de décision transparent et spécifique au cas, sans la latence d'une recherche externe ou l'effondrement de l'explication associé au fine-tuning basé uniquement sur l'étiquette. Les auteurs considèrent cela comme une référence précieuse pour la prise de décision à enjeux élevés où l'exactitude et l'explicabilité sont requises.

Limites :
Les auteurs reconnaissent plusieurs limites :

• Corrélations Spureuses : Le modèle étudiant peut hériter de corrélations spureuses ou de sauts logiques de l'enseignant, même lorsque celui-ci est conditionné par les étiquettes de vérité terrain.
• Scalabilité : L'approche repose sur la sélection de caractéristiques pour les jeux de données à haute dimension et peut éprouver des difficultés avec les jeux de données possédant un grand nombre de classes en raison des contraintes de longueur d'entrée.
• Portée du Fine-Tuning : En raison de contraintes de calcul, l'étude utilise LoRA (fine-tuning efficace en paramètres) plutôt qu'un fine-tuning supervisé complet, laissant ouverte la question de savoir si une adaptation de tous les paramètres apporterait des gains supplémentaires.
• Risques Inhérents aux LLM : La méthode hérite des limitations générales des LLM, notamment les hallucinations potentielles et la sensibilité aux réglages de prompt. Les auteurs insistent sur le fait que TLRD doit être déployé strictement comme un outil de support à la décision, et non comme un décideur autonome, et recommandent des audits d'équité rigoureux et une évaluation humaine pour un déploiement en conditions réelles.