🤖 machine learning

Multistage Defer Trees for Hybrid Interpretability: If at First You Can't Succeed, Tree Again

Cet article introduit les Arbres de Différé à Étapes Multiples (Multistage Defer Trees), un cadre d'interprétabilité hybride qui enchaîne des arbres de décision parcimonieux pour classer la majorité des échantillons de manière transparente tout en différant les cas difficiles vers des arbres ultérieurs ou des modèles de type boîte noire, atteignant ainsi une précision de pointe sans sacrifier l'interprétabilité pour la majeure partie des données.

Auteurs originaux : Zakk Heile, Hayden McTavish, Margo Seltzer, Cynthia Rudin

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zakk Heile, Hayden McTavish, Margo Seltzer, Cynthia Rudin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « Boîte Noire » contre la « Carte Simple »

Imaginez que vous essayez de naviguer dans une ville.

La Boîte Noire : C'est comme un GPS super intelligent qui connaît chaque raccourci, chaque embouteillage et chaque zone de travaux. Il vous amène à destination parfaitement à chaque fois (haute précision), mais il ne vous dit pas pourquoi il a choisi cet itinéraire. Il dit simplement : « Tournez ici ». Vous ne pouvez pas comprendre sa logique.
L'Arbre Simple : C'est comme une carte papier basique avec quelques règles claires : « Si vous voyez un feu rouge, tournez à gauche. Si vous voyez un parc, allez tout droit ». C'est facile à comprendre (interprétable), mais cela vous perd souvent dans le trafic complexe (précision plus faible).

Pendant longtemps, les scientifiques des données ont dû choisir : voulez-vous un itinéraire parfait que vous ne comprenez pas, ou un itinéraire simple qui risque d'échouer ?

La nouvelle solution : L'« Équipe de Spécialistes » (Multistage Defer Trees)

Les auteurs proposent une nouvelle façon de conduire qui offre le meilleur des deux mondes. Au lieu d'un seul conducteur prenant toutes les décisions, ils créent une équipe de relais composée de spécialistes.

Voyez cela comme un système de triage dans un hôpital ou une ligne d'escalade du service client :

Étape 1 (Le Généraliste) : Le premier « médecin » (un arbre de décision simple) examine le patient (les données).
- Si le cas est simple (ex: un bras cassé), le médecin le traite immédiatement et renvoie le patient chez lui. C'est interprétable car la règle est simple : « Bras cassé = Plâtre ».
- Si le cas est étrange ou compliqué (ex: un ensemble de symptômes rares et déroutants), le médecin dit : « Je ne suis pas sûr. Je vais différer (déferrer) ce cas au spécialiste suivant ».
Étape 2 (Le Spécialiste) : Le deuxième médecin reçoit uniquement les cas difficiles que le premier médecin n'a pas pu gérer. Comme ils ne voient que les cas difficiles, ils peuvent être légèrement plus complexes, mais ils restent un arbre simple.
- Ils résolvent la plupart de ces cas.
- Si un cas est toujours trop étrange pour eux, ils le diffèrent à l'étape suivante.
L'Étape Finale (La Boîte Noire) : Si le cas est incroyablement complexe au point que même le deuxième spécialiste est dérouté, il est finalement transmis à la « Boîte Noire » (le GPS super intelligent ou l'IA).

Pourquoi c'est une avancée majeure

L'article affirme que cette méthode résout trois problèmes majeurs :

1. La plupart des gens obtiennent une explication simple.
Dans ce système, 90 % (ou plus) des données sont gérées par le premier ou le deuxième arbre simple. Vous obtenez une règle claire et lisible par l'humain pour presque chaque décision. On n'utilise la « Boîte Noire » que pour la minuscule fraction de données qui est véritablement impossible à expliquer simplement.

2. La « Boîte Noire » devient plus petite et plus simple.
Habituellement, une Boîte Noire doit être immense pour pouvoir tout gérer. Mais ici, la Boîte Noire n'a qu'à gérer le groupe minuscule et spécifique de cas « bizarres » que les arbres simples n'ont pas pu résoudre.

Analogie : Imaginez une bibliothèque. Habituellement, vous avez besoin d'une bibliothèque massive et chaotique pour trouver n'importe quel livre. Mais si vous avez un catalogue simple qui trie 99 % des livres en « Fiction » et « Non-Fiction », la « Section Spéciale » n'a besoin de contenir que le 1 % de livres obscurs et étranges. Cette Section Spéciale peut être beaucoup plus petite et plus facile à gérer.

3. Elle apprend au fur et à mesure.
L'article décrit un processus d'entraînement où l'équipe apprend ensemble.

D'abord, on entraîne la Boîte Noire.
Ensuite, on entraîne le premier arbre simple pour attraper les cas faciles et transmettre le reste à la Boîte Noire.
Puis, on entraîne l'arbre simple suivant pour attraper ce que le premier arbre a manqué, et ainsi de suite.
Crucialement, ils utilisent une astuce de « distance ». Si un point de donnée est proche d'être un « cas difficile », le système lui accorde une attention supplémentaire pendant l'entraînement, garantissant que les arbres simples deviennent très performants pour gérer les cas « limites » afin de ne pas avoir à les transmettre à la Boîte Noire.

Les Résultats

Les auteurs ont testé cela sur de nombreux jeux de données (comme la prédiction de locations de vélos, la fraude à la carte de crédit ou la qualité du vin). Ils ont constaté que :

Leur « Équipe d'Arbres » était presque aussi précise que les modèles géants et complexes de type Boîte Noire.
Cependant, pour la grande majorité des prédictions, le système n'utilisait qu'un ou deux arbres simples.
Cela signifie que vous obtenez la précision du modèle complexe avec la transparence d'un livre de règles simple pour presque tout le monde.

Métaphore de synthèse

Imaginez un Cabinet d'Avocats :

L'ancienne méthode : Vous engagez un « Super Avocat » qui connaît toutes les lois de l'univers. Il gagne tous les procès, mais vous n'avez aucune idée de la façon dont il a argumenté.
La nouvelle méthode (MDT) : Vous engagez une équipe de Collaborateurs Juniors (Arbres Simples).
- Ils gèrent 95 % des cas en utilisant des règles claires et standard.
- Si un cas est trop étrange, ils le transmettent à un Associé Senior (l'arbre suivant).
- Si c'est encore trop étrange, ils le transmettent à l'Expert Célèbre (la Boîte Noire).
Le Résultat : Vous obtenez une explication claire pour 95 % de vos cas. L'Expert Célèbre n'a à travailler que sur les 5 % de cas qui sont véritablement impossibles, et parce qu'il ne voit que ces 5 %, son travail peut être simplifié et mieux compris que s'il devait tout faire seul.

L'article conclut que nous n'avons pas à choisir entre être intelligent et être compréhensible. Nous pouvons être les deux, en laissant les modèles simples faire le gros du travail et en réservant la « magie » complexe uniquement pour les problèmes les plus difficiles.

Résumé technique : Arbres de report multi-étages pour l'interprétabilité hybride

Énoncé du problème

Le défi central de l'apprentissage automatique interprétable consiste à construire des modèles qui égalent les performances prédictives de l'état de l'art tout en restant transparents. Bien que des arbres de décision parcimonieux bien optimisés puissent atteindre ces résultats dans des domaines bruités, un écart significatif entre précision et interprétabilité persiste dans de nombreux contexturs. Dans ces cas, des ensembles complexes (par exemple, les forêts aléatoires, XGBoost) sont nécessaires pour une précision élevée, mais ils manquent d'interprétabilité. Les approches hybrides existantes tentent de combler ce fossé en utilisant un modèle simple pour prédire sur la majorité des données et en reportant les échantillons difficiles vers une boîte noire. Cependant, les méthodes actuelles peinent souvent à maintenir la précision de la boîte noire sans reporter la vaste majorité des échantillons, ou échouent à restaurer l'interprétabilité pour le sous-ensemble reporté.

Méthodologie

Les auteurs introduisent les Arbres de Report Multi-étages (MDT - Multistage Defer Trees), une classe de modèles qui alloue l'adaptativement la complexité en acheminant les entrées à travers une séquence d'arbres de décision parcimonieux avant de potentiellement reporter vers une boîte noire.

Définitions fondamentales

Arbre de report (Defer Tree) : Un arbre binaire dont les feuilles sont étiquetées soit par une prédiction de classe, soit par une action de report (defer). Si une feuille reporte, la prédiction est transmise à un modèle de repli $B$ .
Arbre de report multi-étages (MDT) : Une séquence ordonnée d'arbres de report $(T_1, \dots, T_K)$ . Une entrée $x$ est évaluée par $T_1$ . Si $T_1$ prédit, le processus s'arrête. Si $T_1$ reporte, $x$ est transmis à $T_2$ , et ainsi de suite. Si tous les arbres reportent, le modèle de repli final $B$ (qui peut être une boîte noire ou un modèle parcimonieux) effectue la prédiction.

Algorithme d'entraînement

La procédure d'entraînement utilise une stratégie d'optimisation alternée itérative et descendante :

Initialisation : Commencer avec un modèle de repli $B$ entraîné sur l'ensemble du jeu de données.
Entraînement par étape itératif : Pour l'étape $j$ , entraîner un arbre de report $T_j$ sur le sous-ensemble de données reportées par les étapes précédentes. La fonction d'objectif pénalise les erreurs de classification, la complexité de l'arbre (nombre de divisions) et les reports vers le modèle de repli actuel.
Mise à jour du repli : Après l'entraînement de $T_j$ $T_{j}$ , l'ensemble reporté est mis à jour. Le modèle de repli $B$ $B$ est réentraîné sur l'ensemble du jeu de données en utilisant des poids basés sur la distance.
- Les points reportés reçoivent un poids complet.
- Les points non reportés sont pondérés à la baisse en fonction de leur distance à la région reportée (mesurée dans l'espace des quantiles). Cela permet au modèle de repli de « emprunter la force » des points proches, améliorant la généralisation dans la région reportée et empêchant le surapprentissage sur des échantillons reportés spécifiques.
Suivi de la région faisable : L'algorithme suit l'intersection géométrique des régions de report (hyperrectangles alignés sur les axes) pour filtrer les divisions qui sont non pertinentes pour la région de report actuelle, améliant ainsi l'efficacité.
Terminaison : Le processus s'arrête lorsque l'ensemble reporté devient vide, cesse de rétrécir, ou dépasse les budgets de complexité (par exemple, le nombre total de feuilles ou la taille d'un arbre unique expansé).

Compression et représentation

Une contribution théorique clé est la Représentation par Liste de Règles des MDT. Le Théorème 1 établit qu'un MDT avec $K$ étapes peut être représenté comme une liste de règles où chaque feuille de non-report dans n'importe quelle étape contribue exactement à un antécédent. Cela résulte en une représentation compacte nettement plus petite que les listes de règles dérivées d'ensembles standards (comme les forêts aléatoires), où les antécédents peuvent croître avec la somme des profondeurs à travers tous les arbres.

Les auteurs fournissent également des algorithmes pour compresser le MDT en un arbre de report unique ou en une liste de règles en développant récursivement les feuilles de report et en élagant les divisions qui sont garanties d'évaluer de la même manière au sein de la sous-région spécifique des données reportées.

Contributions clés

Classe de modèles : Introduction des Arbres de Report Multi-étages, qui allouent l'adaptativement la complexité en fonction de la difficulté de différentes régions de l'espace des caractéristiques.
Algorithme d'entraînement : Développement d'un algorithme itératif qui rétrécit successivement la région de report tout en utilisant un repondérage basé sur la distance pour améliorer la généralisation du modèle de repli.
Techniques de compression : Algorithmes pour compresser les MDT en représentations d'arbres uniques parcimonieux ou de listes de règles, et méthodes pour compresser le modèle de repli (si celui-ci est un ensemble d'arbres) spécifiquement pour le sous-ensemble reporté.
Garanties théoriques : Preuves concernant la taille de la représentation en liste de règles et l'amélioration monotone de la fonction d'objectif pendant l'entraînement.

Résultats expérimentaux

Les auteurs ont évalué les MDT par rapport aux ensembles d'arbres de pointe (XGBoost, Forêt Aléatoire), aux modèles additifs parcimonieux (FIGS) et aux lignes de base hybrides existantes (variantes de HyRS et CORELS) sur 24 jeux de données.

Précision vs Report : Les MDT ont systématiquement égalé les performances des ensembles de boîtes noires complexes (XGBoost) tout en reportant une faible proportion d'échantillons (par exemple, $\le 25\%$ ). Dans de nombreux jeux de données, les MDT ont atteint une précision située dans l'intervalle de confiance à 95 % de la meilleure méthode de boîte noire avec des taux de report nettement inférieurs aux modèles hybrides concurrents.
Interprétabilité : La composante interprétable des MDT (la séquence d'arbres) nécessite très peu de décisions de division par échantillon (souvent $\le 5,5$ divisions en moyenne) pour atteindre une performance proche de la boîte noire.
Compression : Lorsque le modèle de repli était un ensemble d'arbres, les auteurs ont démontré que la compression du modèle de repli spécifiquement pour la région reportée résultait en des réductions significatives du nombre de divisions et de feuilles requises, sans sacrifier la précision dans cette région.
Comparaison aux lignes de base : Les MDT ont surpassé les arbres uniques non reportants et les méthodes hybrides existantes (comme HyRS et FLMM) dans le compromis précision-report, particulièrement dans les régimes où un arbre unique est insuffisant.

Signification et affirmations

L'article affirme que les MDT étendent la frontière précision-interprétabilité. Les auteurs soutiennent que même lorsque des modèles complexes sont nécessaires pour atteindre une précision de pointe, ils ne sont pas nécessairement totalement opaques. En acheminant la majorité des données à travers un petit nombre d'arbres parcimonieux et en confinant la dépendance aux modèles complexes à une région étroitement contrainte de l'espace des caractiles, les MDT permettent aux praticiens de maintenir une précision élevée tout en garantissant que la plupart des décisions restent interprétables. La méthode démontre que le compromis entre précision et interprétabilité n'est pas nécessairement global ; il peut être géré localement, la complexité étant allouée uniquement là où les modèles simples échouent de manière prouvable.