🤖 machine learning

Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

Cet article propose un modèle prédictif agnostique aux données et interprétable par conception qui sélectionne de manière hiérarchique des instances pivots représentatives (incluant des paires et des ensembles) en utilisant des arbres de proximité et des réseaux pré-entraînés afin d'atteindre des performances compétitives à travers diverses modalités de données tout en maintenant une interprétabilité élevée.

Auteurs originaux : Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître un chat. Vous pourriez essayer d'écrire un immense livre de règles : « S'il a des oreilles pointues, une queue et des moustaches, c'est un chat. » Mais qu'arrive-t-il si le robot voit un chat sans poils, ou un chat endormi dans une position bizarre ? Les règles s'effondrent. C'est le problème de beaucoup de systèmes d'IA modernes de type « boîte noire » : ils sont incroyablement doués pour deviner, mais ils ne peuvent pas expliquer pourquoi ils ont fait une supposition. Ils se contentent de traiter des chiffres d'une manière que les humains ne peuvent pas suivre.

D'un autre côté, les humains apprennent par l'exemple. Nous ne mémorisons pas un livre de règles pour chaque animal ; nous nous souvenons d'instances spécifiques. « Cette chose duffue avec une longue queue est un chat », ou « Cet animal imposant et rayé est un tigre. » Nous comparons les nouvelles choses à ces instantanés mentaux. C'est ce qu'on appelle le « raisonnement fondé sur des cas ». La grande question dans le monde de l'intelligence artificielle est la suivante : pouvons-nous construire une machine qui pense comme nous ? Pouvons-nous créer un modèle qui ne donne pas seulement une réponse, mais qui pointe quelques exemples spécifiques et dit : « Je pense que c'est un chat parce que cela ressemble exactement à cette photo que j'ai vue auparavant » ? Si nous pouvons faire cela, nous obtiendrons une IA qui est non seulement intelligente, mais aussi transparente et digne de confiance, nous permettant de jeter un coup d'œil sous le capot pour voir sa logique.

C'est exactement ce que les chercheurs derrière l'article « PivotTree » ont entrepris de faire. Ils ont construit un nouveau type de modèle d'IA qui agit comme un arbre de décision, mais au lieu de diviser les données sur la base de règles abstraites comme « si le pixel est rouge », il divise les données sur la base de la similitude avec des exemples réels. Considérez cela comme une partie de « 20 questions » où les questions ne portent pas sur des caractéristiques, mais sur des comparaisons. « Est-ce que cette nouvelle image ressemble plus à ce chien spécifique, ou à ce chat spécifique ? »

L'équipe, dirigée par Alessio Cascione et ses collègues, a introduit une méthode appelée PivotTree. Imaginez un arbre où chaque embranchement n'est pas une règle, mais un « pivot » — un exemple soigneusement choisi dans les données d'entraînement. Lorsqu'une nouvelle donnée (comme une photo ou une phrase) arrive, le modèle demande : « À quel pivot cela ressemble-t-il le plus ? » Il dirige la donnée à travers l'arbre, la comparant à différents exemples à chaque étape, jusqu'à atteindre une réponse finale. Le plus intéressant est que le modèle ne choisit pas seulement un exemple ; il peut en choisir une paire et demander : « Est-ce plus proche du Pivot A ou du Pivot B ? » Cela crée une hiérarchie de comparaisons facile à suivre pour un humain.

Les chercheurs ne se sont pas arrêtés à un seul type de comparaison. Ils ont créé différentes « saveurs » de PivotTree. Certaines utilisent un pivot unique pour tracer une ligne (comme « si cela ressemble plus à ceci qu'à cela, allez à gauche »). D'autres utilisent deux pivots pour prendre une décision de type « est plus proche de » (comme « est-ce plus proche du chien ou du chat ? »). Ils ont même combiné ces arbres en une « forêt » (un Random Pivot Forest) pour rendre les prédictions encore plus robustes, de la même manière qu'une foule d'experts pourrait voter sur une décision.

Pour tester si leur idée fonctionnait réellement, ils ne se sont pas contentés de simples feuilles de calcul. Ils ont lancé leur modèle face à un défi colossal : 45 ensembles de données différents. Ceux-ci comprenaient des tableaux de chiffres standards, mais aussi des éléments plus complexes comme des images (photos de chats, de chiens et de voitures), du texte (avis et articles) et des données de séries temporelles (comme des battements de cœur ou des mouvements de mains). Ils ont comparé leur PivotTree à d'autres modèles d'IA célèbres, y compris les poids lourds de la « boîte noire » et d'autres méthodes interprétables.

Les résultats étaient prometteurs. Les modèles PivotTree ont réussi à être aussi précis que les modèles d'IA les plus puissants et complexes, mais avec un avantage majeur : ils étaient beaucoup plus faciles à comprendre. Dans de nombreux cas, particulièrement avec les images et le texte, les modèles PivotTree ont obtenu des performances comparables ou légèrement inférieures aux meilleurs concurrents (comme les modèles de boosting), mais ils ont souvent égalé les performances des forêts aléatoires (Random Forests) standards tout en utilisant beaucoup moins d'exemples (pivots) pour prendre leurs décisions. Par exemple, sur un ensemble de données de lésions buccales (images médicales de plaies dans la bouche), le modèle pouvait diagnostiquer des problèmes en comparant une nouvelle image à seulement quelques exemples représentatifs, expliquant son raisonnement en montissant exactement quels exemples il comparait.

L'article suggère que cette approche est un superpouvoir « agnostique aux données », ce qui signifie qu'elle fonctionne sur presque tout type de données tant que l'on peut mesurer la similitude entre deux choses. Bien que les modèles aient parfois mis un peu plus de temps à être entraînés que les systèmes les plus simples basés sur des règles, ils offraient un compromis idéal : une haute performance sans le mystère. Les auteurs concluent qu'en laissant l'IA raisonner par l'exemple plutôt que par des règles abstraites, nous pouvons construire des systèmes qui sont non seulement puissants, mais aussi assez amicaux pour que les humains puissent leur faire confiance et les comprendre. C'est une étape vers une IA qui ne se contente pas de connaître la réponse, mais qui peut vous montrer les preuves.

Résumé Technique : Extension des modèles de sélection d'instances pivots agnostiques aux données avec des arbres de proximité et l'apprentissage d'ensemble

Énoncé du problème
Les modèles d'apprentissage automatique sont devenus essentiels pour la prise de décision complexe dans des domaines tels que la santé et la finance, pourtant leur nature de « boîte noire » entrave souvent l'interprétabilité. Alors que les humains raisonnent naturellement en comparant de nouveaux cas à des exemples représentatifs (raisonnement fondé sur des cas), de nombreux modèles interprétables existants reposent sur des règles abstraites basées sur les caractéristiques, ce qui ne correspond pas à ce processus cognitif. De plus, les approches actuelles basées sur les instances peinent souvent avec les modalités de données où les caractéristiques manquent de sens sémantique clair (ex. : images, texte, séries temporelles) ou ne parviennent pas à équilibrer la performance prédictive avec le nombre d'instances représentatives (pivots) requises pour l'explication. Le document traite de la nécessité d'un cadre unifié et agnostique aux données pour sélectionner des instances pivots de haute qualité afin de construire des modèles prédictifs interprétables capables de raisonner par similitude.

Méthodologie
Les auteurs proposent PivotTree, un modèle hiérarchique, interprétable par conception, inspiré des arbres de décision mais fondé sur la similitude avec des pivots sélectionnés plutôt que sur des seuils de caractéristiques. La méthodologie comprend trois composantes principales :

Sélection de pivots et induction d'arbre :
PivotTree construit de manière gloutonne un arbre de décision où chaque nœud divise les instances en fonction de leur similitude avec des « pivots » spécifiques (instances d'entraînement représentatives). L'algorithme identifie deux types de pivots à chaque étape :
- Pivots discriminants : Instances qui maximisent le gain d'impureté lors du partitionnement des données basé sur la similitude.
- Pivots descriptifs : Instances qui maximisent la similitude avec d'autres instances de la même classe au sein du nœud actuel.
  Le processus d'induction de l'arbre encode les instances dans un espace de similitude relatif à ces pivots, permettant au modèle de fonctionner à la fois comme un sélecteur de pivots et comme un modèle prédictif autonome.
Stratégies de division (Splitting) :
Pour améliorer l'expressivité et l'adaptabilité, PivotTree implémente trois mécanismes de division distincts :
- Division univariée (pt) : Utilise un seul pivot par nœud avec une condition de seuil ( $s(x, p_i) \geq \beta$ ).
- Division oblique (opt) : Utilise une combinaison linéaire de similitudes à deux pivots ( $\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$ ), permettant des frontières de décision plus complexes.
- Division de proximité (ppt) : Compare directement la similitude d'une instance à deux pivots ( $s(x, p_i) > s(x, p_j)$ ), acheminant l'instance en fonction de la proximité avec l'un ou l'autre pivot. Cela offre une interprétation relative, plutôt qu'absolue, de la similitude.
Apprentissage d'ensemble (RandomPivotForest) :
Les auteurs étendent l'approche de l'arbre unique à un cadre d'ensemble, RandomPivotForest, qui agrège les prédictions de plusieurs estimateurs PivotTree par vote majoritaire. Pour gérer la complexité, ils explorent également une approche de « forêt de souches de division » (splitting stump forest), où des ensembles compacts d'apprenants faibles (souches) sont extraits de la forêt et utilisés soit pour le vote direct, soit combinés avec un classificateur de régression logistique.
Agnosticisme vis-à-vis des données :
Une caractéristique centrale de la méthodologie est son découplage du calcul de similitude de la représentation de l'objet. En exploitant des réseaux pré-entraînés (ex. : ResNet pour les images, Sentence Transformers pour le texte) pour projeter les données dans un espace vectoriel latent ( $\mathbb{R}^m$ ), PivotTree peut être appliqué uniformément aux données tabulaires, aux séries temporelles, aux images et au texte.

Contributions clés

Cadre unifié : Introduction de PivotTree, un modèle qui réalise simultanément la sélection de pivots et la modélisation prédictive, comblant le fossé entre la sélection d'instances et la classification interprétable.
Mécanismes de division polyvalents : Développement de stratégies de division univariées, obliques et basées sur la proximité qui permettent au modèle de s'adapter à différentes structures de données et besoins d'interprétabilité.
Indépendance de la modalité de données : Démonstration que l'approche est efficace à travers diverses modalités (tabulaire, séries temporelles, images, texte) en utilisant des plongements (embeddings) pré-entraînés et une métrique de similitude unifiée (distance euclidienne, avec évaluation de la cosinus et de la Manhattan).
Intégration d'ensemble : Proposition de RandomPivotForest et de ses variantes compressées, offrant un compromis entre la robustesse des méthodes d'ensemble et l'interprétabilité du raisonnement fondé sur des cas.

Résultats expérimentaux
Les auteurs ont évalué PivotTree et ses variantes sur 45 jeux de données couvrant quatre modalités. Les principales conclusions incluent :

Performance prédictive : Les variantes de PivotTree (spécifiquement $ptc_Z$ et $pts_Z$ ) ont obtenu des résultats compétitifs par rapport aux modèles interprétables de pointe (ex. : arbres de décision, ensembles de règles) et aux classificateurs standards (kNN, Random Forests). Dans de nombreux cas, elles ont surpassé les concurrents, particulièrement sur les données non relationnelles comme les images et le texte.
Interprétabilité : Les modèles ont maintenu une performance élevée tout en utilisant un nombre minimal de pivots (souvent plafonné à 20), réduisant considérablement la complexité du modèle par rapport aux alternatives de type boîte noire.
Performance d'ensemble : Les variantes de RandomPivotForest ont généralement égalé ou approché les performances des Random Forests standards et des méthodes de boosting (XGBoost, LightGBM) sur les données tabulaires et les séries temporelles. Notamment, les variantes basées sur la proximité ($rppt$) ont montré une performance supérieure sur les jeux de données d'images.
Mesures de distance : Bien que la distance euclidienne ait été la métrique principale, les expériences avec les distances Cosine et Manhattan ont montré des performances globales comparables, la distance Cosine donnant des résultats particulièrement probants pour les données d'images.
Efficacité : Les temps d'entraînement variaient selon la taille et la dimensionnalité des jeux de données, les variantes univariées étant généralement plus rapides que les obliques. L'utilisation d'un sous-échantillonnage de 10 % pour l'entraînement de l'ensemble a considérablement réduit le temps d'entraînement avec un impact minimal sur la performance prédictive.

Signification et revendications
L'article affirme que PivotTree constitue une étape importante pour l'IA explicable (XAI) en alignant les processus de décision de l'apprentissage automatique sur les stratégies cognitives humaines (raisonnement fondé sur des cas). Sa principale importance réside dans sa capacité à fournir des modèles interprétables et transparents qui ne sacrifient pas la précision prédictive, même dans des domaines complexes où les modèles interprétables traditionnels basés sur les caractéristiques peinent.

Les auteurs notent avec modestie que si l'approche d'ensemble (RandomPivotForest) atteint une performance élevée, elle introduit une variance dans la complexité du modèle. Ils reconnaissent également que pour les tâches où la performance absolue est la seule priorité, les modèles boîte noire ou PivotTree combiné avec kNN peuvent surpasser les structures d'arbres autonomes, bien que ce dernier offre une interprétabilité structurelle supérieure. Le travail suggère que le choix d'un modèle doit dépendre du compromis spécifique requis entre l'interprétabilité globale, le raisonnement local et la puissance prédictive. Les directions futures identifiées incluent l'exploration de stratégies de division hybrides et la validation de l'approche dans des scénarios réels de décision avec intervention humaine (human-in-the-loop).

Résumé Technique : Extension des modèles de sélection d'instances pivots agnostiques aux données avec des arbres de proximité et l'apprentissage d'ensemble

Articles similaires