💻 computer science

Training as Treatment: A Causal Framework for Machine-Learning Evaluation

Cet article introduit « Training as Treatment », un cadre causal qui modélise les assignations de rôles de données et les choix de pipelines comme des interventions afin d'analyser rigoureusement les métriques d'évaluation de l'apprentissage automatique, en tenant compte de l'interférence induite par le modèle et en permettant des diagnostics plus robustes pour l'équité, la fuite de données et la généralisation.

Auteurs originaux : Vikas Ramachandra

Publié 2026-08-10

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vikas Ramachandra

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La poignée de main cachée de l'apprentissage automatique

Imaginez que vous essayiez d'apprendre à un robot à reconnaître des chats. Vous lui montrez des milliers d'images, et il apprend en ajustant les réglages de son « cerveau » interne. Dans le monde de l'informatique, on appelle cela l'apprentissage automatique (machine learning). Mais voici la partie délicate : comment savoir si le robot est réellement intelligent, ou s'il a simplement mémorisé les images spécifiques que vous lui avez montrées ? Habituellement, les scientifiques divisent leurs données en deux tas : un tas d'« entraînement » pour enseigner au robot, et un tas de « test » pour vérifier son travail.

Pendant longtemps, les chercheurs ont considéré cette division comme une étape administrative simple et ennuyeuse — comme trier le linge en « blanc » et en « foncé ». Ils supposaient que le tas de test n'était qu'un miroir neutre, reflétant la véritable capacité du robot sans la modifier. Cependant, une nouvelle façon de penser suggère que la manière dont nous trions ces données est en réalité une force puissante qui façonne le cerveau du robot. Cette idée provient d'un domaine appelé l'inférence causale, qui est essentiellement la science de comprendre ce qui cause quoi. Au lieu de simplement observer les choses se produire, l'inférence causale demande : « Si j'avais fait les choses différemment, qu'est-ce qui aurait changé ? » Dans le contexte de l'IA, cela signifie demander : « Si j'avais déplacé cette image spécifique du tas d'« enseignement » vers le tas de « test », le cerveau du robot aurait-il changé, et son score final serait-il différent ? »

C'est exactement la question que pose un chercheur nommé Vikas Ramachandra dans un nouvel article intitulé « Training as Treatment » (L'entraînement comme traitement). L'article soutient que nous devons cesser de traiter le processus d'entraînement comme une routine passive et commencer à le traiter comme une expérience médicale. Tout comme un médecin administre un médicament spécifique à un patient pour voir s'il guérit une maladie, nous devrions considérer l'acte de nourrir une machine avec des données comme un « traitement » qui modifie activement le résultat.

Le cerveau partagé du robot

L'idée centrale de l'article de Ramachandra est simple mais révolutionnaire : le cerveau du robot est un espace partagé. Lorsque vous enseignez au robot avec une image spécifique, cette image ne reste pas simplement dans le tas d'« entraînement » ; elle modifie le cerveau du robot pour chaque autre image qu'il verra jamais.

Pensez-y comme à une salle de classe d'étudiants étudiant pour un examen important. Si un étudiant (appelons-le « Point de Donnée A ») apprend une astuce ingénieuse pour résoudre un problème de mathématiques, et que l'enseignant (l'algorithme) utilise cette astuce pour aider toute la classe, alors tous les autres étudiants en bénéficient. Mais si le « Point de Donnée A » apprend une mauvaise astuce, toute la classe pourrait être confuse. Dans l'apprentissage automatique traditionnel, nous prétendons souvent que l'étudiant qui passe le test (le « ensemble de test ») est complètement séparé des étudiants qui étudient (le « ensemble d'entraînement »). Ramachandra affirme que c'est un mensonge. L'étudiant qui passe le test passe l'examen sur la base d'un cerveau qui a été façonné par les étudiants de l'entraînement. Par conséquent, déplacer une image du tas d'entraînement vers le tas de test n'est pas seulement déplacer un fichier ; c'est comme retirer un étudiant du groupe d'étude et le mettre à l'examen. Cela change le cerveau des autres étudiants et change qui passe le test.

L'expérience « Training as Treatment »

Ramachandra propose un nouveau cadre appelé « Training as Treatment ». Au lieu de simplement exécuter un modèle une fois et d'obtenir un score, il suggère que nous devrions mener des milliers de petites expériences pour voir exactement ce que chaque donnée fait.

Il décompose le processus en différents « rôles » pour les données :

Ajustement (Fitting) : Les données utilisées pour enseigner au robot.
Validation : Les données utilisées pour ajuster les réglages du robot (comme décider de la difficulté de l'étude).
Évaluation (Evaluation) : Les données utilisées pour donner la note finale.
Audit : Un groupe spécial de données, non touchées, utilisé pour vérifier si le robot est vraiment équitable et précis, sans jamais le laisser voir pendant l'entraînement.

L'article introduit le concept d'interférence. En termes simples, cela signifie que ce qui arrive à un point de donnée affecte tous les autres. Si vous incluez une image spécifique dans l'ensemble d'entraînement, cela peut rendre le robot meilleur pour reconnaître les chats (un « débordement positif »), ou cela peut le rendre moins bon pour reconnaître les chiens parce qu'il a été confondu (un « débordement négatif »).

Pour mesurer cela, l'auteur suggère quelques méthodes ingénieuses pour expérimenter :

L'inclusion aléatoire : Imaginez lancer une pièce pour chaque image de votre collection. Si c'est face, le robot l'étudie ; si c'est pile, le robot l'ignore. En faisant cela des milliers de fois, vous pouvez voir exactement à quel point cette image particulière aide ou nuit au score final du robot.
L'échange de paires : Imaginez prendre deux images, l'Image A et l'Image B. Vous entraînez le robot avec A mais pas avec B, puis vous les échangez et entraînez avec B mais pas avec A. En comparant les résultats, vous pouvez voir quelle image est réellement la plus précieuse.

Ce que les expériences ont montré

L'article ne se contente pas de parler de théorie ; il a mené de réelles expériences pour tester ces idées. Les chercheurs ont utilisé des ensembles de données réels (comme des dossiers médicaux pour le cancer du sein et la qualité du vin) et ont créé des ensembles de données fictifs avec des problèmes connus (comme des images avec des étiquettes erronées ou des astuces cachées).

Voici ce qu'ils ont trouvé :

1. Le « Split » est un farceur
La découverte la plus surprenante est que la façon dont vous divisez vos données (la « politique de division ») agit comme un interrupteur magique qui change le score du robot, même si le cerveau du robot reste exactement le même.

Dans leurs simulations, le simple fait de changer la manière dont ils divisaient les données a fait bondir ou chuter le score de précision du robot (appelé AUC) de pas moins de 0,257.
Par exemple, dans une simulation avec des données bruyantes (désordonnées), l'utilisation d'une division par « cluster holdout » (où les éléments similaires sont regroupés) a fait paraître le robot beaucoup moins performant qu'en utilisant une division aléatoire standard. Cela prouve que le « score de test » n'est pas seulement une mesure de l'intelligence du robot ; c'est aussi une mesure de la façon dont le test a été conçu.

2. Toutes les données ne se valent pas
Les expériences ont montré que certaines images sont « mémorisées » par le robot mais ne l'aident pas réellement à apprendre.

Ils ont découvert que supprimer certaines images d'entraînement améliorait en fait la performance du robot sur d'autres images. Cela signifie que ces images étaient nuisibles ou redondantes.
Inversement, supprimer d'autres images rendait le robot moins performant, prouvant qu'elles étaient utiles.
L'article suggère qu'une image peut être « mémorisée » (le robot s'en souvient parfaitement) mais rester « nuisible » à la capacité du robot à se généraliser à de nouvelles situations.

3. Les algorithmes sont des mangeurs difficiles
Les chercheurs ont testé deux types différents de cerveaux de robots : une « Régression Logistique » (un penseur simple, en ligne droite) et une « Forêt Aléatoire » (un penseur complexe, en forme de branches d'arbre).

Ils ont découvert que le « meilleur » robot dépend entièrement de la situation. Dans une simulation propre et simple, la Forêt Aléatoire était bien meilleure. Mais sur un ensemble de données réel sur le cancer du sein, la simple Régression Logistique était meilleure ou tout aussi bonne.
Cela signifie que vous ne pouvez pas simplement dire « l'Algorithme X est le meilleur ». Vous devez dire « l'Algorithme X est le meilleur pour ce type spécifique de données et de cette manière spécifique de les diviser ».

4. L'« Audit » est le porteur de vérité
L'article souligne la nécessité d'un ensemble d'« audit » — un groupe de données que le robot ne voit qu'à la toute fin.

Ils ont constaté que si vous utilisez les données de test pour ajuster vos réglages (comme changer le niveau de difficulté du robot), vous pourriez obtenir un score élevé qui est faux.
En conservant un groupe d'« audit » distinct, ils ont pu voir que certaines politiques de division faisaient paraître le robot excellent sur le test, mais qu'il performait mal sur l'audit. Cela permet de détecter la « fuite » (leakage), où le robot apprend accidentellement des données de test qu'il ne devrait pas connaître.

La vue d'ensemble

L'article de Ramachandra suggère que nous devons cesser de voir l'apprentissage automatique comme une rue à sens unique où les données entrent et un score sort. Au lieu de cela, nous devrions le voir comme un réseau complexe d'interactions où chaque morceau de donnée influence tous les autres.

Le point principal est que la façon dont nous entraînons et testons notre IA est une intervention causale. Ce n'est pas seulement un outil de mesure ; c'est une partie active de l'expérience qui façonne le résultat. En traitant l'entraînement comme un « traitement » et en utilisant ces nouvelles méthodes expérimentales, nous pouvons enfin répondre à des questions telles que : « Cette image spécifique aide-t-elle vraiment l'IA, ou est-elle simplement en train de mémoriser ? » et « Ce score élevé est-il réel, ou avons-nous simplement eu de la chance avec la façon dont nous avons divisé les données ? »

L'article ne prétend pas avoir résolu tous les problèmes de l'IA. Il admet que réaliser ces expériences est coûteux et lourd en termes de calcul. Cependant, il fournit une nouvelle carte et un nouvel ensemble d'outils pour naviguer dans la réalité désordonnée de l'apprentissage automatique, nous aidant à distinguer un robot qui a réellement appris d'un qui a simplement eu de la chance.

Résumé technique : L'entraînement comme traitement : un cadre causal pour l'évaluation de l'apprentissage automatique

1. Énoncé du problème

L'évaluation conventionnelle de l'apprentissage automatique traite l'assignation des données aux ensembles d'entraînement, de validation et de test comme une étape procédurale plutôt que comme un objet d'analyse causale. Cet article soutient que l'écart standard entre l'entraînement et le test n'est pas un estimand causal pur, car il confond plusieurs interventions distinctes : l'effet d'une observation sur l'ajustement du modèle, l'effet de la sélection de modèle (via la validation) et l'effet de la composition de la mesure (via l'ensemble de test).

De plus, l'évaluation standard ignore l'interférence : comme un modèle ajusté unique est partagé entre toutes les cibles, l'inclusion ou l'exclusion d'une observation modifie les prédictions pour toutes les autres observations. Les méthodes existantes telles que les fonctions d'influence, le Data Shapley et la stabilité algorithmique traitent des aspects spécifiques de la sensibilité ou de la contribution des données, mais ne parviennent pas à intégrer les rôles des données, les politiques de sélection de modèles, les politiques de division et l'interférence dans un système de méta-évaluation causale unifié.

2. Méthodologie : Le cadre « L'entraînement comme traitement »

Le papier propose un cadre de résultats potentiels où les assignations de rôles de données et les choix de pipelines d'apprentissage sont modélisés comme des interventions.

2.1 Configuration formelle

Unités : Observations candidates ( $O_i$ ), groupes ou jeux de données.
Traitements :
- Rôles de données : Chaque observation se voit assigner l'un des cinq rôles suivants : Ajustement ( $F$ ), Validation ( $V$ ), Évaluation ( $E$ ), Audit ( $A$ ), ou Non utilisé ( $U$ ).
- Interventions de pipeline : Algorithme ( $a$ ), hyperparamètres ( $h$ ), graine aléatoire ( $s$ ), curriculum ( $c$ ), poids ( $w$ ) et ordre d'entraînement ( $o$ ).
Résultats : Prédictions potentielles, pertes au niveau du point, métriques agrégées (ex. AUC, équité), étalonnage et robustesse sur une population d'audit fixe et intacte.

2.2 Concepts causaux clés

Interférence : Le modèle ajusté agit comme un mécanisme partagé. Le résultat potentiel pour une cible $j$ dépend de l'ensemble du vecteur d'assignation d'entraînement, et non de sa propre assignation uniquement.
Évaluation propre : Une distinction cruciale est faite : l'assignation d'un point à un ensemble de test « propre » (jamais consulté lors de l'ajustement ou de la sélection) ne modifie pas le modèle appris ; cela change seulement l'endroit où la performance est mesurée.
Cartographie d'exposition : Pour gérer la complexité de l'interférence non restreinte (où les résultats dépendent de $2^n$ assignations), le cadre utilise des cartographies d'exposition de faible dimension (basées par exemple sur la similitude, l'appartenance à un groupe ou l'alignement des gradients) pour résumer les assignations des pairs.

2.3 Estimands causaux

Le cadre définit plusieurs estimands spécifiques :

Effet d'auto-inclusion : Le changement de perte sur une observation $i$ lorsqu'elle est incluse dans l'entraînement par rapport à lorsqu'elle est exclue (mémorisation vs généralisation).
Effet de débordement inter-observations : L'effet de l'inclusion de l'observation $i$ sur la perte d'une cible différente $j$ . Cela construit un « réseau d'influence de l'entraînement causal ».
Effet de généralisation de l'audit : L'effet de l'inclusion de $i$ sur la performance d'une population d'audit externe fixe.
Effets de politique de division : L'impact causal de différentes stratégies de division des données (ex. IID, temporel, groupé) sur la performance de l'audit.
Effets d'interaction : Comment la valeur d'un point de donnée dépend de l'algorithme ou du régime de régularisation spécifique utilisé.

2.4 Designs expérimentaux

Pour identifier ces effets, le papier propose :

Designs à sous-ensembles randomisés : Assignation indépendante des observations à l'ajustement avec une probabilité connue tout en maintenant un ensemble d'audit permanent intact.
Designs de permutation par paires de taille fixe : Remplacement d'un point d'entraînement par un autre tout en gardant le reste de l'ensemble fixe pour estimer les effets marginaux.
Expériences factorielles de pipeline : Croisement des assignations de rôles de données avec les algorithmes, les graines et les politiques d'augmentation pour estimer les interactions.

3. Principales contributions

Formulation causale unifiée : Sépare l'ajustement, la validation, l'évaluation et l'audit en étapes causales distinctes, distinguant l'effet de l'apprentissage d'une observation de l'effet de la mesure de sa performance.
Modélisation sensible à l'interférence : Modélise explicitement le modèle ajusté comme une source d'interférence, permettant l'estimation des effets de débordement et la construction de graphes d'influence causale.
Nouveaux estimands : Introduit des métriques pour l'auto-inclusion, le débordement inter-observations, la généralisation de l'audit et les effets de politique de division, allant au-delà de la simple estimation d'erreur.
Outils de diagnostic : Fournit une base pour la validation croisée causale, le diagnostic de fuite (détecter si un ensemble de test a par inadvertance influencé l'entraînement) et l'analyse de débordement de l'équité.
Estimateurs : Développe des estimateurs basés sur le design (différence de moyennes, Horvitz-Thompson), la régression factorielle parcimonieuse et des estimateurs à faible rang ou régularisés par graphe pour les réseaux d'influence.

4. Résultats empiriques

Le papier présente des résultats expérimentaux utilisant des jeux de données réels (Breast Cancer Wisconsin, Wine) et des simulations contrôlées (propres, bruit de labels, déséquilibre avec caractéristiques spécieuses).

La politique de division comme intervention : Le changement de la politique de division (passant d'un IID stratifié à un holdout par cluster ou un holdout par caractéristique) a provoqué des décalages systématiques et importants de l'AUC rapportée. Dans les simulations, le holdout par cluster a réduit l'AUC d'environ 0,20 pour la régression logistique, tandis que les divisions par caractéristiques ont eu des impacts variables selon le régime de données. Cela démontre que le protocole d'évaluation est une intervention active, et non un dispositif de mesure neutre.
Hétérogénéité des algorithmes : La supériorité d'un algorithme (ex. Forêt Aléatoire vs Régression Logistique) était fortement conditionnée par la politique de division et le régime de données. La Forêt Aléatoire a surpassé la Régression Logistique dans les contextes non linéaires et bruités, mais a moins bien performé sur le jeu de données réel Breast Cancer sous holdout par cluster.
Décomposition de la variance : Dans les simulations avec des données structurées, la politique de division représentait la plus grande fraction de la variation de l'AUC (jusqu'à 59 %), dépassant souvent la variance expliquée par le choix du modèle ou les graines aléatoires.
Interférence au niveau du point : Dans une expérience d'inclusion de points sur le jeu de données Breast Cancer, le retrait de points d'entraînement individuels a provoqué des changements mesurables de la perte log sur un ensemble de test fixe. Certains retraits ont augmenté la perte (indiquant une inclusion utile), tandis que d'autres l'ont diminuée (indiquant une inclusion nuisible ou redondante), confirmant empiriquement l'interférence.

5. Signification et revendications

Le papier affirme que « L'entraînement comme traitement » recadre le pipeline d'apprentissage automatique comme une expérience causale. Sa principale signification réside dans :

Clarification de l'écart de généralisation : Il montre que l'écart observé entre l'entraînement et le test est un mélange d'effets d'auto-inclusion, de composition entraînement-test, d'exposition aux pairs et de décisions de sélection de modèle, et qu'il ne peut donc pas être interprété comme une mesure pure du surapprentissage (overfitting).
Distinction entre mémorisation et transfert : En séparant les effets d'auto-inclusion des effets de généralisation de l'audit, le cadre aide à identifier si un modèle se contente de mémoriser des données ou s'il apprend des motifs transférables.
Évaluation de l'évaluation : Il fournit une base causale pour diagnostiquer si les améliorations de performance rapportées sont dues à un meilleur apprentissage ou simplement à des échantillons de test « plus faciles » résultant de politiques de division favorables ou de biais de sélection.
Acquisition de données sensible aux interventions : Il offre un fondement théorique pour acquérir des données basées sur des effets d'audit causaux plutôt que sur des scores de qualité heuristiques, reconnaissant que la valeur des données est relative à l'apprenant, à la politique de division et à la population d'audit.

L'auteur maintient une position modeste, notant que le réentraînement exact est coûteux, que la cartographie de l'interférence est complexe et que le cadre nécessite une conception expérimentale rigoureuse (par exemple, des ensembles d'audit verrouillés) pour éviter les facteurs de confusion. Le cadre proposé sert d'outil de diagnostic et d'estimation plutôt que de remplacement pour toutes les pratiques d'évaluation existantes.