📊 statistics

Transporting Predictions via Double Machine Learning: Predicting Partially Unobserved Students' Outcomes

Cette étude propose un cadre méthodologique fondé sur l'apprentissage automatique double pour améliorer la transportabilité des prédictions d'outcomes étudiants entre populations source et cible en présence de décalage de covariables, bien que l'application aux scores de littératie financière ait révélé un décalage limité dans ce contexte spécifique.

Auteurs originaux : Falco J. Bargagli-Stoffi, Emma Landry, Kevin P. Josey, Kenneth De Beckker, Joana E. Maldonado, Kristof De Witte

Publié 2026-04-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Falco J. Bargagli-Stoffi, Emma Landry, Kevin P. Josey, Kenneth De Beckker, Joana E. Maldonado, Kristof De Witte

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Problème : La Recette qui ne fonctionne pas partout

Imaginez que vous êtes un chef étoilé (le chercheur) qui a une recette secrète pour faire le meilleur gâteau du monde (prédire les résultats scolaires). Vous avez testé cette recette des milliers de fois dans votre propre cuisine, la région de Flandre en Belgique. Là-bas, tout fonctionne parfaitement : vos gâteaux sont délicieux, et vous savez exactement quels ingrédients (les notes en maths, le niveau des parents, l'école) donnent le meilleur résultat.

Maintenant, vous voulez ouvrir une succursale dans une autre région, la Wallonie. Mais il y a un problème : dans cette nouvelle région, on n'a pas encore goûté les gâteaux (les scores de littératie financière des élèves sont inconnus). Vous voulez utiliser votre recette de Flandre pour prédire comment seront les gâteaux en Wallonie.

Le souci ? Les ingrédients ne sont pas exactement les mêmes.

En Flandre, vous avez peut-être beaucoup de farine de haute qualité (des écoles avec beaucoup d'ordinateurs).
En Wallonie, la farine est un peu différente (des écoles avec moins de ressources).

Si vous utilisez votre recette de Flandre telle quelle, vous risquez de faire un gâteau qui n'est pas tout à fait adapté au goût local. C'est ce que les chercheurs appellent le "décalage des covariables" (covariate shift) : quand les données d'entraînement (Flandre) et les données de test (Wallonie) ne viennent pas du même "univers".

🛠️ La Solution : La Balance Magique (Double Machine Learning)

Pour résoudre ce problème, les auteurs proposent une méthode intelligente qu'ils appellent le "Double Machine Learning". Voici comment cela fonctionne, avec une analogie simple :

Imaginez que vous avez un tas de photos de vos clients de Flandre. Vous voulez prédire le goût du gâteau pour les clients de Wallonie.

Le Premier Pas (La Loupe) : Vous prenez une "loupe" (un algorithme) pour regarder chaque photo de client de Flandre. Vous vous demandez : "Est-ce que ce client ressemble plus à un habitant de Flandre ou à un habitant de Wallonie ?"
Le Deuxième Pas (La Balance) :
- Si un client de Flandre ressemble énormément à un Wallon, vous dites : "Super ! Cette personne est très représentative. Je vais écouter sa recette de très près." (On lui donne un poids lourd).
- Si un client de Flandre est très différent (par exemple, il a des outils que les Wallons n'ont pas), vous dites : "Attends, cette personne est un peu hors sujet. Je vais écouter sa recette, mais moins fort." (On lui donne un poids léger).

C'est ce qu'on appelle le rééquilibrage. On ne jette pas les données de Flandre, on les "pondère" pour qu'elles ressemblent plus à la réalité de Wallonie. C'est comme si vous ajustiez la recette en temps réel pour qu'elle colle mieux au public local.

🧪 L'Expérience : Est-ce que ça marche vraiment ?

Les chercheurs ont appliqué cette méthode à des données réelles de l'OCDE (PISA) sur la littératie financière (la capacité des élèves à gérer leur argent).

L'objectif : Prédire les scores financiers des élèves wallons en utilisant les données des élèves flamands.
Le résultat surprenant : Dans ce cas précis, la méthode "magique" (avec la balance) n'a pas vraiment amélioré les prédictions par rapport à la recette simple.
- Pourquoi ? Parce que, en réalité, les élèves de Flandre et de Wallonie sont assez similaires. Le "décalage" n'était pas si grand que ça.
- La leçon : Parfois, ajouter de la complexité (la balance) n'est pas nécessaire si les deux groupes sont déjà proches. La recette simple fonctionne très bien.

Cependant, le papier montre que si les deux régions avaient été très différentes (par exemple, prédire les scores d'un pays européen avec des données d'un pays africain), cette méthode de balance aurait été cruciale pour éviter des erreurs grossières.

🔍 La Chasse aux "Élèves à Risque"

Au-delà de la prédiction, l'outil a permis de faire quelque chose de très utile pour les décideurs politiques : repérer les élèves en danger.

En utilisant une technique bayésienne (qui permet de dire "je suis sûr à 95% que..."), les chercheurs ont pu identifier les élèves dont le score financier prédit était anormalement bas.

Qui sont-ils ?

Les élèves qui ont des difficultés en lecture et en maths.
Les élèves dont la langue parlée à la maison n'est pas celle de l'école.
Les élèves dont les parents ont un niveau d'études plus faible.

C'est comme si la recette permettait non seulement de prédire le goût du gâteau, mais aussi de dire : "Attention, ce groupe d'élèves a besoin d'un peu plus de sucre (d'aide) pour réussir."

💡 En Résumé

Le but : Utiliser des données d'une région pour prédire ce qui se passe dans une autre région où les données manquent.
Le défi : Les deux régions ne sont pas identiques, ce qui fausse les prédictions.
La méthode : Utiliser une "balance" pour donner plus d'importance aux élèves qui ressemblent au groupe cible et moins à ceux qui sont trop différents.
Le verdict : Dans le cas de la Belgique, les régions sont assez proches, donc la méthode simple fonctionne déjà très bien. Mais cette technique est un outil puissant et prêt à l'emploi pour des situations où les différences sont plus grandes (santé, économie, etc.).

C'est une démonstration de comment l'intelligence artificielle peut aider à combler les trous dans nos connaissances, tout en restant honnête sur ses limites et en identifiant ceux qui ont le plus besoin d'aide.

1. Problématique et Contexte

Le défi du déplacement de covariables (Covariate Shift) :
Les décideurs politiques dans le domaine de l'éducation font souvent face à un manque de données sur les résultats des élèves (par exemple, les scores de tests standardisés) dans certaines populations cibles, tandis que des données complètes existent pour une population source. L'utilisation de modèles d'apprentissage automatique (Machine Learning - ML) entraînés sur la population source pour prédire les résultats dans la population cible pose un problème majeur : le déplacement de covariables.

Ce phénomène se produit lorsque la distribution des variables explicatives (covariables) diffère entre la population source et la population cible, même si la relation conditionnelle entre les covariables et le résultat reste inchangée. Si ce décalage n'est pas pris en compte, les prédictions peuvent devenir biaisées et moins précises, car le modèle s'appuie sur des observations qui ne sont pas représentatives de la cible.

Cas d'étude :
L'article illustre ce problème avec les données PISA 2015 de la Belgique. Les scores de littératie financière (FLS) sont observés pour les élèves de la région de Flandre (population source), mais sont manquants pour les élèves de la région de Wallonie (population cible). Les auteurs cherchent à prédire ces scores manquants tout en gérant les différences socio-économiques et éducatives entre les deux régions.

2. Méthodologie : Double Apprentissage Automatique (Double Machine Learning - DML)

Les auteurs proposent un cadre méthodologique basé sur le Double Machine Learning pour transporter les prédictions en présence de déplacement de covariables. L'approche se déroule en deux étapes principales :

A. Estimation des Scores de Chevauchement (Overlap Scores)

La première étape consiste à estimer la probabilité qu'une observation appartienne à la population source ( $S=1$ ) plutôt qu'à la cible ( $S=0$ ), conditionnellement aux covariables $X$ .

Modèle : Un modèle de classification (régression logistique ou forêts aléatoires) est entraîné pour prédire l'appartenance à la population ( $S$ ) en fonction des caractéristiques $X$ .
Score : On obtient $\hat{P}(S=1|X)$ , appelé score de chevauchement.

B. Calcul des Poids d'Importance (Importance Weights)

Pour aligner la distribution de la source sur celle de la cible, les auteurs calculent des poids de rééquilibrage (balancing weights) basés sur le rapport de densité :
$\omega_i = \frac{\hat{P}(S=0|X_i)}{\hat{P}(S=1|X_i)} = \frac{1 - \hat{P}(S=1|X_i)}{\hat{P}(S=1|X_i)}$
Ces poids sont utilisés pour réécrire la fonction de perte du modèle de prédiction. Les observations de la source qui ressemblent peu à la cible (faible chevauchement) sont pénalisées (poids faibles), tandis que celles qui sont représentatives de la cible sont surpondérées.

C. Modèle de Prédiction : BART

Le modèle de prédiction final utilise des Arbres de Régression Additifs Bayésiens (BART).

Avantages du BART : C'est une méthode non paramétrique flexible qui gère bien les interactions complexes et les non-linéarités.
Intégration des poids : Dans le cadre bayésien, l'application de poids d'importance équivaut à ajuster la variance de l'erreur pour chaque observation ( $\sigma^2_i = \sigma^2 / \omega_i$ ).
Avantage supplémentaire : La nature bayésienne permet d'obtenir des intervalles de crédibilité pour chaque prédiction individuelle, facilitant la détection d'outliers et l'analyse d'incertitude.

3. Contributions Clés

Cadre théorique pour le transport de prédictions : L'article formalise l'application du DML au problème de prédiction (et non seulement d'inférence causale) pour corriger le biais dû au déplacement de covariables.
Intégration de BART avec pondération : Ils démontrent comment intégrer des poids d'importance dans un cadre bayésien (BART) pour une estimation robuste et une quantification de l'incertitude.
Détection d'outliers prédictifs : Utilisation de la distribution prédictive postérieure pour identifier les élèves dont les scores prédits sont extrêmes (en dehors des intervalles de crédibilité), permettant de cibler les interventions.
Première application du ML supervisé en littératie financière : Introduction de techniques de ML avancées pour prédire les scores de littératie financière dans la littérature éducative.

4. Résultats Principaux

A. Performance Prédictive et Impact du Déplacement

Performance globale : Le modèle BART (non pondéré) atteint une performance élevée avec un $R^2$ ajusté d'environ 73% et des erreurs (RMSE, MAE) faibles pour la prédiction des scores de littératie financière.
Comparaison Pondéré vs Non Pondéré : Contrairement aux simulations théoriques où la pondération améliore les résultats en cas de fort déplacement, dans cette application empirique, le modèle pondéré n'améliore pas la précision par rapport au modèle standard non pondéré.
- Explication : Les scores de chevauchement sont fortement concentrés vers 1, ce qui signifie que les distributions de Flandre et de Wallonie partagent un support commun suffisant. La pondération introduit du bruit (variance) sans réduire significativement le biais, dégradant légèrement les performances.
- Conclusion : Le modèle BART est suffisamment robuste pour transporter les prédictions de Flandre vers la Wallonie sans ajustement complexe dans ce contexte spécifique.

B. Analyse des Caractéristiques des Élèves Vulnérables

En utilisant les prédictions du modèle BART, les auteurs identifient les profils d'élèves à risque de faibles scores de littératie financière :

Compétences académiques : Les scores faibles en lecture et en mathématiques sont les prédicteurs les plus forts d'une faible littératie financière.
Contexte familial :
- Les élèves dont la langue scolaire n'est pas parlée à la maison sont plus à risque.
- En Flandre, le statut d'immigrant de première génération augmente significativement la probabilité d'avoir un faible score.
- Le niveau d'éducation des parents (surtout la mère) joue un rôle déterminant.
Outils d'analyse : Des arbres de décision conditionnels (Conditional Inference Trees) ont permis de visualiser ces interactions complexes et de segmenter les populations à risque.

5. Signification et Implications

Pour la recherche : L'article met en garde contre l'application aveugle de méthodes de correction de déplacement de covariables. Il montre que si le chevauchement entre les populations est suffisant, les modèles flexibles comme BART peuvent être robustes sans pondération, évitant ainsi l'inflation de variance inutile.
Pour les politiques publiques :
- La méthode permet de combler les lacunes de données (ex: régions sans test de littératie financière) avec une confiance statistique mesurée (intervalles de crédibilité).
- L'identification des profils à risque (faibles scores en lecture/math + contexte familial défavorisé) permet aux décideurs de concevoir des interventions ciblées (ex: programmes de soutien spécifiques pour les élèves immigrants ou issus de milieux peu scolarisés).
Généralisation : Bien que l'étude porte sur la Belgique, le cadre méthodologique est applicable à d'autres sciences sociales et de la santé où les données de source et de cible diffèrent.

En résumé, cette étude propose une approche rigoureuse pour le transport de prédictions, validant l'efficacité du BART tout en soulignant l'importance de diagnostiquer le chevauchement des populations avant d'appliquer des corrections complexes.