Résumé technique : Optimiser l'apprentissage automatique dans les ensembles de données tabulaires en sciences sociales

Énoncé du problème

L'apprentissage automatique offre des outils puissants pour identifier des interactions complexes et des motifs non linéaires en sciences sociales, pourtant la performance prédictive reste souvent faible, particulièrement lors de l'utilisation de petits échantillons de taille réduite, fréquents dans les enquêtes et les études sur des événements rares. Dans le cadre du défi Predicting Fertility (PreFer), les chercheurs avaient pour tâche de prédire les naissances et les adoptions en utilisant des données d'enquêtes et administratives néerlandaises. Le défi central abordé dans cet article est la manière d'améliorer la précision prédictive dans les ensembles de données tabulaires de sciences sociales où les tailles d'échantillons sont limitées et où le nombre de variables disponibles peut être insuffisant pour capturer toute la complexité du résultat.

Les auteurs cadrent le problème à travers le prisme de deux sources d'erreur de prédiction :

1. Erreur d'apprentissage (Learning Error) : L'écart entre les prédictions et la véritable moyenne conditionnelle pour des individus identiques, causé par l'incapacité du modèle à apprendre la relation entre les variables et les résultats. Cela est souvent exacerbé par de petits échantillons.
2. Erreur irréductible (Irreducible Error) : L'écart entre la véritable moyenne conditionnelle et le résultat réel pour des individus identiques, qui ne peut être réduit qu'en modifiant l'ensemble des variables (c'est-à-dire en ajoutant des informations pertinentes supplémentaires).

Méthodologie

Les auteurs ont employé deux stratégies spécifiques d'ingénierie des données pour créer efficacement « plus » de données, traitant à la fois l'erreur d'apprentissage (via l'expansion de la taille de l'échantillon) et l'erreur irréductible (via l'expansion des variables). Ces stratégies ont été appliquées aux données de l'enquête longitudinale Longitudinal Internet studies for the Social Sciences (LISS).

1. Augmentation des données par décalage temporel (Time-Shift Data Augmentation)

Cette stratégie traite l'erreur d'apprentissage en augmentant artificiellement la taille de l'échantillon.

• Concept : En exploitant la nature longitudinale des données de panel, les auteurs ont réutilisé des observations de périodes antérieures pour créer des cas d'entraînement supplémentaires.
• Mise en œuvre :
  • Le jeu de données original était au format « large » (une ligne par individu avec plusieurs années de données). Les auteurs ont pivoté ce format vers un format « long » où chaque ligne représente une entité-temps-période (un « personne-année »).
  • Ils ont calculé les résultats pour une période de trois ans antérieure (2018–2020) et ont ajouté ces données comme nouvelles lignes à l'ensemble d'entraînement.
  • Alignement temporel : Les variables ont été systématiquement renommées et décalées de trois ans vers l'avant pour maintenir la relation temporelle correcte entre les prédicteurs et les résultats. Par exemple, une variable d'intention de fertilité de 2017 a été renommée pour correspondre à la variable de 2020, car les deux représentaient des intentions mesurées un an avant leurs fenêtres de résultats respectives.
  • Ajustements de valeurs : Les valeurs dépendantes du temps (ex. : années de naissance) ont été ajustées en ajoutant trois ans. Les valeurs monétaires (ex. : revenu) ont été ajustées à l'aide de l'indice des prix à la consommation pour tenir compte de l'inflation.
  • Atténuation de la dérive (Drift Mitigation) : Pour traiter la potentielle « dérive temporelle » (changements dans les modèles de données au fil du temps), une variable binaire a été ajoutée pour indiquer si une ligne provenait de la période originale ou de la période décalée, permettant au modèle d'apprendre les différences systématiques.
• Résultat : Cette stratégie a presque triplé la taille de l'échantillon, passant de 987 à 2 839.

2. Liaison de partenaires (Partner Linkage)

Cette stratégie traite l'erreur irréductible en augmentant le nombre de variables.

• Concept : De nombreux ensembles de données en sciences sociales stockent les membres du foyer dans des lignes distinctes, empêchant les modèles d'utiliser les informations concernant les conjoints ou les partenaires de cohabitation lors de la prédiction du résultat d'un individu.
• Mise en œuvre :
  • Les auteurs ont identifié les partenaires au sein de l'enquête LISS en utilisant les identifiants de ménage et les étiquettes de position relationnelle (ex. : « partenaire marié », « partenaire non marié »).
  • Des filtres stricts ont été appliqués pour garantir l'exactitude des appariements, incluant le recoupement des auto-déclarations de cohabitation et la vérification que les genres et les années de naissance déclarés correspondaient entre les partenaires.
  • Une fois liés, les variables des réponses de l'enquête du partenaire (ex. : intentions de fertilité, visites chez le gynécologue, année de naissance) ont été fusionnées dans la ligne de la personne concernée.
  • La liaison n'a été effectuée que lorsque les deux partenaires présentaient des résultats non manquants afin d'assurer la cohérence entre les ensembles d'entraînement et de test.
• Réside : Les données des partenaires ont été liées avec succès pour environ 35 % de toutes les personnes-années avec partenaires, ajoutant 14 variables spécifiques au partenaire au modèle.

Modèle et évaluation

• Algorithme : Le modèle principal utilisé était XGBoost (un cadre de boosting de gradient) avec un réglage des hyperparamètres par recherche par grille (grid search). Une régression logistique a également été testée comme preuve de concept.
• Ingénierie des variables : Au-delà des deux stratégies principales, les auteurs ont construit des échelles pour des attitudes abstraites (ex. : attitudes traditionnelles face à la fertilité) et des données « coalescées » dans le temps (sélectionnant la valeur la plus récente pour les mesures répétées).
• Validation : L'étude a utilisé une validation croisée à 5 plis (5-fold cross-validation). Crucialement, pour éviter la fuite de données (data leakage) et la dérive temporelle, les données décalées dans le temps n'ont été incluses que dans les plis d'entraînement, et non dans les plis de test. Les membres d'un même ménage ont été maintenus dans le même pli pour éviter toute fuite d'information.
• Métriques : La performance a été évaluée via le $R^2_{CV}$ (R-carré de validation croisée), le score F1 et d'autres métriques standards. Les intervalles de confiance ont été générés par bootstrapping.

Résultats clés

L'étude démontre que les deux stratégies d'ingénierie des données améliorent, indépendamment et conjointement, la performance prédictive :

1. Performance de base (Baseline) : En utilisant l'ensemble d'entraînement original (987 cas), le modèle XGBoost a atteint un $R^2_{CV}$ de 0,543.
2. Impact individuel des stratégies :
   • Liaison de partenaires : A augmenté le $R^2_{CV}$ à 0,557 (+0,013). Les auteurs notent que ce gain est modeste, en partie parce que les données des partenaires ne pouvaient être fusionnées que pour ~35 % des individus en couple.
   • Augmentation par décalage temporel : A augmenté le $R^2_{CV}$ à 0,581 (+0,037).
3. Impact combiné : L'application des deux stratégies ensemble a porté le $R^2_{CV}$ à 0,591, soit une amélioration de +0,047 par rapport à la base.
4. Magnitude contextuelle :
   • L'amélioration combinée de +0,047 représentait environ 30 % du gain de performance total réalisé par le modèle gagnant par rapport à une simple base de référence sur les « intentions de fertilité ».
   • Le gain provenant des stratégies combinées était supérieur au gain obtenu par le seul réglage des hyperparamètres (qui a amélioré la performance d'environ 0,023).
   • En termes de la métrique principale de la compétition (score F1), les stratégies combinées ont amélioré la performance de 0,030, une différence presque aussi grande que l'écart entre le modèle gagnant et le second.
5. Généralisabilité : Les stratégies ont également amélioré la performance lorsqu'elles étaient appliquées à un modèle de régression logistique avec des variables de base et à un modèle de régression logistique avec l'ensemble complet des variables, suggérant que les bénéfices ne sont pas spécifiques aux modèles basés sur les arbres.

Signification et affirmations

L'article affirme que la performance gagnante dans le défi PreFer a été portée non pas par une architecture de modèle innovante (les auteurs ayant utilisé un modèle XGBoost standard), mais par une ingénierie créative des données qui a transformé les données existantes en effectivement « plus » de données.

• Utilité pratique : Les auteurs soutiennent que ces stratégies sont largement applicables à un large éventail d'ensembles de données en sciences sociales, y compris les enquêtes longitudinales et les dossiers administratifs, particulièrement là où les tailles d'échantillons sont réduites.
• Traitement des sources d'erreur : Ce travail constitue un cas d'étude concret de la manière de traiter simultanément l'erreur d'apprentissage (via l'expansion de la taille de l'échantillon) et l'erreur irréductible (via l'expansion des variables).
• Gestion des données (Data Stewardship) : L'article conclut par des recommandations pour que les gestionnaires de données structurent les données dans des formats exploitables par les machines (ex. : nommage cohérent des variables à travers les vagues, identifiants de ménage clairs) afin de faciliter de telles techniques d'augmentation.
• Modestie des affirmations : Les auteurs restent modestes, reconnaissant que les bénéfices de ces stratégies dépendent de la tâche de prédiction spécifique. Ils notent que la dérive temporelle peut réduire l'utilité de l'augmentation par décalage temporel dans des contextes changeant rapidement, et que la liaison de partenaires peut mener au surapprentissage (overfitting) si les caractéristiques du partenaire sont non pertinentes pour le résultat. Ils suggèrent que la « malédiction de la dimensionnalité » associée à l'ajout de variables pourrait être atténuée par l'augmentation de la taille de l'échantillon fournie par le décalage temporel.

En résumé, l'article postule que les chercheurs en sciences sociales disposent souvent de plus de données qu'ils ne le réalisent, et qu'une augmentation et une liaison stratégiques peuvent considérablement améliorer la performance de l'apprentissage automatique dans les contextes tabulaires des sciences sociales.