📈 economics

SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding

L'article présente SplitWise, un nouveau package R qui améliore la régression par étapes en convertissant de manière adaptative les prédicteurs numériques en caractéristiques binaires basées sur des seuils via des arbres de décision peu profonds, uniquement lorsqu'ils améliorent l'ajustement du modèle selon l'AIC ou le BIC, parvenant ainsi à un équilibre entre la capture des relations non linéaires et le maintien de l'interprétabilité du modèle.

Auteurs originaux : Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la performance d'une voiture en fonction de ses caractéristiques, comme la taille du moteur ou le poids. Traditionnellement, les statisticiens utilisent une approche simple de « ligne droite » : ils supposent que si l'on double la taille du moteur, la performance change d'un montant fixe. C'est facile à comprendre, mais c'est souvent faux car la vie réelle n'est pas une ligne droite. Parfois, une voiture ne devient nettement moins performante que lorsque le moteur devient trop gros, ou une caractéristique n'importe qu'après avoir franchi un seuil spécifique.

D'un autre côté, l'apprentissage automatique moderne utilise des méthodes complexes de « boîte noire » (comme les réseaux de neurones profonds) qui peuvent trouver ces motifs étranges et non linéaires. Mais elles sont si compliquées que personne ne peut expliquer pourquoi elles ont fait une prédiction. C'est comme avoir un GPS qui vous donne le bon virage mais refuse de vous montrer la carte.

Entrez dans "SplitWise" : Le meilleur des deux mondes

Le document présente un nouvel outil appelé SplitWise Regression. Voyez cela comme un assistant intelligent et flexible qui vous aide à construire un modèle simple et transparent, capable de gérer les réalités complexes et non linéaires du monde réel.

Voici comment cela fonctionne, en utilisant quelques analogies de la vie quotidienne :

1. L'« Interrupteur Intelligent » (Codage Dummy Adaptatif)

Dans un modèle standard, une variable comme l'« Âge » est traitée comme une ligne continue. SplitWise demande : « Cette variable se comporte-t-elle comme une ligne, ou possède-t-elle un "point de bascule" ? »

Si les données suggèrent que l'« Âge » ne commence à affecter les résultats de santé qu'après 50 ans, SplitWise ne force pas une ligne droite. Au lieu de cela, il crée un interrupteur intelligent. Il transforme la variable « Âge » en une simple question par Oui/Non : « La personne a-t-elle plus de 50 ans ? »

Si Oui, il applique une règle.
Si Non, il en applique une autre (ou aucune règle du tout).

C'est comme un thermostat. Vous n'avez pas besoin de connaître la courbe exacte de la température d'une pièce ; vous avez juste besoin de savoir : « Est-ce au-dessus de 21 degrés ? Si oui, allumez la clim. » SplitWise trouve automatiquement ces « points de bascule » (seuils) dans les données.

2. L'« Comptable Rigoureux » (Sélection par étapes avec AIC/BIC)

Vous pourriez vous inquiéter : « Si nous continuons à ajouter ces interrupteurs "Oui/Non", le modèle ne deviendra-t-il pas trop complexe et déroutant ? »

C'est là qu'intervient le « Comptable Rigoureux » de SplitWise. Avant d'ajouter un nouvel interrupteur au modèle, il vérifie un grand livre comptable appelé AIC ou BIC. Ce sont des scores qui équilibrent deux éléments :

La capacité du modèle à s'ajuster aux données (Précision).
Le nombre de règles du modèle (Complexité).

Si l'ajout d'un nouvel « interrupteur » (comme « La tension artérielle est-elle > 140 ? ») n'améliore pas suffisamment le score pour justifier la complexité supplémentaire, le comptable dit : « Non merci, nous restons simples. » Cela garantit que le modèle final reste facile à lire et à comprendre, évitant ainsi le pièage du « surapprentissage » (overfitting) où un modèle mémorise le bruit au lieu d'apprendre le motif.

3. Les « Deux Façons de Cuisiner » (Itératif vs Univarié)

Le document décrit deux façons dont SplitWise construit le modèle :

Le « Rassemblement d'Équipe » (Mode Itératif) : L'algorithme examine toutes les variables ensemble. Il demande : « Si nous avons déjà la "Taille du Moteur" dans le modèle, l'ajout de "Le Poids est-il > 2000 lbs ?" est-il utile ? » C'est précis et cela tient compte de la façon dont les variables interagissent entre elles.
Le « Scout Solitaire » (Mode Univarié) : L'algorithme examine chaque variable une par une, comme un scout vérifiant les ingrédients individuels. Il décide de la meilleure forme pour chaque ingrédient indépendamment, puis assemble le plat final. C'est plus rapide pour les très grands ensembles de données avec de nombreuses variables.

Ce que le document a découvert

Les auteurs ont testé SplitWise sur des données fictives (où ils connaissaient la « vraie » réponse) et sur des données du monde réel (comme l'efficacité énergétique des voitures, le prix des maisons et la qualité du vin).

Le Résultat : SplitWise a systématiquement construit des modèles qui étaient plus précis que les méthodes traditionnelles de ligne droite et plus simples (moins de variables) que les modèles complexes d'apprentissage automatique.
Le Point d'Équilibre : Il a réussi à capturer les « bosses » et les « sauts » dans les données (non-linéarité) sans transformer le modèle en une boîte noire illisible.
L'Outil : Ils ont publié cela sous la forme d'un package logiciel gratuit (dans le langage de programmation R) afin que n'importe qui puisse l'utiliser.

L'essentiel

Splitwise est comme passer d'une règle rigide à un ruban à mesurer flexible qui peut se fixer exactement aux points où le comportement des données change. Il maintient le modèle assez transparent pour qu'un humain puisse le comprendre (ce qui est idéal pour les médecins, les décideurs politiques ou les ingénieurs qui doivent expliquer leurs décisions) mais assez intelligent pour saisir les relations complexes et non linéaires que les modèles simples manquent.

Ce que le document ne prétend PAS :
Le document se concentre entièrement sur la performance statistique et l'outil logiciel lui-même. Il ne prétend pas que cette méthode a été testée dans des essais cliniques spécifiques, ni qu'elle prédit des résultats médicaux futurs spécifiques ou des krachs boursiers. Il prouve simplement que la méthode mathématique fonctionne mieux que les alternatives existantes pour construire des modèles de régression clairs et précis.

Résumé Technique : SplitWise Regression

Problématique

Dans la modélisation de régression, un défi persistant réside dans la capacité à capturer les relations non linéaires sans sacrifier l'interprétabilité inhérente aux modèles linéaires. La régression linéaire traditionnelle offre une transparence où les coefficients quantifient directement l'influence des prédicteurs, mais échoue à modéliser les effets de seuil ou les non-linéarités complexes (par exemple, les résultats de santé changeant brusquement après un certain âge). Inversement, les méthodes d'apprentissage automatique comme les arbres de décision et les réseaux de neurones peuvent modéliser ces relations complexes, mais produisent souvent des structures de type « boîte noire » qui manquent d'interprétabilité globale, ce qui est crucial dans des domaines à enjeux élevés tels que la santé, la finance et les politiques publiques.

Les approches hybrides existantes, telles que RuleFit ou les méthodes basées sur les arbres avec des composantes linéaires (ex. M5, PILOT), tentent de combler cette lacune. Cependant, elles entraînent souvent des structures de modèles complexes avec de multiples divisions imbriquées ou des composantes d'ensemble qui diminuent la transparence. De plus, les méthodes de sélection par étapes actuelles s'appuient généralement sur des seuils de p-valeur ou des critères d'information, mais ne détectent pas automatiquement les seuils optimaux au sein des variables numériques pour améliorer la robustesse du modèle et réduire le surapprentissage. Il existe un besoin spécifique pour une approche qui introduit la non-linéarité de manière contrôlée — en créant des variables de seuil binaires qui améliorent directement la performance du modèle linéaire tout en préservant la cohérence d'une équation linéaire globale.

Méthodologie

L'article présente SplitWise, un cadre déterministe qui intègre des transformations adaptatives basées sur des seuils dans un processus de régression par étapes. L'innovation centrale est la capacité de déterminer automatiquement si un prédicteur numérique doit entrer dans le modèle en tant que terme linéaire standard ou en tant qu'un ou plusieurs indicateurs binaires (dummies) dérivés de points de coupure basés sur les données.

Modes Algorithmiques

SplitWise opère selon deux modes distincts, utilisant tous deux le critère d'information d'Akaike (AIC) ou le critère d'information bayésien (BIC) pour équilibrer l'ajustement du modèle et la complexité :

Mode Itératif :
- Construit le modèle via une procédure par étapes (progression, régression ou bidirectionnelle).
- À chaque étape, il évalue les prédicteurs exclus pour trouver leur meilleure forme (linéaire ou transformée en dummy) et les prédicteurs actuels pour voir si leur retrait améliore le modèle.
- Les transformations candidates sont générées à l'aide d'arbres de décision peu profonds (via le package rpart) avec une profondeur maximale de deux.
- L'algorithme sélectionne l'action (ajouter, supprimer ou changer de forme) qui produit l'AIC/BIC le plus bas.
- Ce mode prend en compte les interactions entre variables et les effets conjoints, offrant généralement une plus grande précision.
Mode Univarié :
- Évalue chaque prédicteur indépendamment pour déterminer sa représentation optimale (nulle, linéaire, dummy à division unique ou dummy à double division).
- Utilise la même logique d'arbre peu profond pour identifier les points de division optimaux.
- Sélectionne la meilleure transformation pour chaque variable basée sur l'AIC/BIC avant d'assembler un modèle final via un processus de sélection par étapes ultérieur.
- Ce mode est conçu pour la scalabilité dans les données de haute dimension.

Implémentation Logicielle

La méthode est implémentée sous la forme d'un package R open-source (SplitWise). Elle dépend minimalement de dépendances externes, utilisant principalement des fonctions de base R (lm, step) et le package rpart pour la division par arbre. Le package produit un objet de modèle de régression standard (splitwise_lm) qui conserve une structure linéaire mais inclut des métadonnées détaillant les points de coupure spécifiques et les encodages dummy (ex. $I(\text{pression artérielle} > 140)$ ), garantissant que le modèle final reste lisible par l'humain et auditable.

Contributions Clés

Encodage Dummy Adaptatif : Contrairement à la régression par étapes traditionnelle qui traite les variables comme des termes linéaires fixes, SplitWise convertit dynamiquement les prédicteurs numériques en caractéristiques de seuil binaires si cela améliore le critère d'information.
Préservation de l'Interprétabilité : Le modèle résultant est une équation linéaire globale augmentée d'un petit nombre de caractéristiques seuillées. Cela évite la complexité des ensembles d'arbres complets tout en capturant les non-linéarités pertinentes.
Parsimonie et Stabilité : Le cadre est conçu pour produire des modèles parcimonieux. En utilisant l'AIC/BIC pour la sélection, il vise à prévenir le surapprentissage et à garantir que seules les transformations significatives sont conservées.
Outils Open-Source : La publication du package R SplitWise fournit un outil reproductible et convivial permettant aux analystes d'appliquer ces méthodes sans avoir à implémenter manuellement des algorithmes complexes de recherche d'arbres.

Résultats Expérimentaux

Les auteurs ont évalué SplitWise par rapport à la régression par étapes classique, à la sélection du meilleur sous-ensemble et aux techniques de régression pénalisée (LASSO, Ridge, Elastic Net) en utilisant des jeux de données synthétiques et réels.

Jeux de Données Synthétiques

Performance : À travers des jeux de données de 15, 30 et 60 prédicteurs, SplitWise (particulièrement dans les configurations itératives) a systématiquement obtenu l'erreur quadratique moyenne (RMSE) la plus faible et le $R^2$ ajusté le plus élevé.
Sélection de Modèle : Il a produit les valeurs AIC et BIC les plus basses dans la plupart des scénarios, indiquant un compromis supérieur entre ajustement et complexité.
Parsimonie : SplitWise a identifié des modèles très parsimonieux (ex. 4–5 variables dans le contexte de 15 prédicteurs) tout en maintenant une précision élevée, alors que les méthodes traditionnelles par étapes et pénalisées ont souvent sélectionné des modèles plus larges pour des performances similaires ou inférieures.
Stabilité : La méthode a démontré une grande stabilité (proportion de fois où les mêmes prédicteurs ont été sélectionnés lors des cycles de rééchantillonnage), atteignant souvent 1,00, tandis que les méthodes par étapes traditionnelles montraient une stabilité moindre dans les dimensions plus élevées.

Jeux de Données Réels

Évalué sur cinq jeux de données (Bodyfat, Boston Housing, Mtcars, Wine Quality Red/White) :

Précision Prédictive : SplitWise (itératif) a systématiquement atteint la RMSE la plus faible dans des jeux de données complexes comme Boston Housing et Wine Quality.
Sélection de Variables : Il a obtenu ces résultats avec un nombre de prédicteurs inférieur ou comparable aux méthodes traditionnelles. Par exemple, dans le jeu de données Wine Quality (Red), il a surpassé les autres avec seulement 7 variables.
Comparaison : Bien que les méthodes par étapes traditionnelles restent compétitives dans les jeux de données de faible dimension (ex. Bodyfat), elles ont peiné en termes d'efficacité et de stabilité dans des scénarios plus complexes. Les méthodes pénalisées étaient efficaces en calcul mais restaient généralement en retrait en termes de RMSE et de $R^2$ ajusté.

Signification et Revendications

L'article affirme que SplitWise offre une solution pratique pour les domaines où la haute performance prédictive et l'interprétabilité sont non négociables. En mélangeant la rigueur de la sélection de modèles et le seuillage adaptatif, il permet aux analystes de modéliser les non-linéarités sans recourir à des ensembles de machine learning opaques.

Les auteurs positionnent SplitWise comme un outil qui « produit systématiquement des modèles plus parsimonieux et généralisables que les techniques de régression traditionnelles par étapes et pénalisées ». Ils soulignent que la méthode permet la découverte de points de rupture significatifs dans les variables continues tout en maintenant la transparence d'une régression linéaire globale. Les auteurs notent que bien que la méthode soit efficace, il s'agit d'un cadre déterministe destiné à améliorer, et non à remplacer, l'interprétabilité de la modélisation linéaire, ce qui le rend adapté à la santé, l'économie et les sciences sociales. Les travaux futurs identifiés consistent à étendre le cadre à Python, aux modèles linéaires généralisés et aux séries temporelles, ainsi qu'à développer des variantes accélérées pour les contextes de très haute dimension.