Piece-wise linear isotonic regression

Résumé Technique : Régression Isotone Linéaire par Morceaux

Énoncé du Problème
La régression isotone offre une méthode flexible, sans réglage de paramètres, pour estimer des fonctions monotones sans imposer de contraintes de courbure globale (par exemple, la concavité). Cependant, l'estimateur standard des Moindres Carrés Non Paramétriques Isotones (MCNPI) produit une fonction en escalier. Bien que robuste et consistante, cette fonction en escalier est intrinsèquement non différentiable. Par conséquent, elle ne peut fournir de propriétés marginales significatives essentielles pour l'analyse économique et opérationnelle, telles que les prix shadow ou les élasticités. Les techniques de lissage standard, telles que l'interpolation convexe globale, sont inadaptées car elles réimposeraient les contraintes de courbure globale (comme la concavité) que l'estimateur MCNPI a été spécifiquement conçu pour assouplir, effaçant ainsi les non-convexités locales (par exemple, les courbes en forme de S) identifiées dans les données.

Méthodologie
Les auteurs proposent un nouveau cadre de Régression Isotone Linéaire par Morceaux, dénommé MCNPI-CC (MCNPI Conditionnellement Convexe), pour combler le fossé entre la nature en fonction en escalier du MCNPI et le besoin d'estimations marginales continues et différentiables. La méthodologie se déroule en trois étapes :

1. Identification des Points d'Ancrage : Le processus commence par l'estimation MCNPI standard, qui produit une fonction en escalier avec des valeurs ajustées constantes sur des blocs spécifiques d'observations. Les auteurs définissent un ensemble de « points d'ancrage » représentant ces blocs. Deux stratégies sont employées pour déterminer le vecteur de coordonnées de chaque ancre :

   • Sommets : Les minimums composant par composant des observations au sein d'un bloc.
   • Centroïdes : La moyenne ou la médiane des observations au sein d'un bloc.

2. Formulation de la Convexité Conditionnelle : Pour lisser la fonction en escalier tout en préservant les non-convexités locales, les auteurs adaptent le concept de convexité conditionnelle (à l'origine issu de l'analyse de frontière déterministe en Analyse Enveloppe des Données). Un ensemble de points est conditionnellement convexe si les facettes linéaires locales utilisées pour l'interpolation ne « dominent » aucun point d'ancrage existant. Cela garantit que le processus de lissage respecte les variations de forme locales, telles que les points d'inflexion dans les courbes en forme de S, plutôt que de les franchir avec une surface globalement concave.

3. Programmation Bi-niveau et Reformulation Mononiveau : Le processus de lissage est formulé comme un problème d'optimisation bi-niveau :

   • Problème du Leader : Construit une prédiction pour une entrée donnée en trouvant une combinaison convexe de points d'ancrage qui maximise la valeur de réponse tout en garantissant que les ancres sélectionnées forment une facette locale valide.
   • Problème du Suiveur : Agit comme un test rigoureux pour vérifier que la facette proposée ne domine aucun autre point d'ancrage existant (c'est-à-dire qu'elle ne franchit pas les non-convexités locales).

   Pour rendre le problème traitable computationnellement, les auteurs reformulent cette structure bi-niveau en un problème de Programmation Linéaire en Nombres Entiers Mixtes (PLIM) mononiveau. Cela est réalisé par :

   • La linéarisation des conditions exactes de coplanarité à l'aide de contraintes Big-M et de variables de sélection binaires.
   • Le remplacement du problème du suiveur par ses conditions de dualité forte (égalisant les objectifs primal et dual), évitant ainsi le besoin de conditions complexes de Karush-Kuhn-Tucker (KKT).

Contributions Clés

• Cadre de Lissage Novel : L'article introduit une méthode pour récupérer des surfaces de régression continues et linéaires par morceaux à partir de fonctions en escalier MCNPI sans imposer de contraintes de courbure globale.
• Récupération des Propriétés Marginales : L'approche permet le calcul direct des propriétés marginales (prix shadow, élasticités) dans des contextes non convexes, une capacité précédemment indisponible avec les estimateurs isotones standards.
• Efficacité Computationnelle : En exploitant la dualité forte pour réduire le problème bi-niveau en un PLIM mononiveau, la méthode permet un calcul exact utilisant des solveurs standards (par exemple, CPLEX, Gurobi).
• Préservation de la Forme : L'utilisation de la convexité conditionnelle garantit que les non-convexités locales (par exemple, les motifs en forme de S) identifiées par l'étape initiale MCNPI sont préservées plutôt que lissées.

Résultats
Les auteurs évaluent l'estimateur MCNPI-CC par le biais de simulations de Monte Carlo et d'une application empirique :

• Simulations de Monte Carlo :

  • Scénarios : L'étude teste l'estimateur sur des processus générateurs de données non convexes (logistiques/en forme de S) et globalement concaves (Cobb-Douglas) dans des contextes univariés et multivariés avec des niveaux de bruit variables.
  • Performance : Les estimateurs MCNPI-CC (variantes sommets et centroïdes) surpassent constamment la fonction en escalier MCNPI non lissée standard en termes d'Erreur Quadratique Moyenne (EQM) hors échantillon.
  • Réduction du Biais : Les techniques de lissage proposées atténuent efficacement le fort biais négatif inhérent à l'estimateur MCNPI non lissé.
  • Robustesse : Le choix entre les points d'ancrage sommets et centroïdes a un impact négligeable sur la précision prédictive, suggérant que le gain principal provient du principe de convexité conditionnelle lui-même.
  • Gains Multivariés : L'amélioration de la précision est particulièrement prononcée dans les contextes multivariés et les environnements à fort bruit.

• Application Empirique (Municipalités Finlandaises) :

  • La méthode est appliquée pour estimer les économies d'agglomération en modélisant la relation entre la population municipale et la disponibilité des emplois.
  • L'estimateur MCNPI-CC a fourni des prédictions précises hors échantillon et a généré avec succès des courbes de régression continues.
  • Crucialement, l'application a démontré la capacité d'estimer les élasticités d'échelle de manière non paramétrique, une tâche impossible avec le MCNPI en fonction en escalier.

Signification et Revendications
L'article revendique que le cadre MCNPI-CC répond à une limitation fondamentale de la régression isotone : l'incapacité d'évaluer les effets marginaux en raison de la non-différentiabilité. En intégrant la convexité conditionnelle, les auteurs démontrent qu'il est possible de construire une surface continue, monotone et linéaire par morceaux qui préserve strictement les variations de forme locales et les non-convexités.

Les auteurs affirment que cette approche facilite non seulement le calcul des prix shadow et des élasticités, mais améliore également systématiquement la précision globale de l'estimation par rapport à l'estimateur MCNPI standard. Ils notent que la méthode est robuste face à différentes formes fonctionnelles (à la fois non convexes et concaves) et dimensions de données. Bien que l'article reconnaisse que la charge computationnelle augmente avec la taille de l'échantillon et la dimensionalité, il postule que la reformulation PLIM mononiveau rend l'approche pratiquement viable pour les jeux de données standards. L'étude conclut que le principe de convexité conditionnelle est un outil robuste pour le lissage préservant la forme en régression non paramétrique.