Slope Consistency of Quasi-Maximum Likelihood Estimator for Binary Choice Models

Cet article comble une lacune théorique en fournissant une preuve formelle de la consistance de la pente de l'estimateur du maximum de vraisemblance partiel pour les modèles de choix binaires, confirmant ainsi que la régression logistique peut estimer de manière cohérente le coefficient de pente sous les mêmes conditions que celles identifiées par Manski.

L'essentiel

🎯 Le Titre : "La Boussole qui ne se trompe pas (même si la carte est fausse)"

Imaginez que vous êtes un explorateur (un chercheur) qui veut cartographier un territoire inconnu (les données du monde réel). Votre objectif est de trouver la direction exacte des montagnes (les coefficients de pente). Pour cela, vous utilisez une boussole très populaire appelée Régression Logistique.

Le problème ? Cette boussole a été conçue pour un type de terrain spécifique (une distribution d'erreur "logistique"). Mais dans la réalité, le terrain est souvent différent (les erreurs ne suivent pas cette règle parfaite). En théorie, si vous utilisez une boussole conçue pour le désert sur une jungle, elle devrait vous donner une direction fausse.

La grande question de ce papier est :

"Même si notre boussole (le modèle) est mal calibrée pour le terrain réel, peut-elle quand même nous indiquer la bonne direction (la pente), même si elle ne nous donne pas la bonne distance exacte ?"

La réponse des auteurs (Chang, Park et Yan) est un grand OUI, à certaines conditions.

---

🧭 L'Analogie de la Boussole et du Terrain

1. Le Problème : La Boussole "Quasi"

Dans le monde des statistiques, on utilise souvent la Régression Logistique pour prédire des résultats binaires (Oui/Non, 1/0). C'est comme une boussole standard.

• La réalité : Parfois, les données ne suivent pas la règle parfaite de cette boussole. C'est ce qu'on appelle un "estimation de vraisemblance quasi-maximum" (QMLE).
• Le risque : Si le modèle est faux, la boussole pourrait pointer vers le Nord, mais avec un angle de 45 degrés, ou pire, pointer vers le Sud ! On ne sait pas si la direction est juste.

2. La Solution : La "Cohérence de la Pente"

Les auteurs disent : "Ne vous inquiétez pas de la distance exacte. Si nous respectons deux règles d'or, notre boussole nous donnera toujours la bonne direction (le signe et l'ordre des variables), même si elle ne nous dit pas exactement à combien de kilomètres se trouve la montagne."

C'est ce qu'ils appellent la cohérence de la pente.

• Exemple concret : Si vous voulez savoir si le prix de l'essence fait baisser les ventes de voitures, la régression logistique vous dira : "Oui, quand le prix monte, les ventes descendent". Elle vous donnera le bon signe (négatif).
• Ce qu'elle ne garantit pas : Elle ne vous dira peut-être pas exactement de combien de pourcent les ventes baissent (l'échelle), mais elle vous dira dans quelle direction aller.

---

🛠️ Les Deux Règles d'Or (Les Conditions Magiques)

Pour que cette boussole fonctionne même sur un terrain bizarre, les auteurs ont prouvé mathématiquement qu'il faut deux conditions spécifiques (les hypothèses du papier) :

Règle 1 : La "Dépendance de l'Index" (Le Secret du Terrain)

Imaginez que le terrain (vos données) est complexe. La première règle dit : "Le comportement du terrain ne doit dépendre que de la hauteur totale (l'index), pas de la direction précise d'où vous venez."

• En clair : Peu importe si vous venez du Nord ou de l'Est, si vous êtes à la même altitude (la même combinaison de variables), le terrain se comporte de la même façon. C'est une hypothèse courante qui simplifie le chaos.

Règle 2 : La "Linéarité de l'Espérance" (La Ligne Droite)

C'est la condition la plus stricte. Elle dit : "Si vous tracez une ligne droite à travers vos données, la moyenne des points doit suivre cette ligne."

• L'analogie : Imaginez que vous lancez des fléchettes sur une cible. Si la distribution de vos fléchettes est "elliptique" (comme un ovale parfait) ou si vous les lancez de manière très régulière, alors la moyenne de vos erreurs suivra une ligne droite.
• Pourquoi c'est important ? Si vos données sont trop tordues ou bizarres, la boussole va tourner en rond. Mais si elles suivent cette forme régulière (ou si on les "pèse" correctement pour les forcer à suivre cette forme), la boussole fonctionne.

---

🚀 La Découverte des Auteurs

Avant ce papier, un chercheur nommé Ruud (1983) avait suggéré que cette boussole fonctionnait, mais il n'avait pas prouvé mathématiquement qu'elle ne pouvait pas pointer vers le Sud (un signe négatif) ou s'arrêter (zéro). Il avait fait une hypothèse un peu "magique" : "Supposons qu'il existe une bonne direction".

Ce que font Chang, Park et Yan :
Ils ont pris cette hypothèse magique et ils ont construit le pont mathématique pour prouver qu'elle est vraie !

• Ils ont démontré formellement que, sous les deux règles ci-dessus, il existe toujours une solution positive.
• Cela signifie que la boussole ne va jamais pointer dans la mauvaise direction (signe inversé) et ne va jamais s'arrêter. Elle trouvera toujours un multiple positif de la vraie direction.

---

💡 Pourquoi est-ce important pour tout le monde ?

1. Pour les Data Scientists et le Machine Learning :
   Aujourd'hui, tout le monde utilise la régression logistique pour classer des emails (spam ou non), prédire des achats, etc. Souvent, on ne sait pas exactement comment les données sont distribuées. Ce papier dit : "Ne paniquez pas ! Même si votre modèle n'est pas parfait, il vous donnera les bonnes tendances. Vous pouvez faire confiance aux signes (+ ou -) de vos résultats."

2. Pour les Économistes :
   Cela justifie pourquoi les modèles "Logit" et "Probit" sont si populaires dans les articles scientifiques. Même si le monde réel est compliqué, tant que les données ont une certaine régularité (comme une forme d'ovale), ces modèles simples fonctionnent très bien pour identifier les relations de cause à effet.

3. La Conclusion Simple :
   Vous n'avez pas besoin d'un modèle parfait pour savoir dans quelle direction aller. Avec les bons outils mathématiques, une boussole imparfaite peut vous guider vers la bonne destination, tant que vous respectez les règles de la route (linéarité et dépendance de l'index).

En résumé : Ce papier est la preuve mathématique que la régression logistique est un "compagnon de voyage" fiable pour les données binaires, même quand on ne connaît pas parfaitement la carte du terrain. Elle nous dit toujours la bonne direction, même si la distance exacte reste un mystère.

Résumé technique

Voici un résumé technique détaillé de l'article « Slope Consistency of Quasi-Maximum Likelihood Estimator for Binary Choice Models » de Chang, Park et Yan, rédigé en français.

1. Problématique et Contexte

L'article s'attaque à un problème fondamental en économétrie et en apprentissage automatique : la consistance des estimateurs de régression logistique (Logit) lorsqu'ils sont utilisés comme estimateurs de vraisemblance maximale quasi (QMLE) pour des modèles de choix binaire (BCM) dont la distribution des erreurs n'est pas nécessairement logistique.

• Le paradoxe : Bien que la régression logistique soit largement utilisée pour son simplicité computationnelle et la disponibilité des logiciels, elle est théoriquement inconsistante si la distribution réelle des erreurs du modèle sous-jacent diffère de la distribution logistique.
• La lacune théorique : L'article de référence de Ruud (1983) a établi des conditions sous lesquelles le QMLE pourrait converger vers un vecteur de coefficients de pente proportionnel au vecteur vrai. Cependant, Ruud n'a pas prouvé formellement l'existence d'un multiple positif de la pente vraie qui maximise la fonction de vraisemblance de la population sur un espace de paramètres restreint. Sans cette preuve, la constante de proportionnalité pourrait être nulle, négative ou indéfinie, conduisant à des conclusions erronées (absence d'effet ou inversion du signe).
• Objectif : Combler cette lacune en fournissant une preuve formelle de la consistance de la pente (slope consistency) du QMLE pour les BCM, sous des conditions similaires à celles de Ruud (1983) et Manski (1975, 1985).

2. Méthodologie et Cadre Théorique

Les auteurs considèrent un modèle de choix binaire standard :
$$Y = \text{sgn}(Y^*) \quad \text{avec} \quad Y^* = \alpha_0 + X'\beta_0 - U$$
où $X$ est un vecteur de covariables et $U$ le terme d'erreur.

Hypothèses de base et d'identification :

• Hypothèse 2.1 : La médiane de $U$ conditionnelle à $X$ est nulle ($\text{med}(U|X) = 0$).
• Hypothèse 2.2 : Conditions d'identification standard (densité positive, support non contenu dans un sous-espace linéaire propre, etc.) assurant que $\theta_0 = (\alpha_0, \beta_0')'$ est identifié à un scalaire positif près.
• Estimateur QMLE : On maximise une fonction de vraisemblance basée sur une distribution $F$ (potentiellement mal spécifiée, par exemple logistique) :
  $$Q_n(\theta) = \frac{1}{n} \sum_{i=1}^n \left[ \mathbb{1}\{Y_i=1\} \log F(\alpha + X_i'\beta) + \mathbb{1}\{Y_i=-1\} \log (1 - F(\alpha + X_i'\beta)) \right]$$

Hypothèses clés pour la consistance de la pente :
Pour établir que l'estimateur converge vers un multiple positif de la vraie pente, les auteurs imposent deux conditions structurelles supplémentaires :

1. Dépendance par l'indice (Assumption 3.1) : La distribution de l'erreur dépend de $X$ uniquement à travers l'indice $V = \alpha_0 + X'\beta_0$. Soit $L(U|X) = L(U|V)$.
2. Linéarité de l'espérance (Assumption 3.2) : L'espérance conditionnelle de $X$ donnée $V$ est une fonction linéaire de $V$ : $E(X|V) = aV + b$. Cette condition est restrictive mais vérifiée si $X$ suit une distribution elliptique (ex: normale multivariée) ou peut être obtenue par pondération des observations.

3. Contributions Techniques Clés

La contribution majeure de l'article réside dans la démonstration rigoureuse de l'existence d'une solution positive pour les conditions du premier ordre (FOC) du QMLE restreint.

• Restriction de l'espace des paramètres : Les auteurs analysent le comportement du QMLE en restreignant l'espace des paramètres $\theta$ à une forme proportionnelle à la vraie valeur :
  $$\begin{pmatrix} \alpha \\ \beta \end{pmatrix} = c \begin{pmatrix} \alpha_0 \\ \beta_0 \end{pmatrix} + \begin{pmatrix} r \\ 0 \end{pmatrix}$$
  où $c$ est le facteur d'échelle et $r$ un décalage de l'intercept.
• Réduction du système d'équations : En utilisant la dépendance par l'indice et la linéarité de l'espérance, le système de $(m+1)$ équations du premier ordre se réduit à un système de deux équations en $(c, r)$.
• Preuve de l'existence (Lemme 3.2) : C'est la contribution technique centrale. Les auteurs prouvent que le système d'équations dérivé de la vraisemblance de population admet nécessairement une solution $(c^*, r^*)$ telle que $c^* > 0$.
  • Contrairement aux travaux antérieurs qui supposaient l'existence d'un maximum ou d'une solution, cette preuve garantit que le multiple est strictement positif, évitant ainsi les cas pathologiques où l'estimateur convergerait vers zéro ou un signe inversé.

4. Résultats Principaux

Le théorème principal (Théorème 3.3) établit les résultats suivants sous les hypothèses 2.1 à 2.4 et 3.1 à 3.2 :

1. Convergence en probabilité : L'estimateur QMLE $\hat{\theta} = (\hat{\alpha}, \hat{\beta}')'$ converge en probabilité vers une limite $\theta^* = (\alpha^*, \beta^{*'})'$ où :
   $$\hat{\beta} \xrightarrow{p} c^* \beta_0 \quad \text{et} \quad \hat{\alpha} \xrightarrow{p} c^* \alpha_0 + r^*$$
   avec $c^* > 0$.
2. Consistance de la pente : Le vecteur des coefficients de pente estimé est cohérent avec le vecteur vrai $\beta_0$ à un facteur d'échelle positif près. Cela signifie que les signes des coefficients et les rapports entre eux sont correctement estimés.
3. Inférence statistique : La distribution asymptotique de $\sqrt{n}(\hat{\theta} - \theta^*)$ est normale. Les auteurs notent que l'inférence sur les hypothèses invariantes à l'échelle (ex: $\beta_j = 0$ ou $\beta_j = \beta_k$) peut être menée en utilisant la théorie standard du QMLE avec une variance robuste (type "sandwich").

5. Signification et Implications

• Justification théorique de la régression logistique : L'article fournit une justification théorique solide à l'utilisation massive de la régression logistique (et des modèles Probit/Logit) dans la littérature appliquée et en apprentissage automatique, même lorsque la distribution des erreurs est inconnue ou non logistique.
• Utilité pratique : Dans de nombreuses applications empiriques, l'objectif n'est pas d'estimer l'effet marginal absolu (qui dépend de l'échelle), mais de déterminer la direction (signe) et l'importance relative des covariables. Les résultats montrent que le QMLE est parfaitement adapté pour ces objectifs tant que les conditions de dépendance par l'indice et de linéarité de l'espérance sont respectées.
• Faisabilité des conditions : La condition de linéarité de l'espérance, bien que restrictive, n'est pas un obstacle insurmontable. Elle est satisfaite naturellement par les distributions elliptiques (très courantes) et peut être artificiellement créée par des techniques de pondération des observations (reweighting), comme suggéré par Ruud (1986) et Newey et Ruud (1994).

En conclusion, ce papier comble une lacune théorique importante en prouvant que, sous des conditions raisonnables, la régression logistique fournit un estimateur de la pente cohérent (à un facteur d'échelle positif près) pour une large classe de modèles de choix binaire, validant ainsi son usage omniprésent en pratique.