Slope Consistency of Quasi-Maximum Likelihood Estimator for Binary Choice Models

Dit artikel sluit een theoretisch gat door formeel aan te tonen dat de schuine hellingcoëfficiënt van een logit-model consistent kan worden geschat met de Quasi-Maximum Likelihood-schatter onder dezelfde voorwaarden die eerder door Manski en Ruud zijn geïdentificeerd.

De kern

Stel je voor dat je een detective bent die probeert het patroon te vinden in een grote berg gegevens. Je wilt weten welke factoren (zoals leeftijd, inkomen of opleiding) de kans bepalen dat iemand "ja" of "nee" zegt. In de statistiek noemen we dit een Binary Choice Model (een model voor ja/nee-keuzes).

Deze paper, geschreven door Yoosoon Chang, Joon Y. Park en Guo Yan, gaat over een heel populair gereedschap dat detectives (en data scientists) gebruiken: Logistische Regressie.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verkeerde" Kaart

Stel je voor dat je een kaart hebt om van punt A naar punt B te lopen. De echte wereld werkt volgens een heel specifiek, complex pad (de "ware" verdeling van de fouten). Maar de meeste mensen gebruiken een simpele, standaard kaart (de Logistische Regressie) omdat die makkelijk te lezen is en in elke GPS-app zit.

Het probleem is: wat als de echte wereld niet precies op die simpele kaart lijkt?

• Als de kaart verkeerd is, zou je denken dat de route helemaal niet klopt.
• In de statistiek betekent dit dat de schattingen onjuist (inconsistent) kunnen zijn. Je zou kunnen concluderen dat iets geen effect heeft, terwijl het er wel degelijk is, of dat het effect juist omgekeerd is.

De auteurs van dit paper zeggen: "Wacht even. We hebben al jaren gebruikgemaakt van deze simpele kaart, maar we wisten niet zeker of hij de richting van de weg wel goed aangaf als de kaart niet perfect was."

2. De Oplossing: De "Richting" is Wat Telt

In veel onderzoeken willen we niet precies weten hoeveel meter je moet lopen (de absolute grootte), maar vooral in welke richting je moet gaan.

• Gaan we naar links of naar rechts?
• Heeft inkomen een positief of negatief effect?

De auteurs bewijzen dat, zelfs als je de "verkeerde" kaart (Logistische Regressie) gebruikt, je de richting van de weg (de helling of slope) toch correct kunt vinden, zolang aan twee belangrijke regels wordt voldaan.

3. De Twee Gouden Regels (De "Magische" Voorwaarden)

Om te bewijzen dat de simpele kaart de richting toch goed aangeeft, moeten twee voorwaarden gelden:

Regel 1: De "Index-Afhankelijkheid" (De Magische Zender)
Stel je voor dat alle factoren (inkomen, leeftijd, etc.) samenwerken via één enkele "zender" of "knop" (de index $V$). De fouten in je voorspelling hangen alleen af van hoe hard die knop wordt gedraaid, niet van welke specifieke factoren er precies aan de knop draaien.

• Vergelijking: Het maakt niet uit of je de radio harder zet via de knop of via de stem; het geluid (de fout) hangt alleen af van het volume. Als dit zo is, werkt de simpele kaart goed.

Regel 2: De "Lineaire Verwachting" (De Rechte Lijn)
Dit is de moeilijkste regel. Het betekent dat als je de "knop" (de index) verandert, de gemiddelde verandering in je factoren (zoals inkomen) in een rechte lijn meebeweegt.

• Vergelijking: Stel je voor dat je een groep mensen hebt. Als je hun "geluksindex" met 1 punt verhoogt, dan neemt hun gemiddelde inkomen precies met een vast bedrag toe. Het is alsof je een rechte ladder beklimt; elke tree is even hoog.
• Waarom is dit belangrijk? Als de ladder kronkelig is (niet-lineair), kan de simpele kaart de richting verkeerd interpreteren. Maar als de ladder recht is, werkt het perfect.
• Goed nieuws: Deze regel geldt vaak als de gegevens een bepaalde symmetrische vorm hebben (zoals een ei of een bol) of als je de gegevens slim "wegt" (reweighting) om ze recht te trekken.

4. Wat hebben de auteurs bewezen?

Vroeger dachten wetenschappers (zoals Ruud in 1983) dat deze simpele kaart de richting misschien goed gaf, maar ze hadden geen sluitend bewijs. Ze hadden een gat in hun redenering: ze wisten niet zeker of er wel een oplossing bestond waarbij de richting positief was (niet nul en niet omgekeerd).

Deze paper vult dat gat op. Ze zeggen:

"Als aan die twee regels wordt voldaan, dan is het bewezen dat Logistische Regressie altijd de juiste richting aangeeft, zelfs als de onderliggende wereld niet perfect logistisch is."

5. Waarom is dit belangrijk voor de "gewone" mens?

Je ziet dit overal:

• Machine Learning: Als AI-modellen beslissen wie een hypotheek krijgt of wie een ziekte ontwikkelt, gebruiken ze vaak logistische regressie omdat het snel en simpel is.
• Wetenschap: Economen en sociologen gebruiken het om te zeggen: "Onderwijs heeft een positief effect op inkomen."

Deze paper geeft een theoretische zegen voor het gebruik van deze simpele tools. Het zegt: "Gebruik die simpele, snelle methode gerust. Zolang je data redelijk symmetrisch is of je de regels volgt, krijg je de juiste conclusie over de richting van het effect."

Kort samengevat:
Je hoeft niet altijd de perfecte, complexe kaart te gebruiken om de richting te vinden. Als je de "magische zender" en de "rechte ladder" in je data hebt, werkt de simpele, snelle methode (Logistische Regressie) net zo goed als de dure, complexe methode om te bepalen welke weg je moet opgaan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Slope Consistency of Quasi-Maximum Likelihood Estimator for Binary Choice Models" van Chang, Park en Yan, geschreven in het Nederlands.

Titel: Slope Consistentie van de Quasi-Maximum Likelihood Schatter voor Binaire Keuzemodellen

1. Probleemstelling

Logistische regressie wordt veelvuldig toegepast in empirisch onderzoek en machine learning voor het analyseren van binaire uitkomsten (Binary Choice Models, BCM). Vaak wordt dit gebruikt als een Quasi-Maximum Likelihood Schatter (QMLE), waarbij er wordt aangenomen dat de foutterm logistisch verdeeld is.

Het fundamentele probleem is echter dat wanneer de werkelijke foutverdeling in het onderliggende BCM niet logistisch is, de log-likelihood-functie verkeerd gespecificeerd (misspecified) is. In dergelijke gevallen is de QMLE over het algemeen niet consistent; de geschatte parameters convergeren niet naar de ware parameters.

Hoewel er semiparametrische alternatieven bestaan (zoals die van Manski, Ichimura, Klein en Spady), blijft logistische regressie populair vanwege zijn rekenkundige eenvoud. Een eerdere studie van Ruud (1983) suggereerde dat onder bepaalde voorwaarden de QMLE een schatter kan zijn die asymptotisch evenredig is met de ware hellingscoëfficiënten (slope coefficients). Echter, Ruud heeft de slope consistentie niet formeel bewezen. Het ontbrak aan een strikt bewijs dat er een positief veelvoud van de ware helling bestaat dat de populatie-likelihood maximaliseert binnen een beperkt parameterruimte. Zonder dit bewijs zou de evenredigheidsconstante nul of negatief kunnen zijn, wat leidt tot onjuiste conclusies over de richting (teken) of de aanwezigheid van effecten.

2. Methodologie en Model

De auteurs analyseren een binaire keuzemodel gedefinieerd als:
$$Y = \text{sgn}(Y^*) \quad \text{met} \quad Y^* = \alpha_0 + X'\beta_0 - U$$
Waarbij $X$ een vector van covariaten is, $\theta_0 = (\alpha_0, \beta_0')'$ de ware parameters, en $U$ de foutterm.

De schatter wordt gedefinieerd als de QMLE die de volgende functie maximaliseert, onder de aanname dat $U$ onafhankelijk is van $X$ en een verdelingsfunctie $F$ heeft:
$$Q_n(\theta) = \frac{1}{n} \sum_{i=1}^n \left[ 1\{Y_i = 1\} \log F(\alpha + X_i'\beta) + 1\{Y_i = -1\} \log(1 - F(\alpha + X_i'\beta)) \right]$$

Om de consistentie van de hellingscoëfficiënt ($\beta$) tot op een positieve scalair te bewijzen, introduceren de auteurs een beperkte QMLE. In plaats van alle parameters vrij te schatten, wordt de parameter $\theta$ beperkt tot de vorm:
$$\begin{pmatrix} \alpha \\ \beta \end{pmatrix} = c \begin{pmatrix} \alpha_0 \\ \beta_0 \end{pmatrix} + \begin{pmatrix} r \\ 0 \end{pmatrix}$$
Hierbij zijn $c$ en $r$ de te schatten parameters. Het doel is te bewijzen dat de oplossing $(c^*, r^*)$ bestaat met $c^* > 0$.

Aannames:
De analyse rust op een combinatie van identificatie- en regulariteitsvoorwaarden:

1. Identificatie: De mediaan van $U$ gegeven $X$ is 0, en de covariaten voldoen aan standaard steun- en dichtheidsvoorwaarden (Manski, 1975, 1985).
2. Index-afhankelijkheid (Assumptie 3.1): De verdeling van de foutterm $U$ hangt van $X$ alleen af via de index $V = \alpha_0 + X'\beta_0$. Dit is een veelgebruikte aanname in semiparametrische literatuur.
3. Lineariteit in verwachting (Assumptie 3.2): De conditionele verwachting van de covariaten gegeven de index is lineair: $E(X|V) = aV + b$. Deze voorwaarde geldt bijvoorbeeld als $X$ elliptisch verdeeld is, of kan worden bereikt via gewogen steekproeven (reweighting).
4. Regulariteit: De log-likelihood is strikt concave en differentieerbaar.

3. Belangrijkste Bijdragen

De kernbijdrage van dit artikel is het sluiten van de theoretische kloof die door Ruud (1983) en Li en Duan (1989) werd gelaten.

• Formeel Bewijs: De auteurs leveren een formeel bewijs dat onder de aannames van index-afhankelijkheid en lineariteit in verwachting, de eerste-orde voorwaarden (FOC) van de beperkte populatie-likelihood een oplossing $(c^*, r^*)$ hebben waarbij $c^*$ strikt positief is.
• Uniciteit: Ze tonen aan dat deze oplossing uniek is.
• Correctie van eerdere tekortkomingen: Eerdere werken namen vaak aan dat een maximum bestaat of dat de oplossing positief is. Dit artikel bewijst dat deze eigenschappen logisch volgen uit de modelaannames, waardoor de interpretatie van de schatter als een consistent schatter voor de richting van de effecten (slope) geldig wordt.

4. Resultaten

Het centrale resultaat wordt geformuleerd in Theorema 3.3:
Onder de aannames 2.1 t/m 2.4, 3.1 en 3.2:

1. De vergelijking $\dot{Q}(c, r) = 0$ heeft een unieke oplossing $(c^*, r^*)$ met $c^* > 0$.
2. De QMLE convergeert in waarschijnlijkheid naar deze populatie-waarden:
   • $\hat{\alpha} \xrightarrow{p} c^*\alpha_0 + r^*$
   • $\hat{\beta} \xrightarrow{p} c^*\beta_0$

Dit betekent dat de geschatte hellingscoëfficiënten $\hat{\beta}$ consistent zijn voor de ware hellingscoëfficiënten $\beta_0$, tot op een positieve scalair. De schatter behoudt dus de juiste rangorde en tekens van de effecten, ook al is de onderliggende foutverdeling niet logistisch.

Statistische Inferentie:
Omdat $\beta^* = c^*\beta_0$, kunnen schaal-invariante hypothesen worden getoetst. Voorbeelden zijn:

• Is een specifieke covariaat significant? ($\beta_{j,0} = 0$)
• Zijn twee effecten gelijk? ($\beta_{j,0} = \beta_{k,0}$)
  Deze hypothesen zijn onafhankelijk van de schaal $c^*$ en kunnen worden getoetst met standaard QMLE-theorie (met robuuste "sandwich" variantie).

5. Significatie en Implicaties

De bevindingen van dit artikel hebben belangrijke theoretische en praktische implicaties:

• Theoretische Rechtvaardiging: Het biedt een theoretische basis voor de wijdverbreide praktijk van het gebruik van logistische regressie (en probit-modellen) in machine learning en toegepast economisch onderzoek, zelfs wanneer de exacte foutverdeling onbekend is.
• Robuustheid: Het toont aan dat zolang de covariaten voldoen aan de "lineariteit in verwachting" (bijv. elliptische verdeling) en de index-afhankelijkheid geldt, de logit-schatting betrouwbare informatie geeft over de relatieve invloed van covariaten.
• Praktische Toepassing: Voor empirische onderzoekers betekent dit dat ze, mits de aannames worden gerespecteerd (of via reweighting kunnen worden geforceerd), zich kunnen richten op de interpretatie van de tekens en de relatieve grootte van de coëfficiënten, zonder zich zorgen te hoeven maken over de exacte specificatie van de foutverdeling.

Samenvattend bewijst dit artikel dat logistische regressie een slope-consistente QMLE is voor binaire keuzemodellen onder realistische en toepasbare voorwaarden, waardoor het een krachtig en theoretisch onderbouwd instrument blijft voor het analyseren van binaire uitkomsten.