Identification of Latent Group Effects under Conditional Calibration

Dit artikel toont aan dat een structureel groepseffect kan worden geïdentificeerd en geschat op basis van een geobserveerde, gekalibreerde waarschijnlijkheidsscore, zelfs wanneer de groepsindicator zelf onzichtbaar is, mits de score niet deterministisch is van de covariaten.

De kern

Stel je voor dat je een detective bent die een geheim moet oplossen, maar de belangrijkste getuige heeft geen stem.

In veel onderzoeken willen we weten wat het verschil is tussen twee groepen mensen (bijvoorbeeld: "Hoeveel meer verdienen mensen met een diploma?" of "Wat is het effect van een nieuwe medicijn?"). Het probleem is: we weten niet precies wie tot welke groep behoort. We hebben geen lijst met namen.

Wat we wel hebben, is een voorspelling of een score. Een slim algoritme of een expert zegt bijvoorbeeld: "Ik denk dat deze persoon 80% kans heeft om een diploma te hebben." We zien die 80% (de score), maar we zien niet of ze het diploma echt hebben (de groep).

Dit artikel, geschreven door Marcell Kurbucz, legt uit hoe je toch het echte effect kunt berekenen, zelfs als je die groep nooit direct ziet. Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Onzichtbare Gasten

Stel je een feestje voor. Je wilt weten of gasten met een rode hoed (Groep A) leuker zijn dan gasten met een blauwe hoed (Groep B).

• Het probleem: Je ziet de hoeden niet. Je ziet alleen de mensen.
• De oplossing: Je hebt een gastheer die naar elke gast kijkt en zegt: "Ik ben 70% zeker dat deze persoon een rode hoed draagt."
• De vraag: Kunnen we toch berekenen hoeveel leuker de rode hoed-gasten zijn, gebaseerd op die 70% voorspelling?

2. De Magische Formule: De "Gok-Compass"

De auteur zegt: "Ja, dat kan!" Maar er is één belangrijke voorwaarde: de voorspelling van de gastheer moet nauwkeurig zijn. Als hij zegt "70%", dan moet het inderdaad zo zijn dat 70% van de mensen die hij zo noemt, een rode hoed hebben. Dit noemen ze kalibratie.

Als die voorspelling goed is, kun je een simpele formule gebruiken. Denk aan een kompas:

• De formule kijkt naar hoe de voorspelling (de score) varieert.
• Als de gastheer soms zegt "90%" en soms "10%" (veel variatie), dan is zijn komas heel scherp.
• Als hij altijd "50%" zegt, dan is zijn komas kapot. Dan kun je niets ontdekken.

De formule is eigenlijk een verhouding:

(Hoeveel de voorspelling schommelt) gedeeld door (Hoeveel de uitkomst schommelt).

Als de voorspelling goed varieert, kun je het echte verschil tussen de groepen berekenen. Het is alsof je de trillingen van een seismograaf gebruikt om te zien wat er onder de grond gebeurt, zonder te boren.

3. Wanneer Faalt het? (De "Vaste Muur")

Het artikel waarschuwt: dit werkt alleen als de voorspelling niet volledig voorspelbaar is op basis van andere dingen (zoals leeftijd of inkomen).

Stel je voor dat de gastheer altijd zegt: "Als iemand jong is, is de kans 50%. Als iemand oud is, is de kans 50%." Dan is zijn voorspelling saai en voorspelbaar.

• In dit geval is het alsof je probeert een raadsel op te lossen met een vraag die altijd hetzelfde antwoord geeft.
• De auteur bewijst dat als de voorspelling geen "extra" variatie heeft, je het antwoord nooit kunt vinden. Je kunt dan oneindig veel verschillende antwoorden bedenken die allemaal lijken op wat je ziet, maar allemaal anders zijn.

4. Het Verschil tussen "Gemiddelde" en "Echte"

Er is een valkuil. Wat we berekenen is het echte effect binnen de groepen, niet het simpele gemiddelde.

• Vergelijking: Stel je wilt weten of rode hoed-gasten leuker zijn.
  • Als alle rode hoed-gasten rijk zijn en alle blauwe hoed-gasten arm, en rijkheid maakt mensen leuker, dan is het "gemiddelde verschil" groot.
  • Maar dat komt misschien niet door de hoed, maar door het geld.
  • De formule in dit artikel corrigeert voor dat geld. Het zegt: "Hoe leuker zijn ze als ze precies hetzelfde inkomen hebben?"
  • Soms is het antwoord: "Ze zijn even leuk." Maar het simpele gemiddelde zou zeggen: "Rode hoeden zijn veel leuker!" De auteur waarschuwt: pas op dat je niet het verkeerde verschil meet.

5. Wat als de Gastheer een Foutje Maakt?

Stel, de gastheer is niet 100% perfect. Hij is soms een beetje te optimistisch.

• De auteur berekent precies hoeveel dat je resultaat verpest.
• De les: Hoe scherper de voorspelling (hoe meer variatie), hoe minder je last hebt van kleine foutjes.
• Als de voorspelling heel vaag is (bijna altijd 50%), dan maakt zelfs een heel klein foutje in de voorspelling een gigantisch verschil in je eindresultaat. Het is als proberen een tekening te maken met een viltstift die heel snel uitdroogt: een kleine beweging van je hand maakt de lijn heel dik.

6. Waarom "Kiezen" Slecht Is (De Hard-Threshold Valstrik)

Veel mensen denken: "Oké, als de voorspelling boven de 50% is, dan is het een rode hoed. Onder de 50% is het een blauwe hoed." En dan tellen ze het verschil.

De auteur zegt: Doe dat niet!

• Vergelijking: Stel je hebt een thermometer die de temperatuur aangeeft. Als je alleen kijkt of het "boven of onder 20 graden" is, verlies je alle informatie. Is het 21 graden of 30 graden? Dat maakt uit!
• Door de voorspelling simpelweg in twee hokjes te stoppen (ja/nee), verlies je de nuance. Je resultaat wordt dan veel te klein (verminderd). Het is alsof je probeert een groot schilderij te zien door alleen door een sleutelgat te kijken.

Samenvatting in één zin

Als je een nauwkeurige voorspelling hebt van wie tot welke groep hoort (en die voorspelling varieert genoeg), kun je met een slimme formule het echte verschil tussen die groepen berekenen, zelfs zonder ooit te weten wie er echt bij welke groep hoort. Maar als je voorspelling saai is of als je te simpel "ja/nee" kiest, mis je het doel.

Dit onderzoek geeft ons dus een nieuwe, krachtige manier om eerlijke vergelijkingen te maken in een wereld waar data vaak onvolledig is.

Technische samenvatting

1. Probleemstelling

In veel empirische studies is de groepsaanduiding $G \in \{0, 1\}$ (bijvoorbeeld armoedestatus, immigratiestatus of een latente gezondheidsconditie) niet direct waarneembaar. In plaats daarvan heeft de onderzoeker toegang tot een gekalibreerde waarschijnlijkheidsscore $p \in [0, 1]$, die de overtuiging uitdrukt dat een eenheid $i$ tot de groep van belang behoort.

De centrale vraag is: Onder welke voorwaarden en met welke formule kan een structureel groepseffect $\tau$ worden geïdentificeerd uit de gezamenlijke verdeling van de waarneembare variabelen $(Y, X, p)$, wanneer $G$ nooit wordt waargenomen?

Het artikel richt zich op een structureel gemiddeld model met constante coëfficiënten:
$$E[Y | G, p, X] = \mu(X) + \tau G$$
waarbij $\tau$ het effect is van het tot de groep behoren op de uitkomst $Y$, gecorrigeerd voor covariaten $X$.

2. Methodologie en Aannames

De auteur baseert het identificatieargument op drie kernaannames:

1. Structureel conditioneel gemiddelde (Assumptie 1): Het effect van de latente groep $G$ op $Y$ is constant over $X$ ($\tau$). Bovendien is de score $p$ gemiddeld onafhankelijk van $Y$ zodra $G$ en $X$ bekend zijn.
2. Conditionele kalibratie (Assumptie 2): De score is een onbevooroordeelde voorspeller van de groep:
   $$E[G | p, X] = p \quad \text{bijna zeker (a.s.)}$$
   Dit betekent dat $p$ niet noodzakelijk de propensiteit $P(G=1|X)$ is, maar wel een onbevooroordeelde schatter van $G$ gegeven alle informatie $(p, X)$.
3. Niet-gedegenereerde residuale variatie (Assumptie 3): De variantie van de score na correctie voor $X$ is positief:
   $$V^* = E[(p - r(X))^2] > 0$$
   waarbij $r(X) = E[p|X]$. Als $V^* = 0$, is $p$ een deterministische functie van $X$ en bevat de score geen extra informatie over $G$ bovenop $X$.

De Identificatieformule:
Onder deze aannames wordt $\tau$ punt-geïdentificeerd door een eenvoudige ratio van gewogen momenten:
$$\tau = \frac{E[(2p - 1)(Y - m(X))]}{2 E[(p - r(X))^2]}$$
Hierbij is:

• $m(X) = E[Y|X]$ het conditionele gemiddelde van de uitkomst.
• De teller de covariantie tussen de "getekende score" $z = 2p-1$ en het uitkomstresidu $R = Y - m(X)$, beide gepartialleerd op $X$.
• De noemer $2V^*$, twee keer de residuale variantie van de score.

Deze formule is formeel analoog aan een Instrumentele Variabelen (IV) schatter, waarbij het residu van de score $a = p - r(X)$ fungeert als instrument voor de latente afwijking $G - r(X)$.

3. Belangrijkste Bijdragen

1. Punt-identificatie: Het bewijs dat $\tau$ exact kan worden berekend uit de waarnemingen $(Y, X, p)$ via een gesloten formule, mits de score residualle variatie bevat.
2. Karakterisering van Identificatiefalen: Het artikel bewijst dat identificatie niet mogelijk is als en slechts als $V^* = 0$ (d.w.z. $p$ is een deterministische functie van $X$). De auteur construeert een expliciet continuüm van observationeel equivalente modellen met willekeurige waarden voor $\tau$ in dit geval, wat aantoont dat $\tau$ niet kan worden onderscheiden.
3. Scheiding tussen Structureel Effect en Marginaal Kloof: Er wordt een onderscheid gemaakt tussen het geïdentificeerde structurele coëfficiënt $\tau$ en de marginale latente gemiddelde kloof $\Delta_{marg} = E[Y|G=1] - E[Y|G=0]$.
   • De relatie is: $\Delta_{marg} = \tau + C$, waarbij $C$ een compositie-term is die afhangt van de verdeling van covariaten binnen de groepen.
   • $\tau = \Delta_{marg}$ dan en slechts dan als de latente groepen covariaten-balans hebben (geen selectie op $X$).
4. Inferentie en Robuustheid:
   • De "oracle" schatter (waarbij $m(X)$ en $r(X)$ bekend zijn) is $\sqrt{n}$-consistent en asymptotisch normaal met een gesloten vorm voor de variantie (sandwich-variatie).
   • Er wordt een scherpe gevoeligheidsbound afgeleid voor het geval de kalibratie imperfect is ($E[G|p,X] = p + \eta$). De bias is begrensd door $|\tau| \cdot \delta \cdot E[|2p-1|] / (2V^*)$, waarbij $\delta$ de maximale kalibratiefout is.

4. Resultaten en Simulaties (Monte Carlo)

De auteur presenteert uitgebreide simulaties die de theoretische resultaten bevestigen:

• Asymptotische normaliteit: De oracle-schatter volgt een normale verdeling, zelfs bij kleinere steekproeven.
• Identificatiegrens: Naarmate $V^* \to 0$ (de score wordt deterministisch), divergeert de RMSE (Root Mean Square Error) van de schatter, wat overeenkomt met het falen van de identificatie.
• Kalibratiefout: De bias onder miscalibratie volgt exact de afgeleide formule. Symmetrische fouten (orthogonaal op de getekende score) leiden tot geen bias, terwijl "worst-case" fouten de scherpe bound bereiken.
• Hard-thresholding: Het gebruik van een drempelwaarde ($p > 0.5$) om $G$ te schatten leidt tot een verzwakking (attenuation) van het geschatte effect met een factor $\kappa < 1$. De momentenschatmethode domineert deze benadering aanzienlijk, vooral bij lage spreiding van de score.
• Heterogene effecten: Bij variërende effecten ($\tau(X)$) identificeert de schatter in plaats van het simpele gemiddelde een variantie-gewogen gemiddelde $\bar{\tau} = E[\tau(X)Var(p|X)] / E[Var(p|X)]$. Eenheden met een hogere lokale informativiteit van de score (hoge $Var(p|X)$) krijgen meer gewicht.

5. Significatie en Toepassing

Dit artikel biedt een rigoureuze theoretische basis voor het analyseren van groepseffecten wanneer groepsaanduidingen ontbreken maar voorspellende scores beschikbaar zijn.

• Methodologische bijdrage: Het koppelt het concept van kalibratie (vaak gebruikt in machine learning en algoritmische eerlijkheid) aan structurele econometrische identificatie. Het biedt een gesloten-formule oplossing die eenvoudiger is dan niet-parametrische methoden die vaak nodig zijn bij meetfouten.
• Praktische implicatie: Het waarschuwt onderzoekers dat het simpelweg dichotomiseren van een kansscore (hard-thresholding) leidt tot ernstig vertekende resultaten. In plaats daarvan moet de continuïteit van de score worden benut via momentenvergelijkingen.
• Robuustheid: De afgeleide gevoeligheidsbounds geven onderzoekers een kwantitatief instrument om te beoordelen hoe gevoelig hun resultaten zijn voor imperfecte kalibratie van hun scores.

Kortom, het artikel bewijst dat zolang een score "gekalibreerd" is en variatie bevat die niet door covariaten wordt verklaard, het structurele groepseffect exact kan worden herleid, zelfs zonder de ware groepsaanduiding te kennen.