Identification of Latent Group Effects under Conditional Calibration

Diese Arbeit zeigt, dass ein struktureller Gruppeneffekt unter der Annahme einer bedingten Kalibrierung einer beobachteten Wahrscheinlichkeitsvorhersage punktidentifiziert werden kann, indem ein einfaches Verhältnis gewichteter Momente verwendet wird, und analysiert dabei die Identifikationsbedingungen, die Schätzerigenschaften sowie die Auswirkungen von Kalibrierungsfehlern und Klassifizierungsschwellen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden möchte, ob eine bestimmte Gruppe von Menschen (nennen wir sie die „Geheimgruppe") einen anderen Lebensweg hat als alle anderen. Vielleicht geht es darum, ob Migranten im Durchschnitt weniger verdienen oder ob Menschen mit einer unausgesprochenen Krankheit eine andere Lebenserwartung haben.

Das Problem: Niemand kennt die Mitglieder der Geheimgruppe. Sie sind unsichtbar.

Aber Sie haben einen Assistenten, einen „Glaskugel-Propheten". Dieser Prophet gibt für jeden Menschen eine Wahrscheinlichkeit ab (eine Zahl zwischen 0 und 1), wie wahrscheinlich es ist, dass diese Person zur Geheimgruppe gehört. Wenn der Prophet sagt „80 %", dann ist die Person mit 80-prozentiger Sicherheit ein Mitglied.

Die Frage des Autors Marcell T. Kurbucz ist: Können wir trotzdem herausfinden, wie stark der Unterschied zwischen den Gruppen ist, obwohl wir die Gruppenzugehörigkeit nie direkt sehen?

Die Antwort ist ein klares JA, aber nur unter bestimmten Bedingungen. Hier ist die Erklärung der wichtigsten Punkte, übersetzt in einfache Bilder:

1. Der Trick mit der „Glaskugel" (Kalibrierung)

Damit das funktioniert, muss der Prophet ehrlich sein. Das bedeutet: Wenn er sagt „50 %", dann muss genau die Hälfte der Menschen mit dieser Vorhersage tatsächlich zur Gruppe gehören. Wenn er sagt „90 %", dann müssen 90 % davon Mitglieder sein.

• Die Metapher: Stellen Sie sich vor, der Prophet ist ein Wetterbericht. Wenn er „50 % Regen" vorhersagt, muss es an genau 50 % dieser Tage auch wirklich regnen. Wenn er das tut, nennen wir ihn „kalibriert". Nur ein ehrlicher Prophet gibt uns genug Informationen, um das Rätsel zu lösen.

2. Das Geheimnis der „Zufalls-Schwankung" (Identifikation)

Das ist der wichtigste Punkt: Der Prophet darf nicht nur auf den Hintergrund der Person schauen (z. B. Alter, Beruf). Er muss auch etwas Unvorhersehbares in seine Vorhersage einfließen lassen.

• Das Bild: Wenn der Prophet nur sagt: „Alle Männer sind zu 50 % Mitglieder, alle Frauen zu 20 %", dann wissen wir nichts Neues. Die Vorhersage ist vorhersehbar.
• Die Lösung: Der Prophet muss manchmal „irren" oder zufällige Nuancen haben. Wenn er bei zwei fast gleichen Männern einmal „60 %" und einmal „40 %" sagt, obwohl sie gleich sind, dann haben wir eine Zufalls-Schwankung.
• Warum ist das wichtig? Diese zufälligen Schwankungen sind wie ein Schlüssel. Sie erlauben uns, den echten Effekt der Gruppe zu berechnen, indem wir schauen, wie sich die Ergebnisse (z. B. Einkommen) ändern, wenn die Vorhersage des Propheten leicht nach oben oder unten schwankt.
• Die Warnung: Wenn der Prophet nie schwankt und alles perfekt vorhersagt (oder gar keine Vorhersage macht, die über den Hintergrund hinausgeht), dann ist das Rätsel unlösbar. Es gibt dann unendlich viele Möglichkeiten, wie die Welt aussehen könnte, die alle gleich aussehen, aber unterschiedliche wahre Effekte haben.

3. Der Unterschied zwischen „Durchschnitt" und „Wirkung"

Der Autor zeigt, dass das, was wir berechnen, nicht unbedingt der einfache Durchschnittsunterschied ist, den man sich vorstellt.

• Die Metapher: Stellen Sie sich vor, die Geheimgruppe besteht nur aus sehr gut ausgebildeten Menschen, während die andere Gruppe aus weniger Gebildeten besteht. Wenn wir den Durchschnitt vergleichen, sehen wir einen riesigen Unterschied. Aber ist das wegen der Gruppe oder wegen der Bildung?
• Die Formel des Autors isoliert den reinen Effekt der Gruppe (als ob alle gleich gebildet wären). Der einfache Durchschnitt vermischt beides. Man braucht also noch mehr Informationen, um den reinen Durchschnitt zu bekommen, aber die Formel gibt uns den „gereinigten" Effekt.

4. Was passiert, wenn der Prophet lügt? (Robustheit)

Was, wenn der Prophet nicht ganz ehrlich ist? Was, wenn er bei 80 % Vorhersage nur 70 % Mitglieder hat?

• Der Autor berechnet genau, wie stark das Ergebnis verzerrt wird.
• Die Erkenntnis: Je „lauter" und aussagekräftiger die zufälligen Schwankungen des Propheten sind (je mehr er sich von den einfachen Hintergrunddaten unterscheidet), desto weniger schadet ihm eine kleine Lüge.
• Wenn der Prophet aber sehr langweilig ist (keine Schwankungen), führt schon eine winzige Lüge zu einem riesigen Fehler.

5. Warum „Ja/Nein" falsch ist (Der Harte Schwellenwert)

Viele Leute machen einen Fehler: Sie nehmen die Vorhersage des Propheten und sagen: „Über 50 %? Dann ist er Mitglied! Unter 50 %? Dann nicht." Und vergleichen dann diese zwei Gruppen.

• Die Metapher: Das ist wie wenn Sie versuchen, die Temperatur zu messen, indem Sie nur sagen „Heiß" oder „Kalt". Sie verlieren alle Nuancen.
• Das Ergebnis: Diese Methode unterschätzt den wahren Effekt massiv. Wenn der Prophet unsicher ist (z. B. bei 51 %), klassifiziert er die Person falsch. Der Autor zeigt, dass seine mathematische Formel (die mit den Schwankungen arbeitet) viel genauer ist und den wahren Wert fast immer besser trifft als das einfache „Ja/Nein"-Verfahren.

Zusammenfassung

Dieser Papier ist wie eine Anleitung für Detektive, die mit einem unvollkommenen, aber ehrlichen Glaskugel-Propheten arbeiten müssen.

1. Es geht: Man kann den wahren Effekt der unsichtbaren Gruppe berechnen.
2. Die Bedingung: Der Prophet muss „Zufall" in seine Vorhersagen einbauen (nicht nur Hintergrunddaten nutzen).
3. Die Methode: Man nutzt eine spezielle mathematische Formel, die die kleinen Schwankungen der Vorhersage nutzt, um den wahren Effekt zu finden.
4. Der Vorteil: Diese Methode ist viel besser als das einfache Einteilen in „Mitglied" oder „Nicht-Mitglied".

Es ist ein Beweis dafür, dass man auch mit unvollkommenen Daten (nur Wahrscheinlichkeiten, keine harten Fakten) präzise wissenschaftliche Schlüsse ziehen kann, solange man die richtigen Werkzeuge benutzt.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein weit verbreitetes Problem in der empirischen Forschung: Die Schätzung von Unterschieden in Ergebnisvariablen ($Y$) zwischen zwei Gruppen, wenn die Gruppenzugehörigkeit ($G \in \{0, 1\}$) nicht direkt beobachtbar ist. Typische Beispiele sind latente Merkmale wie Armut, Migrationsstatus oder informelle Beschäftigung.

In solchen Szenarien steht dem Analysten oft kein binärer Indikator zur Verfügung, sondern ein kalibrierter Wahrscheinlichkeitsscore $p \in [0, 1]$, der die Wahrscheinlichkeit ausdrückt, dass eine Einheit zur Gruppe der Interessens ($G=1$) gehört. Die zentrale Frage lautet: Unter welchen Bedingungen und durch welche Formel kann ein struktureller Gruppeneffekt $\tau$ aus der gemeinsamen Verteilung der beobachtbaren Variablen $(Y, X, p)$ identifiziert werden, wenn $G$ nie beobachtet wird?

2. Methodik und Modell

Das Paper basiert auf einem strukturellen Mittelwertmodell mit konstanten Koeffizienten und einer bedingten Kalibrierungsannahme.

Modellannahmen:

1. Strukturelles Modell (Assumption 1): Der Erwartungswert des Ergebnisses $Y$ gegeben die Gruppenzugehörigkeit $G$, den Score $p$ und Kovariaten $X$ ist gegeben durch:
   $$E[Y | G, p, X] = \mu(X) + \tau G$$
   Hier ist $\tau$ der konstante Gruppeneffekt. Wichtig ist, dass $p$ nach Kenntnis von $G$ und $X$ keine weiteren Informationen über $Y$ liefert (Mean-Independence).
2. Bedingte Kalibrierung (Assumption 2): Der Score $p$ ist ein erwartungstreuer Prädiktor für $G$ gegeben alle beobachteten Informationen:
   $$E[G | p, X] = p \quad \text{fast sicher (a.s.)}$$
   Dies ist die entscheidende Verbindung zwischen dem latenten $G$ und dem beobachteten $p$.
3. Nicht-degenerierte Restvarianz (Assumption 3): Die Varianz des Scores, die nicht durch $X$ erklärt wird, muss positiv sein:
   $$V^* := E[(p - r(X))^2] > 0, \quad \text{wobei } r(X) = E[p|X].$$
4. Momentenbedingungen (Assumption 4): Endliche vierte Momente für $Y$ und $p$.

Identifikationsstrategie:
Der Autor leitet eine geschlossene Formel für $\tau$ her, die auf gewichteten Momentengleichungen basiert. Die Identifikation nutzt die Residuen des Scores ($a = p - r(X)$) und des Ergebnisses ($R = Y - m(X)$).

3. Schlüsselbeiträge

Das Paper leistet vier wesentliche Beiträge zur Literatur:

1. Punkt-Identifikation (Point Identification):
   Unter den Annahmen 1–3 ist der strukturelle Koeffizient $\tau$ eindeutig identifiziert durch das Verhältnis zweier Momente:
   $$\tau = \frac{E[(2p - 1)(Y - m(X))]}{2 E[(p - r(X))^2]}$$
   Dies lässt sich interpretieren als die Steigung einer Regression des residualisierten Ergebnisses auf den signierten Score ($2p-1$), wobei der Score-Residuum als Instrument für die latente Abweichung ($G - r(X)$) fungiert. Die Kalibrierung liefert die Relevanz des Instruments, und die Mittelwert-Unabhängigkeit liefert die Exklusionsrestriktion.

2. Charakterisierung des Identifikationsversagens:
   Das Paper zeigt, dass die Identifikation genau dann versagt, wenn $V^* = 0$ ist (d.h., wenn $p$ eine deterministische Funktion von $X$ ist). In diesem Fall existiert eine explizite Kontinuum von beobachtbar äquivalenten Modellen mit beliebigen Werten für $\tau$. Das Paper konstruiert diese Modelle explizit, um zu beweisen, dass $\tau$ ohne Restvarianz im Score nicht identifizierbar ist.

3. Unterscheidung zwischen strukturellem Koeffizienten und marginalem Lücke:
   Es wird gezeigt, dass der identifizierte $\tau$ nicht notwendigerweise der marginale Mittelwertunterschied $\Delta_{marg} = E[Y|G=1] - E[Y|G=0]$ ist. Es gilt $\Delta_{marg} = \tau + C$, wobei $C$ ein kompositioneller Term ist, der von der Verteilung der Kovariaten in den latenten Gruppen abhängt. $C=0$ (und somit $\tau = \Delta_{marg}$) gilt genau dann, wenn die latenten Gruppen in Bezug auf die Kovariaten balanciert sind.

4. Inferenz und Robustheit:

   • Orakel-Schätzer: Der Schätzer, der die wahren Funktionen $m(X)$ und $r(X)$ kennt, ist $\sqrt{n}$-konsistent und asymptotisch normalverteilt mit einer geschlossenen Sandwich-Varianz.
   • Plug-in-Schätzer: Es wird gezeigt, dass der Schätzer konsistent bleibt, wenn $m$ und $r$ durch nichtparametrische Schätzer ersetzt werden. Allerdings fehlt dem ursprünglichen Score die Neyman-Orthogonalität in Richtung von $m$, was zu Verzerrungen führen kann. Ein orthogonaler Reformulierungsvorschlag wird gemacht.
   • Robustheit gegenüber Kalibrierungsfehlern: Falls die Kalibrierung verletzt ist ($E[G|p,X] = p + \eta$), wird eine scharfe Obergrenze für den Bias hergeleitet: $|Bias| \leq |\tau| \cdot \delta \cdot E[|2p-1|] / (2V^*)$. Der Bias skaliert invers mit der Restvarianz $V^*$.

4. Ergebnisse und Simulationen

Die Monte-Carlo-Simulationen bestätigen die theoretischen Ergebnisse:

• Asymptotische Normalität: QQ-Plots zeigen eine exakte Übereinstimmung mit der Normalverteilung für den Orakel-Schätzer.
• Identifikationsgrenze: Wenn $V^* \to 0$ (der Score wird deterministisch), divergiert der RMSE (Root Mean Square Error) des Schätzers proportional zu $1/V^*$, während die Konfidenzintervalle korrekt die wachsende Unsicherheit abbilden.
• Kalibrierungsfehler: Bei systematischen Kalibrierungsfehlern ($\eta$) entspricht der empirische Bias der theoretischen Vorhersage. Ein symmetrischer Fehler, der orthogonal zum signierten Score ist, führt zu keinem Bias.
• Harte Schwellenwert-Klassifikation: Die gängige Praxis, $p$ bei $0.5$ zu schwellen (Hard Thresholding), führt zu einer starken Dämpfung (Attenuation) des geschätzten Effekts. Der Schätzer konvergiert gegen $\kappa \tau$ mit $\kappa < 1$, was den Momenten-Schätzer als überlegen ausweist.
• Heterogene Effekte: Wenn der Effekt $\tau$ von $X$ abhängt, identifiziert der Momenten-Schätzer einen varianzgewichteten Durchschnitt $\bar{\tau}$, bei dem Einheiten mit höherer lokaler Score-Varianz stärker gewichtet werden.

5. Bedeutung und Fazit

Dieses Paper bietet einen formalen Rahmen zur Identifikation von Gruppeneffekten, wenn nur kalibrierte Wahrscheinlichkeiten und keine binären Labels vorliegen.

• Theoretische Bedeutung: Es liefert eine geschlossene Identifikationsformel und eine scharfe Charakterisierung der Bedingungen, unter denen Identifikation unmöglich ist. Es klärt den Unterschied zwischen dem strukturellen Effekt innerhalb von Kovariaten-Zellen und dem marginalen Gruppenunterschied.
• Praktische Relevanz: Die Ergebnisse warnen vor der Verwendung von Hard-Thresholding (einfache Klassifikation) zur Schätzung von Effekten, da dies zu erheblichen Verzerrungen führt. Stattdessen wird der Momenten-Schätzer empfohlen.
• Robustheit: Die Analyse zeigt, dass die Methode robust gegenüber kleinen Kalibrierungsfehlern ist, solange die Restvarianz des Scores ($V^*$) nicht zu klein ist.
• Zukunftsperspektiven: Das Paper legt den Grundstein für die Anwendung von Double Machine Learning (DML) in diesem Kontext, indem ein Neyman-orthogonaler Schätzer vorgeschlagen wird, dessen asymptotische Normalität bei nichtparametrischer Schätzung der Störgrößen noch formal zu beweisen ist.

Zusammenfassend etabliert Kurbucz, dass strukturelle Gruppeneffekte auch ohne direkte Beobachtung der Gruppenzugehörigkeit identifizierbar sind, sofern ein gut kalibrierter Score mit ausreichender Restvarianz vorliegt, und liefert gleichzeitig präzise Werkzeuge zur Inferenz und Sensitivitätsanalyse.