📈 economics

Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Dieses Paper schlägt ein Framework zur partiellen Identifikation vor, das Vorhersagen von Ergebnissen aus vortrainierten Modellen als „schwache Schattenvariablen“ nutzt, um unter Missing Not At Random (MNAR)-Daten scharfe Schranken für Populationsgrößen abzuleiten, wobei eine signifikante Intervallreduktion und valide Abdeckung erreicht wird, ohne die starken Annahmen oder Vollständigkeitsbedingungen klassischer Methoden zu erfordern.

Ursprüngliche Autoren: Hongyu Chen, David Simchi-Levi, Ruoxuan Xiong

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hongyu Chen, David Simchi-Levi, Ruoxuan Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie hoch die durchschnittliche Zufriedenheit aller Kunden ist, die einen Kundenservice-Chatbot genutzt haben. Sie haben eine Liste von Gesprächen, aber hier ist der Haken: Nur einige Leute haben eine Bewertung hinterlassen.

In der realen Welt sind es meist die Menschen, die extrem glücklich oder extrem verärgert sind, die am ehesten eine Bewertung abgeben. Menschen, die eine „mittelmäßige“ Erfahrung gemacht haben, schließen den Chat meist einfach und gehen weg. Das erzeugt ein Problem: Wenn Sie nur den Durchschnitt der Bewertungen berechnen, die Sie tatsächlich haben, erhalten Sie ein verzerrtes Ergebnis. Es ist, als würde man versuchen, die durchschnittliche Körpergröße aller Menschen in einer Stadt zu erraten, indem man nur die Menschen misst, die in einer Basketballmannschaft stehen (zu groß) und die Menschen, die in einem Gymnastikverein sind (zu klein), während man alle anderen ignoriert.

Statistiker nennen dies Missing Not At Random (MNAR). Die Daten fehlen aufgrund der Antwort selbst.

Der alte Weg vs. der neue Weg

Der alte Weg (Das „Ratespiel“):
Traditionell mussten Forscher, um dies zu beheben, riesige, riskante Annahmen treffen. Sie sagten zum Beispiel: „Ich nehme an, die fehlenden Leute sind genau wie die Glücklichen“ oder „Ich nehme an, die fehlenden Leute sind genau wie die Verärgerten“. Wenn ihre Vermutung falsch war, war ihr Endergebnis komplett falsch. Es ist, als würde man versuchen, ein Puzzle zu lösen, bei dem die Hälfte der Teile fehlt, und dann einfach raten, wie das Bild aussieht.

Der neue Weg (Die „Sicherheitszone“):
Dieses Paper schlägt einen klügeren Ansatz vor, der Partielle Identifikation genannt wird. Anstatt eine einzige Zahl zu raten, berechnet man eine Sicherheitszone (einen Bereich).

Beispiel: Anstatt zu sagen: „Die durchschnittliche Zufriedenheit liegt bei 4,2“, sagen sie: „Wir wissen mit Sicherheit, dass der Durchschnitt zwischen 3,8 und 4,6 liegt.“
Dieser Bereich enthält mathematisch garantiert die wahre Antwort, egal wie die fehlenden Daten verteilt sind, solange wir uns an unsere Regeln halten.

Die Geheimwaffe: Der „schwache Schatten“

Die Autoren haben erkannt, dass wir selbst dann, wenn wir die Bewertung nicht haben, oft noch andere Informationen über das Gespräch besitzen. Vielleicht haben wir das Chat-Transkript, die Tageszeit oder die Art des Problems, das der Nutzer hatte.

Sie nutzen Large Language Models (LLMs) (wie die KI, mit der Sie gerade sprechen), um diese Transkripte zu lesen und eine „Vorhersage“ darüber zu treffen, wie die Bewertung vielleicht gewesen sein könnte.

Sie wissen jedoch, dass KI nicht perfekt ist. Die KI könnte leicht danebenliegen. Deshalb behandeln sie die Vorhersage der KI nicht als „Wahrheitssprecher“. Stattdessen behandeln sie sie als eine schwache Schattenvariable (Weak Shadow Variable).

Die Analogie: Die Silhouette
Stellen Sie sich vor, Sie befinden sich in einem dunklen Raum und können das Objekt (die wahre Bewertung) nicht sehen. Aber Sie haben eine Taschenlampe (die KI), die einen Schatten an die Wand wirft.

Der Schatten ist nicht das Objekt selbst.
Der Schatten kann etwas verschwommen oder verzerrt sein.
Aber der Schatten muss konsistent mit dem Objekt sein. Wenn das Objekt eine hohe Vase ist, kann der Schatten nicht wie ein flacher Pfannkuchen aussehen.

Die Methode des Papers nutzt diesen „Schatten“, um die Möglichkeiten einzugrenzen. Selbst wenn der Schatten unscharf ist, sagt er uns: „Das Objekt ist definitiv nicht so klein und es ist definitiv nicht so groß.“ Dies ermöglicht es ihnen, die „Sicherheitszone“ erheblich zu verkleinern, ohne die exakte Antwort kennen zu müssen.

Wie sie es zum Laufen bringen (Die „weiche“ Mathematik)

Normalerweise, wenn man versucht, solche Schatten mathematisch zu verwenden, führen unordentliche Daten oder kleine Stichproben dazu, dass die Gleichungen zusammenbrechen und „Keine Lösung“ ausgeben.

Die Autoren haben einen Lokalen Bestraften Schätzer (Local Penalized Estimator) entwickelt.

Analogie: Stellen Sie sich vor, Sie versuchen, einen Stapel Blöcke auf einem wackeligen Tisch zu balancieren. Wenn Sie versuchen, sie perfekt zu balancieren (exakte Mathematik), lässt schon ein winziges Zittern alles umfallen.
Ihre Lösung: Sie bringen ein wenig „klebrigen Kleber“ (eine Bestrafung/Penalty) unter die Blöcke. Dies erlaubt dem Stapel, leicht zu wackeln, ohne umzukippen. Dies stellt sicher, dass sie immer ein Ergebnis erhalten, selbst bei unordentlichen, kleinen Datensätzen.

Sie verwenden auch eine spezielle Technik namens Subsampling (das Erstellen vieler kleiner Datenschnitte), um ein Konfidenzintervall zu erstellen. Dies ist vergleichbar damit, die Stabilität des Stapels zu testen, indem man ihn mit vielen kleinen, zufälligen Erschütterungen testet, anstatt mit einem einzigen großen Stoß, um sicherzustellen, dass ihre „Sicherheitszone“ statistisch zuverlässig ist.

Was sie herausgefunden haben (Die Ergebnisse)

Sie haben dies an echten Kundenservice-Chats getestet:

Die KI-Schatten funktionieren: Selbst einfache KI-Vorhersagen (wie „Wurde das Problem des Nutzers gelöst? Ja/Nein“) fungierten als hervorragende Schatten.
Engere Zonen: Durch die Verwendung dieser KI-Schatten konnten sie die „Sicherheitszone“ um 83 % verengen.
- Ohne KI: „Der Durchschnitt liegt irgendwo zwischen 1 und 5.“ (Nicht besonders hilfreich).
- Mit KI: „Der Durchschnitt liegt irgendwo zwischen 3,8 und 4,2.“ (Viel nützlicher!).
Besser als alte Methoden: Ihre Methode war genauer und robuster als traditionelle Ratemethoden (wie das Heckman-Modell), selbst wenn die KI-Vorhersagen nicht perfekt waren.

Das Fazit

Dieses Paper liefert uns ein Werkzeug, um mit fehlenden Daten umzugehen, ohne gefährliche Vermutungen anzustellen. Indem wir KI nutzen, um „schwache Schatten“ der fehlenden Antworten zu werfen, können wir die Wahrheit auf einen deutlich engeren, zuverlässigeren Bereich eingrenzen. Es verwandelt eine „wilden Schätzung“ in eine „berechnete, sichere Wette“.

Technisches Resümee: Verwendung von LLMs für Missing-not-at-Random-Ergebnisse: Ein Ansatz mit schwachen Schattenvariablen

1. Problemstellung

Die Arbeit adressiert die Herausforderung der Schätzung von Populationsgrößen, spezifisch des Mittelwerts des Ergebnisses $\theta = E[Y]$ , wenn die Daten Missing Not at Random (MNAR) sind. In vielen digitalen und sozialwissenschaftlichen Kontexten (z. B. Nutzerfeedback, Kundenservice-Bewertungen) hängt die Wahrscheinlichkeit, dass ein Ergebnis beobachtet wird, vom selbst unbeobachteten Wert ab. Beispielsweise sind Nutzer mit extremen Meinungen eher bereit, Feedback zu hinterlassen, als Nutzer mit moderaten Erfahrungen.

Unter MNAR sind Standard-Schätzer, die ausschließlich auf beobachteten Daten basieren, verzerrt, und der Populationsmittelwert ist ohne starke, oft nicht verifizierbare parametrische Annahmen (z. B. Heckman-Selektionsmodelle) oder restriktive Hilfsvariablen-Bedingungen (z. B. klassische Schattenvariablen, die Vollständigkeit erfordern) nicht punktidentifizierbar. Die Autoren schlagen ein Rahmenwerk der partiellen Identifikation vor, um die scharfen Grenzen des Schätzers unter minimalen Annahmen zu charakterisieren, während sie gleichzeitig moderne Machine-Learning-Vorhersagen nutzen, um diese Grenzen zu verengen.

2. Methodik

2.1. Partielle Identifikation via Linearer Programmierung (LP)
Die Autoren etablieren zunächst ein Basisframework zur Identifikation der scharfen Grenzen des Mittelwerts des Ergebnisses ohne Hilfsinformationen.

Dekomposition: Der Populationsmittelwert wird in beobachtete gemeinsame Wahrscheinlichkeiten $\alpha(y) = P(Y=y, R=1)$ und unbeobachtete Antwortwahrscheinlichkeiten $\pi(y) = P(R=1|Y=y)$ zerlegt.
Zulässiger Bereich: Da $\pi(y)$ unbekannt ist, definieren die Autoren eine Menge zulässiger Wahrscheinlichkeitsverteilungen, die mit den beobachteten Daten konsistent sind.
LP-Formulierung: Das Problem der Bestimmung der scharfen unteren und oberen Grenzen ( $\theta_{min}, \theta_{max}$ ) wird als Paar von linearen Programmen umformuliert. Die Zielfunktion repräsentiert den Mittelwert, und die Nebenbedingungen kodieren die probabilistische Struktur der beobachteten Daten. Oh ohne Hilfsvariablen werden diese Grenzen analytisch abgeleitet und skalieren linear mit der Wahrscheinlichkeit des Fehlens (Missingness).

2.2. Schwache Schattenvariablen
Um die Identifikationsgrenzen zu verengen, führen die Autoren Schwache Schattenvariablen ( $F$ ) ein, wie etwa Vorhersagen aus Large Language Models (LLMs).

Definition: Eine Variable $F$ ist eine schwache Schattenvariable, wenn sie eine Ausschlussrestriktion erfüllt: $F \perp\!\!\!\perp R \mid Y, X$ . Das heißt, bedingt auf dem wahren Ergebnis $Y$ und den Kovariaten $X$ liefert die Schattenvariable keine zusätzliche Information über den Mechanismus des Fehlens.
Relaxierung der Vollständigkeit: Im Gegensatz zu klassischen Schattenvariablen-Methoden erfordert dieser Ansatz keine Vollständigkeitsbedingung (die verlangt, dass $F$ die Verteilung von $Y$ vollständig identifiziert). Dies ermöglicht die Verwendung unvollkommener Prädiktoren (wie LLMs), die nur schwach mit dem Ergebnis korrelieren können.
Verfeinertes LP: Die Einbeziehung von $F$ führt zusätzliche lineare Nebenbedingungen in die LP-Formulierung ein. Der scharfe Identifikationsbereich ist der Schnittpunkt der durch diese Nebenbedingungen definierten zulässigen Mengen. Wenn die Schattenvariable ausreichend informativ ist (eine Rangbedingung erfüllt), kollabieren die Grenzen zu einem einzelnen Punkt (Punktidentifikation); andernfalls bleiben sie ein verengtes Intervall.

2.3. Schätzung und Inferenz in endlichen Stichproben
Direkte Plug-in-Schätzer für die LP-Grenzen sind in endlichen Stichproben problematisch aufgrund potenzieller Infeasibilität (Stichproben-Nebenbedingungen können inkonsistent sein) und Nicht-Glattheit (kleine Änderungen in den Schätzungen können die aktiven Nebenbedingungen umschalten).

Lokalisierter penalierter Schätzer: Die Autoren schlagen einen lokalisierten penalisierten linearen Programmierer vor. Diese Methode relaxiert die Gleichheitsbeschränkungen durch das Hinzufügen eines $L_1$ -Strafterms ( $K\|Aw - \beta\|_1$ ) und beschränkt die Entscheidungsvariablen auf eine begrenzte Box $[0, K]$ . Dies gewährleistet Infeasibilität und Lipschitz-Stetigkeit der Wertfunktion.
Datengetriebene Abstimmung: Ein datengetriebener Algorithmus wählt den Lokalisationsradius $K$ , indem er eine „Zertifizierungs-Lücke“ minimiert, was sicherstellt, dass der Schätzer konsistent mit dem Populationsziel ist und unnötige Varianz vermeidet.
Subsampling-Inferenz: Da die LP-Wertfunktion nicht glatt ist (aufgrund potenziell multipler optimaler Lösungen), versagen Standard-Bootstrap-Methoden. Die Autoren schlagen ein Subsampling-Bootstrap (Politis und Romano, 1994) vor, um gültige Konfidenzintervalle für die Endpunkte des Identifikationsbereichs zu konstruieren. Diese Methode berücksichtigt das „Optimizer-Switching“-Verhalten, das der LP inhärent ist.

2.4. Sensitivitätsanalyse
Das Framework beinhaltet eine Sensitivitätsanalyse (Annahme 2), um die Robustheit gegenüber Verletzungen der Ausschlussrestriktion zu quantifizieren. Durch Einführung eines Sensitivitätsparameters $\rho$ erlauben die Autoren, dass die bedingte Unabhängigkeitsannahme annähernd gilt, wodurch sich der Identifikationsbereich monoton vergrößert, wenn $\rho$ steigt.

3. Zentrale Beiträge

Neuartiges LP-Framework: Das Paper führt ein lineares Programmierungsframework für partielle Identifikation unter MNAR ein, das Settings mit und ohne Hilfsvorhersagen vereinigt. Es liefert geschlossene Lösungen für den Basisfall und analytische Ergebnisse darüber, wie Hilfssignale die Grenzen verengen.
Schwache Schattenvariablen: Die Autoren verallgemeinern den Schattenvariablen-Ansatz, indem sie die Vollständigkeitsbedingung lockern. Dies ermöglicht die Nutzung „unvollkommener“ Hilfssignale (z. B. LLM-Vorhersagen), die die Ausschlussrestriktion erfüllen, aber für sich genommen keine Punktidentifikation liefern müssen.
Robuste Schätzung und Inferenz: Das Paper entwickelt einen praktikablen Schätzer für endliche Stichproben mittels lokalisierter Penalierung und etabliert ein Subsampling-basiertes Inferenzverfahren. Dieser Ansatz garantiert $\sqrt{n}$ -Konvergenzraten und gültige Konfidenzregionen, selbst wenn das zugrunde liegende LP mehrere Lösungen hat oder Standard-Bootstrap-Methoden versagen.

4. Experimentelle Ergebnisse

Die Autoren evaluieren die Methode durch Simulationen und semi-synthetische Experimente unter Verwendung von realen Kundenservice-Dialogdaten (USS-Datensatz).

Simulationen:
- Der lokalisierte penalierte Schätzer erreicht die parametrische $\sqrt{n}$ -Konvergenzrate.
- Der datengetriebene Selektor für den Lokalisationsradius $K$ stellt konsistent den optimalen Populationsradius wieder her.
- Die Subsampling-Inferenz approximiert korrekt die nicht-gaußsche Grenzverteilung des Schätzers, während Standard-Bootstrap-Methoden signifikante Verzerrungen und eine falsche Abdeckung zeigen (z. B. 82 % vs. 90 % Zielwert).
Semi-synthetische Experimente (LLM-basierte schwache Schattenvariablen):
- Prompt-Design: Die Studie testet verschiedene LLM-Prompt-Strategien (Digital Twin, Generic User, Service Auditor), um Schattenvariablen zu generieren. Die Ergebnisse zeigen, dass depersonalisierte, aufgabenorientierte Prompts (z. B. „Service Auditor“, der „Goal Completion“ bewertet) das beste Verhältnis zwischen Relevanz (Korrelation mit $Y$ ) und Unabhängigkeit (Erfüllung der Ausschlussrestriktion) bieten.
- Performance: Die Einbeziehung von LLM-basierten schwachen Schattenvariablen reduzierte die Breite der Identifikationsintervalle im Vergleich zum Baseline-LP ohne Schattenvariablen um 83 %.
- Vergleich: Die vorgeschlagene Methode (unter Verwendung des Mittelpunkts des Schattenvariablen-Intervalls) erreichte einen mittleren absoluten Fehler von 0,06 und übertraf damit signifikant klassische MNAR-Baselines wie Complete Case Analysis (CCA), Naive Imputation, Heckman-Selektionsmodelle und Pattern-Mixture-Modelle. In Bezug auf die Schätzung der Menge (Hausdorff-Distanz zur Wahrheit) reduzierte die Schattenvariablen-Methode den Abstand von 1,07 (aggregiertes LP) auf 0,18.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass sein Framework eine robuste und handhabbare Alternative zu traditionellen MNAR-Methoden bietet.

Robustheit: Durch die Wahl einer Perspektive der partiellen Identifikation vermeidet die Methode die Risiken der Modellfehlspezifikation, die mit parametrischen Selektionsmodellen einhergehen.
Praktikabilität: Es nutzt die wachsende Verfügbarkeit von LLMs als Hilfssignale, ohne zu verlangen, dass diese perfekte Prädiktoren sind. Die „schwache“ Natur der Schattenvariablen-Annahme macht sie in der Praxis plausibler als die strikten Vollständigkeitsbedingungen klassischer Methoden.
Validität: Das vorgeschlagene Inferenzverfahren liefert gültige Abdeckungsgarantien für den Identifikationsbereich und adressiert die statistischen Herausforderungen, die durch die Nicht-Glattheit von LP-basierten Schätzern entstehen.

Die Autoren kommen zu dem Schluss, dass selbst einfache binäre oder niedrigdimensionale LLM-Vorhersagen die Identifikationsgrenzen signifikant verengen können, was diesen Ansatz äußerst wertvoll für die Plattformbewertung und die sozialwissenschaftliche Forschung macht, in denen Feedback systematisch fehlt.