📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

Diese Arbeit entwickelt konsistente Schätzer und konforme Inferenzverfahren zur Konstruktion von Vorhersagemengen für zensierte oder intervallwertige Zielvariablen, die die durch partielle Identifikation bedingte Unsicherheit berücksichtigen und in Simulationen sowie empirischen Anwendungen robuste und effiziente Ergebnisse liefern.

Ursprüngliche Autoren: Weiguang Liu, Áureo de Paula, Elie Tamer

Veröffentlicht 2026-02-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weiguang Liu, Áureo de Paula, Elie Tamer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wettervorhersage-Experte. Normalerweise sagen Sie: „Morgen wird es 20 Grad warm." Das ist eine Punktvorhersage. Aber das Wetter ist unvorhersehbar. Ein besserer Ansatz wäre: „Morgen wird es zwischen 18 und 22 Grad warm." Das ist eine Vorhersagezone (oder ein Intervall).

Nun stellen Sie sich eine noch schwierigere Situation vor: Die Leute, die Ihnen die Temperaturdaten geben, sind sehr schüchtern oder die Messgeräte sind kaputt. Sie sagen Ihnen nicht: „Es sind 20 Grad", sondern nur: „Es ist zwischen 15 und 25 Grad" oder „Es ist über 30 Grad". Sie haben keine genauen Zahlen, nur Bereiche.

Genau das ist das Problem, das diese wissenschaftliche Arbeit löst. Die Autoren (Liu, de Paula und Tamer) haben eine neue Methode entwickelt, um Vorhersagen zu treffen, wenn die Daten nicht genau sind, sondern nur als Intervalle (Bereiche) vorliegen.

Hier ist die Erklärung der wichtigsten Ideen, einfach und mit Analogien:

1. Das Problem: Der „versteckte" Schatz

Stellen Sie sich vor, Sie versuchen, den besten Platz für ein Picknick zu finden. Sie haben eine Karte, aber die genauen Höhenangaben sind verschwunden. Stattdessen haben Sie nur Schilder, die sagen: „Hier ist es zwischen 100 und 200 Meter hoch" oder „Hier ist es zwischen 50 und 100 Meter hoch".

Das Ziel: Sie wollen den kleinstmöglichen Bereich finden, der mit 95 % Wahrscheinlichkeit den wahren Ort Ihres Picknicks enthält. Sie wollen nicht den ganzen Berg abdecken (das wäre zu groß und nutzlos), sondern nur den perfekten Fleck.
Das Hindernis: Weil Sie nur die Bereiche (Intervalle) sehen, nicht den exakten Wert, ist es schwer zu wissen, wo genau die Wahrheit liegt. Man nennt das in der Wissenschaft „teilweise Identifizierung".

2. Die Lösung: Der „Orakel"-Plan

Die Autoren definieren einen idealen Plan, den sie den „Orakel-Vorhersagesatz" nennen.

Die Metapher: Stellen Sie sich vor, Sie hätten einen magischen Kristallball (das Orakel), der die perfekte, kleinste Zone zeigt, in der das Ergebnis mit hoher Wahrscheinlichkeit liegt.
Die Herausforderung: Da wir den Kristallball nicht haben, müssen wir ihn aus unseren ungenauen Daten (den Schildern mit Bereichen) erschaffen. Die Autoren zeigen, wie man diesen „Orakel-Plan" mathematisch rekonstruiert, selbst wenn die Daten ungenau sind.

3. Der Trick: Der „Konformitäts-Test" (Der Sicherheitsgurt)

Nehmen wir an, Sie haben einen Plan gezeichnet. Aber wie können Sie sicher sein, dass er auch in der echten Welt funktioniert, bevor Sie losziehen?

Hier kommt eine Methode namens Konformale Inferenz ins Spiel.

Die Analogie: Stellen Sie sich vor, Sie testen einen neuen Fallschirm. Sie werfen ihn 100 Mal von einem Turm. Jedes Mal prüfen Sie: „Hat er sich geöffnet?"
In diesem Papier nutzen sie einen cleveren Trick: Sie teilen ihre Daten in zwei Gruppen. Eine Gruppe dient zum Lernen (den Plan zu zeichnen), die andere zum Testen (den Fallschirm zu prüfen).
Sie definieren eine „Konformitäts-Score" (eine Art Punktezählung). Wenn Ihr Vorhersagebereich das tatsächliche Intervall gut abdeckt, bekommt er Punkte. Wenn er zu klein ist (und das Intervall nicht enthält), bekommt er Strafpunkte.
Das Ergebnis: Diese Methode garantiert, dass Ihre Vorhersage immer sicher ist – auch bei kleinen Datenmengen. Es ist wie ein Sicherheitsgurt, der garantiert, dass Sie nicht fallen, egal wie ungenau die Wetterdaten waren.

4. Was passiert, wenn die Daten „zerrissen" sind?

Manchmal ist die Wahrheit nicht in einem einzigen Bereich, sondern in zwei getrennten Bereichen.

Die Metapher: Stellen Sie sich vor, Sie suchen nach einem verlorenen Hund. Er ist entweder im Park A oder im Park B, aber nie in beiden gleichzeitig. Ein einfacher Kreis um den ganzen Stadtteil wäre zu groß.
Die Methode der Autoren ist so schlau, dass sie erkennen kann, wenn die beste Vorhersage aus zwei getrennten Intervallen besteht. Sie schneiden den „unnötigen" Teil einfach weg, um den kleinstmöglichen Bereich zu finden.

5. Die echten Tests: Jobs und Einkommen

Die Autoren haben ihre Methode nicht nur auf Papier getestet, sondern in der echten Welt angewendet:

Fall 1: Britische Stellenanzeigen. Viele Stellenanzeigen geben das Gehalt nicht als genaue Zahl an, sondern als Bereich (z. B. „40.000 bis 60.000 Pfund"). Die Autoren haben eine Karte erstellt, die zeigt, wie hoch die Gehälter in verschiedenen Städten sind.
- Ergebnis: In London ist die Spanne riesig (von niedrigen bis zu sehr hohen Gehältern), während sie in ländlichen Gebieten enger ist. Ihre Methode hat diese Unterschiede präzise eingefangen, ohne die ungenauen Daten „erfinden" zu müssen.
Fall 2: US-Einkommensumfragen. In Umfragen geben viele Menschen ihr Einkommen nur als Bereich an (z. B. „mehr als 50.000 Dollar").
- Ergebnis: Wenn man diese Bereiche ignoriert und sie durch eine einzige Zahl ersetzt (was man oft macht), macht man Fehler. Die neue Methode nutzt die Bereiche direkt und liefert genauere Vorhersagen darüber, wie viel Geld Menschen mit bestimmter Ausbildung verdienen könnten.

Zusammenfassung

Dieses Papier ist wie ein neues Werkzeugkasten für Vorhersagen.
Früher musste man entweder die genauen Daten haben (was oft unmöglich ist) oder man musste raten und Annahmen treffen (was oft falsch ist).
Die Autoren sagen: „Nein, wir nehmen die ungenauen Bereiche so, wie sie sind. Wir bauen daraus einen kleinstmöglichen, aber sicheren Bereich."

Sie nutzen dabei zwei Hauptwerkzeuge:

Mathematik: Um den kleinstmöglichen Bereich zu finden, der die Wahrheit enthält (auch wenn die Daten ungenau sind).
Konformale Inferenz: Um sicherzustellen, dass dieser Bereich in der Praxis immer funktioniert, wie ein unfehlbarer Sicherheitsgurt.

Das Ergebnis: Wir können bessere Vorhersagen treffen, selbst wenn die Daten unsichtbar, ungenau oder in „Schachteln" (Intervallen) versteckt sind.

1. Problemstellung

Das Paper adressiert das Problem der Vorhersage einer Zielvariable $Y$ , wenn keine exakten Beobachtungen vorliegen, sondern nur Intervallwerte $[Y_L, Y_U]$ , die $Y$ einschließen ( $Y_L \leq Y \leq Y_U$ ). Solche intervallzensierten Daten sind in der Ökonometrie und Sozialforschung weit verbreitet (z. B. bei Einkommensbefragungen mit Bracketing-Fragen, Zensierung von Rechten oder Linken, oder bei Wettbewerbsrisiken).

Das zentrale Ziel ist die Konstruktion eines Vorhersagemengen (Prediction Sets) $C(x)$ für eine neue Beobachtung $Y_{n+1}$ gegeben Kovariaten $X_{n+1}$ , die zwei Kriterien erfüllen:

Gültigkeit (Validity): Die Menge muss die neue Beobachtung mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ enthalten (unter Berücksichtigung der partiellen Identifizierung).
Effizienz (Efficiency): Unter allen gültigen Mengen soll diejenige mit dem minimalen Volumen (Lebesgue-Maß) gewählt werden. Dies entspricht dem „Oracle Prediction Set".

Herausforderungen bestehen darin, dass bei Intervallzensierung die Verteilung von $Y|X$ nicht punktuell identifiziert ist (partielle Identifizierung). Klassische Methoden, die auf der Schätzung von Dichtefunktionen oder Quantilen basieren, stoßen hier an Grenzen, da:

Die Definition des Oracle-Sets unter partieller Identifizierung erweitert werden muss.
Das optimale Set aus mehreren disjunkten Intervallen bestehen kann (z. B. bei multimodalen Verteilungen).
Herkömmliche Konformitäts-Scores (Conformity Scores) für Intervallwerte nicht direkt anwendbar sind.

2. Methodik

Die Autoren entwickeln einen zweistufigen Ansatz, der partielle Identifizierung mit Konformaler Inferenz (Conformal Inference) kombiniert.

A. Charakterisierung des Oracle-Vorhersagesets

Unter partieller Identifizierung ist die gemeinsame Verteilung von $(X, Y)$ nicht eindeutig bestimmt, sondern liegt in einer identifizierten Menge $\mathcal{P}_I$ .

Definition: Das Oracle-Set $C^*(x)$ ist das Set minimalen Volumens, das die Bedingung $\inf_{P \in \mathcal{P}_I} P(Y \in C(x) | X=x) \geq 1-\alpha$ erfüllt.
Feasible Optimierung: Da die Verteilung von $Y|X$ unbekannt ist, zeigen die Autoren, dass das Problem äquivalent zu einer Optimierung über die beobachtbaren Intervallgrenzen $(Y_L, Y_U)$ gelöst werden kann. Das Oracle-Set ist die Lösung von:
$\min_{C(x)} \mu(C(x)) \quad \text{s.t.} \quad P([Y_L, Y_U] \subset C(x) | X=x) \geq 1-\alpha$
Dies ermöglicht eine konsistente Schätzung ohne Annahmen über den Zensierungsmechanismus.

B. Konsistente Schätzung (Asymptotik)

Die Autoren schlagen nichtparametrische Schätzer vor, die auf Kernel-Glättung der bedingten Verteilungsfunktion von $(Y_L, Y_U)$ basieren.

Sie beweisen die gleichmäßige Konsistenz der geschätzten Vorhersagemengen $\hat{C}(x)$ gegen das Oracle-Set $C^*(x)$ , sowohl für zufällige als auch für feste Zensierung (z. B. diskrete Brackets).
Der Ansatz erlaubt, dass das geschätzte Set aus mehreren disjunkten Intervallen besteht, was bei multimodalen Verteilungen zu einem kleineren Volumen führt als ein einzelnes Intervall.

C. Konformale Inferenz für endliche Stichproben

Um finite-sample coverage guarantees (Garantien für endliche Stichproben) zu erhalten, die über die asymptotische Konsistenz hinausgehen, wird eine Split-Conformal-Inferenz-Methode entwickelt.

Aufteilung: Die Daten werden in Trainings- ( $I_1$ ) und Kalibrierungsstichprobe ( $I_2$ ) geteilt.
Konformitäts-Score (Conformity Score): Ein zentrales Element ist die Entwicklung eines neuen Scores $s$ , der speziell für Intervallwerte geeignet ist:
$s(y_L, y_U, x; C) = \inf \{ \theta : [y_L, y_U] \subset \bigcup_m [t_{0m}(x)-\theta, t_{1m}(x)+\theta] \}$
Dieser Score ist negativ, wenn das beobachtete Intervall vollständig im geschätzten Set liegt, und positiv sonst. Er bestraft sowohl Unter- als auch Überdeckung.
Konstruktion: Basierend auf den Scores der Kalibrierungsstichprobe wird ein Quantil $\hat{q}_{1-\alpha}$ berechnet. Das finale konformale Set $\tilde{C}(x)$ wird durch Erweiterung des geschätzten Sets $\hat{C}(x)$ um diesen Quantilswert gebildet.
Ergebnis: Das resultierende Set $\tilde{C}(x)$ erfüllt die Bedingung $P(Y_{n+1} \in \tilde{C}(X_{n+1})) \geq 1-\alpha$ exakt für endliche Stichproben (unter Austauschbarkeitsannahme) und ist asymptotisch konsistent zum Oracle-Set.

3. Wichtige Beiträge

Erweiterung auf Intervall-Outcomes: Das Paper liefert die erste theoretische Charakterisierung und Schätzung von Oracle-Vorhersagemengen unter partieller Identifizierung durch Intervallzensierung.
Neue Konformitäts-Scores: Entwicklung eines spezifischen Scores für Intervalldaten, der die Unsicherheit der Zensierung korrekt abbildet und sowohl Über- als auch Unterdeckung berücksichtigt.
Multi-Intervall-Struktur: Die Methode erlaubt Vorhersagemengen, die aus mehreren disjunkten Intervallen bestehen, was bei komplexen Verteilungsformen (Multimodalität) effizienter ist als traditionelle einzelne Intervalle.
Robustheit: Die Methode erfordert keine parametrischen Annahmen über die Verteilung von $Y$ oder den Zensierungsmechanismus und vermeidet Verzerrungen durch Imputationsverfahren.
Finite-Sample-Garantien: Durch die Integration der Konformalen Inferenz werden exakte Coverage-Garantien für endliche Stichproben gewährleistet, was bei rein nichtparametrischen Schätzern oft fehlt.

4. Ergebnisse

Simulationen (Monte Carlo)

Die Autoren testen ihre Methode in drei Szenarien:

Modell A (Heteroskedastisch & Multimodal): Das konformale Set erfasst die Bifurkation (Aufspaltung) der Verteilung korrekt und hat ein signifikant kleineres Volumen als Sets, die auf Quantilregression basieren.
Modell B (Feste Zensierung): Die Methode bleibt robust, auch wenn ein Teil der Daten in festen Intervallen (Brackets) vorliegt.
Modell C (Schiefe Verteilung): Auch bei unimodalen Verteilungen übertrifft die Methode die Quantilregression in Bezug auf das Volumen bei gleicher Coverage.
Coverage: Die empirische Coverage liegt nahe am nominalen Niveau ( $1-\alpha$ ), wobei lokale konformale Sets (Local CP) an den Rändern des Supports eine bessere Performance zeigen.

Empirische Anwendungen

UK Job Advert Data (Adzuna):
- Analyse von Gehaltsintervallen in der IT-Branche in Abhängigkeit von geografischen Koordinaten.
- Ergebnis: Die Methode zeigt starke räumliche Heterogenität. London und große Metropolen weisen deutlich breitere Intervalle (höhere Lohnspreizung) auf als ländliche Gebiete. Die Schätzung erfolgt ohne Imputation fehlender Gehälter.
US Current Population Survey (CPS):
- Vorhersage von Einkommen basierend auf Bildung und Erfahrung unter Berücksichtigung von Einkommensintervallen (ca. 22% der Befragten).
- Ergebnis: Die Verwendung von Intervalldaten führt zu signifikant anderen (und realistischeren) Vorhersageintervallen im Vergleich zu Imputationsmethoden, insbesondere in den Verteilungsschwänzen. Die konformalen Sets erreichen die nominale Coverage, während imputierte Sets oft unter- oder überdecken.

5. Bedeutung und Fazit

Dieses Paper stellt einen bedeutenden Fortschritt in der Vorhersageanalyse bei unvollständigen Daten dar. Es verbindet die partielle Identifizierung (die realistisch mit Datenunsicherheit umgeht) mit Konformaler Inferenz (die robuste, finite-sample Garantien bietet).

Für die Ökonometrie: Es bietet eine robuste Alternative zu Imputationsverfahren, die oft auf starken Annahmen beruhen und zu Verzerrungen führen können.
Für maschinelles Lernen: Es erweitert den Anwendungsbereich von Konformaler Inferenz auf komplexe Datentypen (Intervalle) und nicht-eindeutige Modelle.
Praktische Relevanz: Die Methode ist besonders wertvoll für Bereiche, in denen Daten oft in Intervallen vorliegen (Einkommen, Vermögenswerte, Überlebenszeiten), da sie präzise, volumenminimierte Vorhersagemengen liefert, die die wahre Unsicherheit der Daten widerspiegeln.

Zusammenfassend liefert das Paper einen rigorosen theoretischen Rahmen und praktisch anwendbare Algorithmen, um Vorhersagemengen unter Intervallzensierung effizient und mit garantierter Abdeckung zu konstruieren.