🤖 machine learning

Conformalised imprecise inference for robust extrapolation under limited data

Dieser Artikel schlägt ein modellagnostisches, konformisiertes unpräzises Inferenzframework vor, das gültige Wahrscheinlichkeitsboxen erzeugt, um Verteilungsverschiebungen robust zu handhaben und eine zuverlässige Abdeckung während der Extrapolation, insbesondere in datenknappen Szenarien, aufrechtzuerhalten.

Ursprüngliche Autoren: Yu Chen, Scott Ferson

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Chen, Scott Ferson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „übermütige" KI

Stellen Sie sich vor, Sie bringen einem Kind bei, das Wetter vorherzusagen. Sie zeigen ihm 40 Tage lang Daten, in denen es zwischen 70°F und 80°F immer sonnig war. Das Kind lernt dieses Muster perfekt.

Nun bitten Sie das Kind, das Wetter für einen Tag vorherzusagen, an dem es 100°F hat (etwas, das es noch nie gesehen hat).

Standard-KI-Modelle verhalten sich oft wie dieses übermütige Kind. Sie sagen vielleicht: „Es wird 75°F sein", mit einem winzigen Fehlerbereich, obwohl sie keine Ahnung haben, wie sich 100°F anfühlt. Sie sind übermütig, wenn sie sich außerhalb ihrer Trainingsdaten bewegen.
Das Ziel: Wir brauchen ein System, das sagt: „Ich habe 100°F noch nie gesehen, also bin ich unsicher. Es könnte zwischen 60°F und 120°F liegen." Es muss seine Unwissenheit eingestehen, wenn es sich weit von dem entfernt, was es kennt.

Die Lösung: „Konformisierte ungenaue Inferenz" (CII)

Die Autoren schlagen ein neues Framework namens CII vor. Denken Sie daran wie an ein „Sicherheitsnetz"-System für KI-Vorhersagen. Anstatt eine einzelne Zahl (wie „75°F") zu nennen, gibt es einen Bereich (eine „Wahrscheinlichkeitsbox").

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Der „Entfernungs-Score" (Das GPS)

Zuerst prüft das System, wie weit die neue Frage von den Daten entfernt ist, mit denen es trainiert wurde.

Analogie: Stellen Sie sich vor, Sie wandern in einem Wald, den Sie gut kennen (Ihre Trainingsdaten). Wenn Sie auf dem Pfad bleiben, sind Sie sicher. Wenn Sie vom Pfad abkommen und tief in den Wald eindringen, befinden Sie sich in „Out-of-Distribution" (OOD)-Gebiet.
Das CII-System berechnet einen Entfernungs-Score. Wenn Sie auf dem Pfad sind, ist der Score niedrig. Wenn Sie tief im Wald sind, ist der Score hoch.

2. Die „Inflations-Regel" (Der Ballon)

Dies ist der magische Teil. Das System nutzt diesen Entfernungs-Score, um zu entscheiden, wie breit sein Sicherheitsnetz sein soll.

Auf dem Pfad (In-Distribution): Das System ist zuversichtlich. Es gibt einen engen, schmalen Bereich an. „Es liegt wahrscheinlich zwischen 74°F und 76°F."
Im tiefen Wald (Extrapolation): Wenn der Entfernungs-Score höher wird, bläht das System den Bereich wie einen Ballon auf. „Da Sie weit von unseren Trainingsdaten entfernt sind, werde ich den Bereich auf 60°F–120°F erweitern, nur um sicherzugehen."
Warum? Dies stellt sicher, dass selbst wenn die KI wild rät, sie die richtige Antwort innerhalb ihres weiten Bereichs garantiert erfasst. Sie tauscht Präzision gegen Sicherheit.

3. Die „Ungenaue Wahrscheinlichkeit" (Die P-Box)

Anstatt einer einzelnen Wahrscheinlichkeitslinie zieht das System eine Box (eine sogenannte p-Box).

Analogie: Denken Sie an eine Standardvorhersage als einzelne Linie auf einer Karte. CII zeichnet einen dicken, verschwommenen Streifen um diese Linie.
Der obere Rand des Streifens ist die „Worst-Case"-Schätzung, und der untere Rand ist die „Best-Case"-Schätzung.
Dieser Streifen repräsentiert epistemische Unsicherheit (Unsicherheit aufgrund von mangelndem Wissen). Je breiter der Streifen, desto weniger weiß die KI.

Wie sie es getestet haben

Die Forscher testeten dies in zwei Arten von Szenarien:

Ein Spielbeispiel: Sie verwendeten eine einfache mathematische Kurve (eine kubische Funktion). Sie trainierten die KI auf einem kleinen Abschnitt der Kurve und baten sie, den Rest vorherzusagen.
- Ergebnis: Alte Methoden schlugen fehl, die wahre Kurve zu erfassen, wenn sie weit entfernt war. Die CII-Methode umhüllte ihre „Sicherheitsband" erfolgreich um die wahre Kurve, selbst im unbekannten Gebiet.
Echte Daten (UCI-Benchmarks): Sie testeten auf realen Datensätzen (wie die Vorhersage von Hauspreisen oder Betonfestigkeit) mit begrenzten Daten.
- Ergebnis: Wenn Daten knapp waren oder die Testdaten von den Trainingsdaten abwichen, wurden andere Methoden übermütig und falsch. CII blieb zuverlässig. Es versprach nicht, präzise zu sein; stattdessen versprach es, korrekt zu sein, indem es sein Netz erweiterte, wenn die Dinge riskant wurden.

Wichtige Erkenntnisse

Robustheit: Das System bricht nicht zusammen, wenn es etwas Neues sieht; es wird einfach „breiter" und vorsichtiger.
Keine Magie erforderlich: Es funktioniert mit jedem bestehenden KI-Modell. Es ist wie eine Hülle, die Sie um ein Modell legen, um es sicherer zu machen.
Der Kompromiss: In sicheren Zonen ist es präzise. In gefährlichen (unbekannten) Zonen wird es ungenau (weit), um zu garantieren, dass es die Wahrheit nicht verfehlt.

Zusammenfassung

Das Papier stellt eine Methode vor, die KI beibringt, zu wissen, was sie nicht weiß. Indem es misst, wie weit eine neue Frage von dem entfernt ist, was sie gelernt hat, erweitert es automatisch ihren Antwortbereich, um sicherzustellen, dass sie in unbekanntem Gebiet niemals mit Sicherheit eine falsche Antwort gibt. Es ist der Unterschied zwischen einer KI, die sagt „Ich bin zu 100 % sicher", wenn sie rät, und einer, die sagt „Ich bin mir nicht sicher, also hier ist ein breiter Bereich von Möglichkeiten".

Technische Zusammenfassung: Konformalisierte unpräzise Inferenz für robuste Extrapolation bei begrenzten Daten

Problemstellung
Maschinelle Lernsysteme sehen sich erheblichen Herausforderungen gegenüber, wenn sie über den Trainingsbereich hinaus generalisieren, insbesondere in Szenarien, die durch begrenzte Daten und Verteilungsverschiebungen (Extrapolation) gekennzeichnet sind. Obwohl neuere Fortschritte in der Unsicherheitsquantifizierung (UQ) zwischen aleatorischer (unreduzierbarer) und epistemischer (modellbasierter) Unsicherheit unterscheiden, fehlt es bestehenden Methoden oft an rigorosen Garantien, wenn sie auf Out-of-Distribution (OOD)-Daten angewendet werden. Standardprobabilistische Ansätze versagen häufig darin, in Extrapolationsregimen eine Abdeckung aufrechtzuerhalten, was zu übermäßig selbstsicheren und unzuverlässigen Vorhersagen führt. Das Kernproblem, das adressiert wird, ist die Notwendigkeit eines einheitlichen Rahmens, der rigorose statistische Garantien für die Generalisierung bietet und gleichzeitig die Knappheit der Daten sowie die Abweichung der Testeingaben von der Trainingsmannigfaltigkeit explizit berücksichtigt.

Methodik
Die Autoren schlagen einen Rahmen der Konformalisierten unpräzisen Inferenz (CII) vor, einen modellagnostischen Ansatz, der distanzbewusste Kalibrierung mit Darstellungen unpräziser Wahrscheinlichkeiten (speziell Wahrscheinlichkeitsboxen oder p-Boxen) integriert. Die Methodik verläuft durch vier Schlüsselstufen:

Distanzbewusste Kalibrierung:
Der Rahmen nutzt einen skalaren Distanzwert $r(x)$ , definiert als die Mahalanobis-Distanz zwischen einem Testeingabewert und der Trainingsdatenverteilung. Dieser Wert charakterisiert die Abweichung eines Testpunkts von der Trainingsdatenmannigfaltigkeit. Eine Kalibrierungsuntermenge wird verwendet, um ein Intervallvorhersagemodell (IPM) zu konstruieren, das diesen Distanzwert auf einen Diskrepanzbereich $[d, \bar{d}]$ abbildet. Dieses Modell wird trainiert, um den Bereich der Diskrepanzen für nicht gesehene Eingaben, insbesondere in Randbereichen, rigoros zu charakterisieren.
Distanzabhängige Diskrepanzanpassung:
Eine neuartige Anpassungsregel wird auf die Konformalwerte basierend auf dem Distanzwert $r(x)$ angewendet. Innerhalb des Trainingsunterstützungsbereichs ( $r(x) \leq r_0$ ) behält die Methode genauigkeitsorientierte Schranken bei. Für Extrapolationsregime ( $r(x) > r_0$ ) jedoch inflationiert die Methode die Unsicherheit adaptiv, indem sie die obere Schranke des Diskrepanzintervalls auswählt. Dies stellt sicher, dass sich die Unsicherheit ausdehnt, wenn Eingaben weiter von den Trainingsdaten entfernt sind, und schließt die Lücke zwischen konformaler Vorhersage und Verteilungsverschiebung, ohne eine explizite Modellierung der Testverteilung zu erfordern.
Konstruktion von „AsCloseAs"-Schranken:
Um die endgültige Vorhersage zu generieren, gewinnt der Rahmen die Menge aller Wahrscheinlichkeitsverteilungen innerhalb der berechneten Flächenmetrik (interpretiert als Wasserstein-Distanz) von der Basishypothese zurück. Dies wird durch Lösen eines Optimierungsproblems erreicht, um die „AsCloseAs"-Schranken (die engsten oberen und unteren kumulativen Verteilungsfunktionen) zu finden, die die Basisvorhersage einschließen und dabei das Diskrepanzbudget einhalten. Dies resultiert in einer konformalisierten p-Box-Vorhersage, $C(x^*) = [G(x), \bar{G}(x)]$ , die eine kredale Menge möglicher Vorhersagen darstellt.
Handhabung unpräziser Beobachtungen:
Der Rahmen ist darauf ausgelegt, „polymorphe Unsicherheit" zu handhaben, bei der Beobachtungen präzise, Intervalle oder Verteilungen sein können. Er verwendet eine stochastische Flächenmetrik, um die Diskrepanz zwischen der prädiktiven p-Box und der empirischen Beobachtungs-p-Box zu berechnen, was eine einheitliche Behandlung von Messunsicherheit und Modellunsicherheit ermöglicht.

Hauptbeiträge

Ein einheitlicher Rahmen für Extrapolation: Die Arbeit stellt einen konformalisierten unpräzisen Inferenzrahmen vor, der gegenüber dem zugrundeliegenden Vorhersagemodell (z. B. Bayessche neuronale Netze, Ensembles) agnostisch ist, diese jedoch mit rigorosen Abdeckungsgarantien unter Verteilungsverschiebung ergänzt.
Adaptive Unsicherheitsinflation: Im Gegensatz zur Standard-konformalen Vorhersage, die Austauschbarkeit annimmt, differenziert CII explizit zwischen In-Distribution (ID)- und OOD-Daten. Sie verwendet einen distanzabhängigen Mechanismus, um die Unsicherheitsschranken in Extrapolationsregimen adaptiv zu erweitern und stellt so die Validität dort sicher, wo traditionelle Methoden versagen.
Darstellung unpräziser Wahrscheinlichkeiten: Die Methode gibt Wahrscheinlichkeitsboxen (p-Boxen) aus, anstatt Punktschätzungen oder einzelne Verteilungen. Diese Struktur verknüpft aleatorische und epistemische Unsicherheiten auf natürliche Weise und bietet eine prinzipielle Möglichkeit, das „Maß an Unwissenheit" durch die Breite der Schranken darzustellen.
Rigorose Evaluationsmetriken: Die Autoren schlagen spezifische Metriken für die Evaluation vor und nutzen diese, darunter distanzstratifizierte Abdeckung (zur Bewertung der Validität über das Distanzspektrum hinweg), quantilskalierte prädiktive Breite (zur Messung der Unschärfe unabhängig vom Maßstab) und gepoolte Genauigkeit via u-Pooling.

Experimentelle Ergebnisse
Die Autoren evaluierten CII auf synthetischen Daten (Kubische Funktionsregression) und mehreren UCI-Regressionstestfällen (z. B. Boston, Concrete, Energy, Naval Propulsion) unter variierenden Datenanteilen ( $\epsilon$ ) und Verteilungsverschiebungen.

Abdeckung und Validität: In Extrapolationsszenarien (OOD) erreichte CII konsistent eine perfekte oder nahezu perfekte empirische Abdeckung ( $\xi \approx 1.0$ ), während Basismethoden wie Mixture of Gaussians (MoG) und Mean-Variance Estimation (MVE) eine signifikante Verschlechterung der Abdeckung erlitten.
Robustheit bei begrenzten Daten: Wenn der Anteil der Trainingsdaten abnahm, behielt CII eine hohe Abdeckung bei und erhöhte gleichzeitig adaptiv die prädiktive Breite ( $\gamma_n$ ). Dies demonstrierte die Fähigkeit der Methode, die mit der Datenknappheit verbundene erhöhte epistemische Unsicherheit zu kodieren.
Distanzstratifizierte Leistung: Die Analyse zeigte, dass die Abdeckung über verschiedene Distanzbins hinweg stabil blieb, während die prädiktive Breite systematisch mit dem Distanzwert $r(x)$ anstieg. Dies bestätigt die Fähigkeit der Methode, die Unsicherheit basierend auf dem Grad der Extrapolation zu modulieren.
Vergleich: Bei querschnittlichen Vergleichen bei festen Datenanteilen behielt CII einheitlich die Abdeckung bei, während Basismethoden unter Verteilungsverschiebung die Validität nicht aufrechterhalten konnten. CII zeigte zudem einen niedrigeren gepoolten Kalibrierungsfehler ( $d_p$ ) im Vergleich zu Basismethoden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der CII-Rahmen einen prinzipiellen Mechanismus bietet, um konformale Vorhersage mit Verteilungsverschiebung zu verbinden und rigorose Garantien für die Generalisierung auch bei begrenzten Daten zu bieten. Durch die Nutzung von Distanzbewusstsein und unpräziser Wahrscheinlichkeit stellt die Methode sicher, dass Vorhersagen gültig bleiben (die Grundwahrheit abdecken), während sie die Unsicherheit adaptiv inflationieren, um das erhöhte Risiko der Extrapolation widerzuspiegeln. Die Autoren betonen, dass dieser Ansatz die Notwendigkeit einer expliziten Modellierung der Testverteilung vermeidet und somit eine robuste Lösung für hochriskante Szenarien darstellt, in denen übermäßiges Selbstvertrauen gefährlich ist. Die Arbeit unterstreicht die Bedeutung der direkten Integration von Verteilungsbewusstsein in die Geometrie von Vorhersagemengen, um epistemische Unsicherheit effektiv zu managen. Als zukünftige Arbeit wird die Untersuchung von Erweiterungen zur rigoroseren Handhabung von Messunsicherheit und zur Verbesserung der Skalierbarkeit erwähnt.