📊 statistics

Decoupled PFNs: Identifiable Epistemic-Aleatoric Decomposition via Structured Synthetic Priors

Dieser Artikel stellt entkoppelte PFNs vor, eine Methode, die kontrollierbare synthetische Priors nutzt, um epistemische und aleatorische Unsicherheiten in Prior-Fitted Networks explizit zu trennen und dadurch eine effektivere sequenzielle Entscheidungsfindung in verrauschten und heteroskedastischen Umgebungen ermöglicht, indem die epistemische Unsicherheit für die Akquisition priorisiert wird.

Ursprüngliche Autoren: Richard Bergna, Stefan Depeweg, José Miguel Hernández-Lobato

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Richard Bergna, Stefan Depeweg, José Miguel Hernández-Lobato

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Ich weiß es nicht" mit „Es ist chaotisch" verwechseln

Stellen Sie sich vor, Sie sind ein Schatzsucher, der versucht, eine verborgene Truhe auf einer Karte zu finden. Sie haben einen Führer (ein KI-Modell), der Ihnen sagt, wo die Truhe sein könnte.

Manchmal ist der Führer unsicher, weil er noch nicht genug von der Karte gesehen hat. Dies ist epistemische Unsicherheit (die Art „Ich weiß es nicht"). Wenn Sie den Führer bitten, Ihnen mehr von diesem spezifischen Gebiet zu zeigen, wird er lernen und zuversichtlich werden. Das ist nützliche Information! Sie sollten dorthin gehen, um mehr zu lernen.

Ein anderes Mal ist der Führer sich über den Standort sicher, aber der Boden ist von dichtem Nebel bedeckt, oder der Kompass ist kaputt. Dies ist aleatorische Unsicherheit (die Art „Es ist chaotisch"). Egal wie sehr Sie schauen, der Nebel wird nicht lichten. Die Unsicherheit ist in die Umgebung eingebaut, nicht im Wissen des Führers.

Das Problem: Standard-KI-Modelle (genannt Prior-Fitted Networks, oder PFNs) geben Ihnen normalerweise eine einzige Antwort, die diese beiden vermischt. Es ist, als würde der Führer sagen: „Die Truhe ist hier, aber es ist sehr unsicher." Er sagt Ihnen nicht, warum er unsicher ist. Wenn Sie diesem Rat blind folgen, verschwenden Sie möglicherweise Ihre Zeit damit, neblige Gebiete (chaotische Daten) zu erkunden, in dem Glauben, Sie müssten nur genauer hinschauen, während Sie eigentlich die leeren, unerkundeten Teile der Karte erkunden sollten (wo das Modell tatsächlich lernen muss).

Die Lösung des Papiers: Der „geteilte Gehirn"-Führer

Die Autoren erkannten, dass Standard-PFNs den Unterschied zwischen „Ich weiß es nicht" und „Es ist chaotisch" nicht erkennen können, indem sie nur die endgültige Antwort betrachten. Es ist mathematisch unmöglich, sie allein aus dem Endergebnis zu trennen.

Ihr schlauer Trick: Da sie diese KI-Führer mit synthetischen Daten erstellen (Daten, die sie selbst in einer Computersimulation erzeugen), können sie ein wenig betrügen.

Das Setup: Wenn sie die Trainingsdaten erstellen, geben sie der KI nicht nur das chaotische Endergebnis. Sie geben ihr auch die „Geheimzutat": das wahre verborgene Signal (die saubere Karte) und die genaue Menge an Rauschen (den Nebelgrad) für jeden einzelnen Datenpunkt.
Die Aufteilung: Sie trainieren die KI mit zwei separaten Köpfen (wie ein geteiltes Gehirn):
- Kopf A (Das Signal): Lernt, die saubere, verborgene Karte vorherzusagen und ignoriert den Nebel.
- Kopf B (Das Rauschen): Lernt vorherzusagen, wie neblig das Gebiet genau ist.
Das Ergebnis: Wenn die KI fertig ist, kann sie Ihnen sagen: „Ich bin an dieser Stelle sehr unsicher, weil ich sie noch nie gesehen habe" (Kopf A ist wackelig), ODER „Ich weiß genau, wo die Truhe ist, aber der Nebel ist so dicht, dass ich sie nicht sehen kann" (Kopf B ist hoch).

Wie sie es getestet haben

Sie testeten diesen neuen „geteilten Gehirn"-Führer in drei Hauptszenarien:

Hyperparameter-Optimierung (HPO): Stellen Sie sich vor, Sie stimmen ein Radio ab, um das klarste Signal zu erhalten. Das Radio hat viele Regler (Einstellungen), und manchmal ändert sich das Rauschen (Störgeräusche) je nachdem, welche Regler Sie drehen.
- Standard-Führer: Versucht, das Radio abzustimmen, indem er Rauschen vermeidet, und gerät oft in eine Schleife, in der er dieselben verrauschten Stellen überprüft.
- Geteilter-Gehirn-Führer: Ignoriert das Rauschen und konzentriert sich nur darauf, die Regler zu finden, die tatsächlich den Sender ändern. Er fand die besten Einstellungen viel schneller und zuverlässiger, besonders in verrauschten Umgebungen.
Bayessche Optimierung (BO): Dies ist wie der Versuch, den höchsten Gipfel in einer Bergkette zu finden, wobei einige Gipfel von Wolken verdeckt sind.
- Der Geteilter-Gehirn-Führer war besser darin, die wolkigen Gipfel zu ignorieren und sich auf die unerforschten Berge zu konzentrieren, was insgesamt zu besseren Ergebnissen führte.
Aktives Lernen: Stellen Sie sich einen Schüler vor, der eine Prüfung macht. Er kann den Lehrer bitten, ihm die Antwort auf bestimmte Fragen zu geben, um zu lernen.
- Standard-Führer: Fragt nach Fragen, die verwirrend sind, weil der Lehrer stottert (Rauschen).
- Geteilter-Gehirn-Führer: Fragt nach Fragen, die der Schüler einfach noch nicht gelernt hat (Mangel an Wissen), was ihm hilft, effizienter zu lernen.

Das Fazit

Das Papier beweist, dass man „was die KI nicht weiß" nicht magisch von „wie verrauscht die Daten sind" trennen kann, indem man nur auf die endgültige Vermutung der KI schaut.

Da die Autoren jedoch die Trainingsdaten kontrollieren, können sie die KI von Anfang an lehren, diese beiden Konzepte zu trennen. Indem sie der KI ein „geteiltes Gehirn" geben, das das saubere Signal und das Rauschen separat verfolgt, wird sie zu einer viel besseren Entscheidungsträgerin. Sie verschwendet keine Zeit mehr mit chaotischen, verrauschten Daten und konzentriert ihre Energie darauf, die Dinge zu lernen, die sie noch nicht kennt.

Kurz gesagt: Sie haben der KI beigebracht, zwischen „Ich muss mehr lernen" und „Dieser Test ist einfach kaputt" zu unterscheiden, was sie zu einem klügeren Führer für die Suche nach den besten Lösungen in verrauschten, realen Problemen macht.

Technische Zusammenfassung: Entkoppelte PFNs durch strukturierte synthetische Priors

Problemstellung

Prior-Fitted Networks (PFNs) bieten einen leistungsfähigen Mechanismus für amortisierte bayessche Vorhersagen durch Meta-Lernen über synthetische Aufgaben-Priors. Sie bilden einen Kontext-Datensatz und einen Abfrage-Eingabewert in einer einzigen Vorwärtsdurchlaufphase auf eine posteriori-prädiktive Verteilung ab und eliminieren damit die Notwendigkeit einer optimierung pro Aufgabe. Für sequenzielle Entscheidungsfindungsaufgaben wie Active Learning und Bayessche Optimierung (BO) stellt jedoch die Standard-PFN-Ausgabe eine kritische Einschränkung dar: Sie liefert eine posteriori-prädiktive Verteilung über verrauschte Beobachtungen ( $p(y^*|x^*, D)$ ).

Diese Verteilung vermischt zwei unterschiedliche Quellen der Unsicherheit:

Epistemische Unsicherheit: Reduzierbare Unsicherheit bezüglich des latenten Signals (der zugrunde liegenden Funktion).
Aleatorische Unsicherheit: Irreduzible Unsicherheit aufgrund von Beobachtungsrauschen.

Bei der sequenziellen Entscheidungsfindung sollten Akquisitionsfunktionen priorisiert die Reduzierung epistemischer Unsicherheit anstreben, um das latente Signal zu erkunden. Kann ein Modell nicht zwischen hohem Rauschen (aleatorisch) und hoher Unwissenheit (epistemisch) unterscheiden, können Akquisitionsregeln, die auf der gesamten prädiktiven Varianz basieren, das Budget verschwenden, indem sie wiederholt Regionen mit hohem Rauschen abfragen, anstatt unerforschte Bereiche der latenten Funktion zu erkunden.

Die Arbeit etabliert eine theoretische Barriere für die Lösung dieses Problems mit Standard-PFNs: Proposition 1 beweist, dass die Aufteilung in epistemische und aleatorische Unsicherheit allein aus der marginalen prädiktiven Verteilung nicht identifizierbar ist. Selbst wenn eine Standard-PFN die marginale prädiktive Verteilung $p(y^*|x^*, D)$ perfekt lernt, existiert ein Kontinuum additiver Zerlegungen in Signalvarianz und Rauschvarianz, die exakt dieselbe marginale Verteilung ergeben. Folglich hat eine Standard-PFN, die ausschließlich auf verrauschten Zielen trainiert wurde, keinen Anreiz auf Ziel-Ebene, eine eindeutige Zerlegung zu lernen.

Methodik

Um diese Nicht-Identifizierbarkeit zu überwinden, nutzen die Autoren den einzigartigen Vorteil von PFNs: Der synthetische Daten-Generierungsprozess steht unter der Kontrolle des Forschers. Sie schlagen eine Decoupled PFN-Architektur vor, die mit privilegierter Überwachung trainiert wird, die von einem augmentierten synthetischen Aufgaben-Prior abgeleitet ist.

1. Augmentierter synthetischer Aufgaben-Prior

Während des Pretrainings wird der synthetische Generator so modifiziert, dass er für jede Aufgabe $\tau$ die Signal-Rausch-Zerlegung explizit definiert:

Eine rauschfreie latente Signalfunktion $f_\tau(x)$ wird gesampelt.
Eine Beobachtungs-Rauschfunktion $\sigma^2_\tau(x)$ wird gesampelt (unterstützend sowohl homoskedastisches als auch heteroskedastisches Rauschen).
Beobachtungen werden als $y = f_\tau(x) + \epsilon$ generiert, wobei $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$ .

Kritischerweise stellt der Generator während des Trainings privilegierte auxiliary Targets bereit: das rauschfreie Signal $f_\tau(x^*)$ und die Rauschvarianz $\sigma^2_\tau(x^*)$ für jede Abfrage. Zum Testzeitpunkt erhält das Modell nur die Standard-Eingaben (Kontext $D$ und Abfrage $x^*$ ) und behält die Standard-PFN-Schnittstelle bei.

2. Entkoppelte Binned-Architektur

Das Modell wird angepasst, um die Signal- und Rauschkomponenten separat unter Verwendung einer Binned-Ausgabestrategie vorherzusagen:

Latent-Signal-Kopf (Epistemisch): Vorhersage einer kategorialen Verteilung $\pi^{(f)}_\theta$ über feste Bins, die das rauschfreie Signal $f^*$ repräsentieren. Diese Verteilung erfasst die epistemische Unsicherheit.
Aleatorischer Kopf: Vorhersage der Beobachtungs-Rauschvarianz $\hat{\sigma}^2_\theta(x^*, D)$ im Log-Varianz-Raum.
Induzierte Prädiktion: Die endgültige prädiktive Verteilung auf Beobachtungsebene $p(y)$ wird durch Faltung der latenten Signalverteilung mit dem gelernten Gaußschen Rauschmodell erhalten. Dies stellt sicher, dass das Modell die Standard-PFN-Schnittstelle für Aufgaben auf Beobachtungsebene beibehält, während das latente Signal für die Entscheidungsfindung freigelegt wird.

3. Trainingsziel

Das Trainingsziel kombiniert drei Verlustterme:

Predictive Loss: Standard-Binned-Negative-Log-Likelihood auf der induzierten Beobachtungsverteilung (sicherstellend, dass das Modell ein guter Prädiktor für $y$ bleibt).
Epistemic Loss: Kreuzentropie-Verlust auf den latenten Signal-Bins, überwacht durch das privilegierte $f_\tau(x^*)$ .
Aleatoric Loss: Quadratischer Fehler im Log-Varianz-Raum, überwacht durch das privilegierte $\sigma^2_\tau(x^*)$ .

Die Autoren beweisen (Proposition 2), dass unter diesem Ziel die auxiliary Köpfe die Bayes-optimale bedingte Verteilung des diskretisierten Signals und das bedingte geometrische Mittel der Rauschvarianz wiederherstellen.

4. Akquisitionsstrategie

Für nachgelagerte Aufgaben (BO, HPO, Active Learning) definieren die Autoren Akquisitionsfunktionen unter Verwendung nur epistemischer Metriken, die vom latenten Kopf abgeleitet sind (z. B. Expected Improvement basierend auf dem latenten Mittelwert und der epistemischen Varianz), anstatt der gesamten prädiktiven Varianz, die von Standard-Baselines verwendet wird.

Hauptbeiträge

Theoretische Nicht-Identifizierbarkeit: Die Arbeit zeigt formal, dass die posteriori-prädiktive Verteilung einer Standard-PFN keine eindeutige epistemisch-aleatorische Zerlegung identifiziert, selbst bei perfektem Lernen der marginalen Verteilung.
Entkoppelte PFN-Architektur: Eine neuartige Methode, die privilegierte Überwachung vom synthetischen Generator nutzt, um separate Köpfe für latente Signale und Rauschen zu trainieren, wodurch das Modell in die Lage versetzt wird, ein entscheidungsrelevantes epistemisches Signal freizulegen.
Empirische Validierung: Die Methode wird auf zwei öffentliche Foundation-Modelle (TabICL und TabPFN v2.5) instanziiert und über Hyperparameter-Optimierung (HPO), synthetische Bayessche Optimierung und Active Learning evaluiert.

Ergebnisse

Die Arbeit berichtet über Ergebnisse in drei Hauptszenarien und vergleicht die entkoppelten Modelle mit passenden „Tuned"-Baselines (die denselben Backbone und dasselbe Pretraining teilen, aber die entkoppelten Köpfe und die privilegierte Überwachung fehlen) sowie mit Standard-externen Baselines (GP, TPE, Random Search).

Hyperparameter-Optimierung (HPO): Die entkoppelten Modelle zeigen hier die klarsten Gewinne. In einer Sweep von 8 Benchmarks, die verrauschte und heteroskedastische Evaluierungen umfassen (z. B. LightGBM, XGBoost, Random Forest), erreichte das Dec-ICL-Modell (Decoupled TabICL) den besten durchschnittlichen Rang (2,50) und übertraf sein getuntes Gegenstück (3,62) signifikant. Die Autoren führen dies auf die Fähigkeit der rein epistemischen Akquisition zurück, Regionen mit hohem Rauschen im Suchraum zu vermeiden.
Synthetische Bayessche Optimierung: Auf glatten, niedrigdimensionalen synthetischen Benchmarks (Branin, Hartmann, Ackley) bleiben die entkoppelten Modelle wettbewerbsfähig. Dec-PFN erreichte den besten durchschnittlichen Rang (2,60) und übertraf sein getuntes Gegenstück (2,80) sowie Standard-GP- und TPE-Baselines leicht. Die Gewinne waren geringer als bei der HPO, was konsistent damit ist, dass glatte, rauscharme Funktionen die gesamte und die epistemische Unsicherheit enger zusammenführen.
Active Learning: Auf realen Regressionsdatensätzen übertrafen die entkoppelten Modelle, die die epistemische Varianz für die Akquisition verwendeten, getunte Baselines, die die gesamte Varianz verwendeten, konsistent in 7 von 10 RMSE-Vergleichen.

Bedeutung und Behauptungen

Die Autoren behaupten, dass der primäre Wert der vorgeschlagenen Methode in der sequenziellen Entscheidungsfindung und nicht in der reinen Regressionsgenauigkeit liegt.

Minderung von Fehlermodi: Der entkoppelte Ansatz mildert den Fehlermodus der „Total-Varianz-Erkundung", bei dem Standardmodelle in Regionen mit hohem Rauschen stecken bleiben, weil sie Rauschen nicht von Unwissenheit unterscheiden können.
Transfer induktiver Verzerrungen: Die Methode zeigt, dass eine Signal-Rausch-Zerlegung, die durch privilegierte Überwachung auf synthetischen Daten gelernt wurde, effektiv auf reale Aufgaben übertragbar ist und als nützliche induktive Verzerrung wirkt.
Neudefinition von PFNs: Die Autoren schlagen vor, PFNs nicht nur als schnelle Approximatoren posteriori-Vorhersagen zu betrachten, sondern als Vehikel zum Erlernen entscheidungsrelevanter Unsicherheitsrepräsentationen durch das Design synthetischer Pretraining-Ziele.

Die Autoren bleiben bezüglich des Umfangs bescheiden und stellen fest, dass die Wirksamkeit davon abhängt, wie gut die synthetischen Rauschannahmen auf reale Aufgaben übertragen werden, und dass die aktuelle Implementierung Gaußsche Momenten-Matching-Approximationen für die Akquisition verwendet, was eine praktische Vereinfachung darstellt. Die Gewinne sind in verrauschten, strukturierten Umgebungen (wie HPO) am ausgeprägtesten und in glatten, rauscharmen Umgebungen weniger kritisch.