🤖 machine learning

Structurally Separated Uncertainty in Supervised Latent Variable Models

Dieses Paper schlägt ein „strukturelles Trennungs“-Entwurfsprinzip für überwachte latente Variablenmodelle vor, das epistemische und aleatorische Unsicherheit disjunkten Parameterpfaden mit unterschiedlichen Trainingszielen zuordnet und dadurch operativ unterscheidbare Unsicherheitsschätzungen bei reduzierter Korrelation unter Aufrechterhaltung der Vorhersageleistung erreicht.

Ursprüngliche Autoren: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

Veröffentlicht 2026-07-30

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie möchten, dass er zwei sehr unterschiedliche Dinge versteht: erstens, wenn er einfach nicht genug weiß, weil er nicht genügend Beispiele gesehen hat (wie ein Schüler, der das Kapitel noch nicht gelernt hat); und zweitens, wenn die Antwort wirklich verwirrend oder unordentlich ist, egal wie viel er lernt (wie ein Rätsel mit zwei gleichermaßen guten Antworten). In der Welt der Künstlichen Intelligenz wird diese erste Art der Verwirrung als epistemische Unsicherheit bezeichnet (die Art von „Ich brauche mehr Daten“) und die zweite Art als aleatorische Unsicherheit (die Art von „Die Welt ist mehrdeutig“).

Warum ist das wichtig? Denn wenn ein Roboter nicht zwischen beidem unterscheiden kann, könnte er schreckliche Entscheidungen treffen. Wenn er glaubt, dass ein verwirrendes medizinisches Symptom nur ein Mangel an Daten ist, könnte er wild rät, anstatt einen menschlichen Arzt um Hilfe zu bitten. Wenn er glaubt, dass eine fehlende Tatsache nur ein verwirrendes Rätsel ist, könnte er aufgeben, obwohl er die Antwort mit ein wenig mehr Training hätte lernen können. Jahrelang haben Wissenschaftler versucht, Roboter zu bauen, die in der Lage sind, diese beiden Arten der Verwirrung zu trennen, aber die meisten Versuche sind gescheitert. Sie bauten Systeme, bei denen das „Verwirrungsmessgerät“ des Roboters und sein „Mehrdeutigkeitsmessgerät“ fest miteinander verklebt waren, sodass wenn das eine stieg, auch das andere stieg, was es unmöglich machte zu wissen, mit welchem Problem der Roboter tatsächlich konfrontiert war.

Dieses Paper stellt einen cleveren neuen Weg vor, um diesen Kleber zu lösen. Die Autoren, die mit einer Art von KI-Modell arbeiten, das „Konzepte“ verwendet (wie etwa das Aufteilen einer Filmkritik in „Essen“, „Service“ und „Ambiente“), schlagen ein Design namens strukturelle Trennung vor. Anstatt zu versuchen, die Verwirrung erst dann zu entwirren, wenn der Roboter bereits eine Vermutung angestellt hat, bauen sie den Roboter von Beginn an mit zwei völlig getrennten internen Pfaden. Ein Pfad wird speziell darauf trainiert, zu erkennen, wenn dem Roboter Informationen fehlen, während der andere darauf trainiert wird, zu erkennen, wenn die Eingabe selbst unordentlich ist oder mehrere gültige Antworten hat.

Die Forscher testeten diese Idee auf fünf verschiedenen Datensätzen, darunter Filmkritiken, Erkennung von Hassrede und knifflige Fragen. Sie fanden heraus, dass ihr neues Design die beiden Arten der Unsicherheit erfolgreich entwirrt hat. In ihren besten Ergebnissen sank die Korrelation zwischen dem „Ich weiß es nicht“-Signal und dem „Das ist verwirrend“-Signal von einem starken Wert von 0,84 (wo sie fast dasselbe waren) auf nahezu 0,05 (wo sie fast völlig unabhängig voneinander waren). Das bedeutet, der Roboter kann nun zwischen „Ich muss mehr lernen“ und „Diese Frage hat keine einzige richtige Antwort“ unterscheiden. Das Paper legt nahe, dass wir, indem wir diesen beiden Arten von Unsicherheit ihre eigenen dedizierten „Gehirne“ innerhalb des Modells geben, anstatt zu versuchen, sie aus einer einzigen Vorhersage herauszuquetschen, KI-Systeme bauen können, die klügere, sicherere Entscheidungen darüber treffen, wann sie raten, wann sie um Hilfe bitten und wann sie einfach zugeben sollten, dass die Antwort unklar ist.

Technisches Resümee: Strukturelle Trennung von epistemischer und aleatorischer Unsicherheit

1. Problemstellung

Prädiktive Unsicherheit wird traditionell in epistemische Unsicherheit (EU) (reduzierbare Modell-Ignoranz) und aleatorische Unsicherheit (AU) (persistente Daten-Ambiguität) zerlegt. Obwohl diese konzeptionell verschieden sind, scheitern Standardmethoden zur Schätzung dieser Größen oft daran, sie empirisch zu trennen. Techniken wie Monte Carlo Dropout, Deep Ensembles und Evidenz-Netzwerke leiten beide Schätzungen aus derselben prädiktiven Verteilung $p(y|x)$ ab.

Dies erzeugt eine „algebraische Falle“: Da sowohl EU als auch AU Funktionen derselben Verteilung sind, erben sie eine gemeinsame algebraische Abhängigkeit. Jüngste Benchmarks zeigen, dass diese Komponenten oft stark korreliert sind ( $\rho \ge 0,78$ ), was es unmöglich macht, zwischen einem Modell, das verwirrt ist (hohe EU), und Daten, die inhärent mehrdeutig sind (hohe AU), zu unterscheiden. Formale Ergebnisse (z. B. Tomov et al., 2026) legen nahe, dass keine Post-hoc-Funktion von $p(y|x)$ eindeutig zwischen reduzierbarem Fehler und intrinsischer Ambiguität unterscheiden kann, da unterschiedliche zugrunde liegende Unsicherheitszustände dieselbe optimale prädiktive Verteilung induzieren können.

2. Methodik: Strukturelle Trennung

Das Paper schlägt die strukturelle Trennung als Designprinzip vor, um diese algebraische Kopplung aufzubrechen. Anstatt beide Unsicherheiten aus einem einzigen prädiktiven Objekt abzuleiten, weist die Arbeit EU und AU disjunkten Parameterpfaden innerhalb von Supervised Latent Variable Models (SLVMs) zu.

Kernarchitektur: Credal Concept Bottleneck Model (CBM)

Die primäre Instanziierung ist ein Credal CBM, das auf einem eingefrorenen Encoder (z. B. DistilBERT) basiert. Die Architektur führt drei orthogonale Parameterpfade ein:

Mean Path ( $\mu$ ): Prädiziert den Punktschätzer der Konzepte und speist den Task-Head.
Epistemic Head ( $\sigma_{epi}$ ): Ist darauf trainiert, den reduzierbaren Vorhersagefehler zu verfolgen. Er ist durch eine disjunkte Menge $\phi_{epi}$ parametrisiert und wird durch einen Loss überwacht, der den Vorhersagefehler (mit Stop-Gradients, um Gaming zu verhindern) und einen Hausdorff-KL-Regularisierer kombiniert.
Aleatoric Head ( $\sigma_{ale}$ ): Ist darauf trainiert, persistente Label-Ambiguität zu verfolgen. Er ist durch eine disjunkte Menge $\phi_{ale}$ parametrisiert und wird direkt durch die Entropie der Ground-Truth-Labelverteilung ( $H[\hat{p}^*]$ ) überwacht, die aus Multi-Annotator-Disagreement oder korpusbasierten Antwortverteilungen abgeleitet wird.

Schlüsselmechanismen

Disjunkte Parametrisierung: Die epistemischen und aleatorischen Heads verwenden sich nicht überschneidende Parametersätze ( $\phi_{epi} \cap \phi_{ale} = \emptyset$ ).
Orthogonale Projektionen: Der Encoder-Output $h$ wird in orthogonale Subräume ( $W_{epi}h$ , $W_{ale}h$ ) projiziert, um sicherzustellen, dass die Heads nicht überlappende Feature-Inputs erhalten.
Gradienten-Isolation: Der Trainings-Loss wird so zerlegt, dass der epistemische Loss ( $L_{epi}$ ) nur von $\phi_{epi}$ abhängt und der aleatorische Loss ( $L_{ale}$ ) nur von $\phi_{ale}$ abhängt. Die Autoren beweisen (Theorem 3.3), dass unter diesen Bedingungen die Kreuz-Gradienten identisch Null sind ( $\nabla_{\phi_{epi}} L_{ale} = 0$ und $\nabla_{\phi_{ale}} L_{epi} = 0$ ).
Credal Sets: Das Modell repräsentiert Konzepte als Credal Sets (konvexe Mengen von Wahrscheinlichkeitsverteilungen), die durch einen Mittelwert $\mu$ und eine epistemische Kovarianz $\Sigma_{epi}$ definiert sind, während die aleatorische Varianz $\sigma_{ale}$ separat außerhalb des Credal Sets modelliert wird.

3. Wichtigste Beiträge

Prinzip der strukturellen Trennung: Das Paper führt ein Framework für SLVMs ein, bei dem EU und AU über distinkte supervidierte Parameterpfade berechnet werden, anstatt durch eine Post-hoc-Dekomposition von $p(y|x)$ .
Gradient-Isolation Theorem: Ein formaler Beweis, der zeigt, dass mit disjunkten Parametern und separaten Loss-Termen die epistemischen und aleatorischen Heads während des Trainings entkoppelt bleiben und somit die algebraische Falle vermeiden, die in vorangegangener Arbeit identifiziert wurde.
Credal CBM Instanziierung: Eine spezifische Implementierung eines Credal Concept Bottleneck Models, das orthogonale Projektionen und hybride Loss-Funktionen nutzt, um diese Trennung zu erreichen.
Umfassende Diagnostik: Die Autoren führen und validieren Metriken ein, um nicht nur die Dekorrelation, sondern die semantische Validität zu testen:
- Gradient Isolation: Verifizierung von Null-Kreuz-Gradienten.
- Korrelation: Messung von $\rho(U_{epi}, U_{ale})$ .
- Data-Scaling Reducibility: Überprüfung, ob EU mit zunehmenden Daten abnimmt.
- Ambiguity Tracking: Verifizierung, ob AU mit der Ground-Truth-Ambiguität ( $H[\hat{p}^*]$ ) korreliert.

4. Experimentelle Ergebnisse

Die Methode wurde über fünf Benchmarks evaluiert: drei Concept-Bottleneck-Datensätze (CEBaB, HateXplain, GoEmotions) mit Annotator-basierter Ambiguität sowie zwei QA-Datensätze (MAQA*, AmbigQA*) mit Korpus-basierter Ambiguität.

Dekorrelation: Die strukturelle Trennung reduzierte die Spearman-Korrelation zwischen EU und AU vom Baseline-Bereich $\rho \in [0,75, 0,84]$ (beobachtet bei Standardmethoden wie Deep Ensembles und MC Dropout) auf $\rho \approx 0,05$ . Selbst ohne expliziten Dekorrelations-Penalty ( $\lambda_d = 0$ ) blieb die Korrelation niedrig ( $\rho \in [0,12, 0,23]$ ), signifikant unter dem „Post-hoc-Floor“.
Semantische Validität:
- Aleatoric Tracking: Der aleatorische Head zeigte eine starke Korrelation mit der Ground-Truth-Ambiguität ( $\rho(\sigma_{ale}, H) \in [0,42, 0,74]$ ), während Baselines ein wesentlich schwächeres Tracking aufwiesen.
- Epistemische Sensitivität: Der epistemische Head blieb sensitiv gegenüber dem Vorhersagefehler und zeigte die erwartete Reduzierbarkeits-Signatur (sinkende Gradientennormen mit zunehmender Trainingsdatenmenge).
Downstream-Nutzen: Die Methode ermöglichte ein quadrantenbasiertes Routing, das erfolgreich zwischen folgenden Fällen unterschied:
- DATA (Hohe EU, Niedrige AU): Fälle, die mehr Daten benötigen (z. B. obskure Fakten).
- REVIEW (Niedrige EU, Hohe AU): Fälle, die eine menschliche Überprüfung aufgrund inhärenter Ambiguität erfordern (z. B. subjektive Meinungen).
  Standard-Baselines kollabierten diese distinkten Fälle auf eine Diagonale und konnten diese operativen Entscheidungen somit nicht unterstützen.
Robustheit: Die Ergebnisse hielten über verschiedene Encoder-Architekturen (DistilBERT, BERT, RoBERTa) stand und wurden durch eine Self-Explaining Neural Network (SENN) Instanziierung untermauert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass supervidierte Latent-Variable-Architekturen einen praktischen Weg zu Unsicherheitsschätzungen bieten, die nicht bloß dekoreliert, sondern operativ unterscheidbar sind.

Überwindung der Unmöglichkeit: Durch die Verlagerung der Schätzung vom Output-Raum (Funktionen von $p(y|x)$ ) in den Parameter-Raum (separate Heads mit separaten Gradienten) umgeht der Ansatz die Unmöglichkeits-Resultate, die für Post-hoc-Dekompositionen gelten.
Operative Unterscheidbarkeit: Die primäre Bedeutung liegt nicht nur in der statistischen Dekorrelation, sondern in der Fähigkeit, unterschiedliche Entscheidungen zu unterstützen: Hohe EU signalisiert den Bedarf an mehr Daten oder Modellverbesserung, während hohe AU den Bedarf an Abstinenz oder menschlicher Überprüfung signalisiert.
Limitierungen: Die Autoren merken bescheiden an, dass das Framework auf die Verfügbarkeit von supervidierten latenten Strukturen (Konzepten) und Ambiguitäts-bezogenen Supervisionssignalen (z. B. Multi-Annotator-Daten) angewiesen ist. Sie räumen ein, dass die Skalierung auf das End-to-End Fine-Tuning großer LLMs ein sorgfältiges Gradienten-Routing erfordert, um die Trennung aufrechtzuerhalten, und dass die aktuellen Benchmarks zweckgebunden und relativ klein sind.

Zusammenfassend argumentiert das Paper, dass die architektonische Trennung in Kombination mit distinkten Supervisionszielen eine notwendige und effektive Bedingung ist, um Unsicherheitsschätzungen zu erzeugen, die semantisch valide und für Entscheidungsprozesse nützlich sind.