📊 statistics

Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Dieser Beitrag stellt L2D-SLDS vor, ein Online-Learning-to-Defer-Framework für nicht-stationäre Zeitreihen, das ein switching linear-Gaussian state-space model verwendet, um Entscheidungen dynamisch zwischen einem internen Prädiktor und externen Experten zu verteilen und dabei sowohl das Regret als auch die Deferral-Raten zu minimieren.

Ursprüngliche Autoren: Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Schiffes, das durch ein nebliges, sich ständig veränderndes Meer navigiert. Sie haben Ihren eigenen Kompass (Ihr internes KI-Modell), aber Sie haben auch eine Flotte von lokalen Leuchtturmwächtern (externe Experten), die Ihnen Richtungen zurufen können, wenn Sie sie fragen. Das Fragen eines Leuchtturmwächters kostet jedoch Geld, und manchmal sind sie gar nicht da.

Die große Frage lautet: Wann sollten Sie Ihrem eigenen Kompass vertrauen und wann sollten Sie bezahlen, um einen Leuchtturmwächter zu fragen?

Dieser Artikel stellt eine neue Methode namens L2D-SLDS vor, um dieses Problem zu lösen, speziell für Situationen, in denen sich das Wetter (die Daten) ständig ändert und die Leuchtturmwächter kommen und gehen.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die „Offline"-Falle

Die meisten früheren Methoden für dieses Problem waren wie das Studium einer Karte eines ruhigen, statischen Ozeans. Sie gingen davon aus:

Das Wetter ändert sich nie.
Alle Leuchtturmwächter stehen ständig auf dem Deck.
Sie können den Schrei jedes einzelnen Leuchtturmwächters hören, auch wenn Sie sie nicht gefragt haben.

In der realen Welt (wie bei der Vorhersage von Aktienkursen oder Wetter) ist nichts davon wahr. Das Wetter ändert sich plötzlich (Nicht-Stationarität), Wächter gehen und kehren zurück (dynamische Verfügbarkeit), und Sie hören nur denjenigen, den Sie speziell fragen (asymmetrisches Feedback). Wenn Sie die alten „statischen Karten"-Methoden verwenden, verirren Sie sich oder verschwenden zu viel Geld, um nach Wegen zu fragen.

2. Die Lösung: Ein „geteilter Geheimnis"-Netzwerk

Die Autoren schlagen ein System vor, das alle Experten (und Ihre eigene KI) als Teil eines einzigen, verbundenen Teams behandelt. Sie verwenden einen cleveren mathematischen Trick namens Switching Linear-Gaussian State-Space Model (Wechselndes Linear-Gaußsches Zustandsraummodell).

Stellen Sie es sich so vor:

Der gemeinsame Faktor (Der „Gruppenchat"): Stellen Sie sich vor, alle Leuchtturmwächter sind in einem Gruppenchat. Selbst wenn Sie nur einen Wächter eine Frage stellen, gibt Ihnen die Antwort Hinweise darauf, was die anderen Wächter denken, da sie alle eine gemeinsame „Stimmung" oder ein gemeinsames „Regime" teilen (wie eine Sturmfront oder einen sonnigen Tag).
Die idiosynkratischen Zustände (Die „persönlichen Eigenarten"): Jeder Wächter hat auch seine eigenen persönlichen Eigenarten. Das System lernt diese separat.
Die wechselnden Regime (Die „Wettermuster"): Das System weiß, dass sich die Regeln ändern. Manchmal ist es ein „Sturm-Modus", in dem Experte A großartig ist, und manchmal ein „Sonniger-Modus", in dem Experte B großartig ist. Das System rät ständig, in welchem Modus es sich befindet.

Die Magie: Aufgrund des „Gruppenchats" (gemeinsamer Faktor) aktualisiert Ihr System selbst dann, wenn Sie keinen Experten fragen, seine Überzeugung über sie, indem es nur Ihren eigenen internen Kompass und den einen Experten beobachtet, den Sie tatsächlich gefragt haben. Es ist, als würde man in einem vollen Raum eine Person lachen hören und erkennen, dass der ganze Raum in guter Stimmung ist, obwohl man mit den anderen nicht gesprochen hat.

3. Die Entscheidung: Der „Smarte Abfrage-Score"

Wenn das System entscheiden muss, ob es einen Experten fragt, schaut es nicht nur darauf, wer am günstigsten ist. Es verwendet einen „Smarten Score", der drei Dinge ausbalanciert:

Sofortige Kosten: Ist der Experte wahrscheinlich besser als meine eigene Vermutung gerade jetzt?
Informationsgewinn: Selbst wenn der Experte teuer ist, wird das Fragen nach ihm mir etwas über den „Gruppenchat" (den gemeinsamen Zustand) lehren, das mir hilft, später bessere Entscheidungen zu treffen?
Verbesserung des Lerners: Wenn ich diesen Experten frage, wird seine Antwort dann helfen, meinen eigenen internen Kompass für das nächste Mal schlauer zu trainieren?

Dies verhindert, dass das System Geld für Experten verschwendet, die es bereits gut kennt, und ermutigt es gleichzeitig, Experten zu fragen, die eine plötzliche Änderung des „Wetters" aufdecken könnten.

4. Die Ergebnisse: Weniger Ausgaben, bessere Navigation

Die Autoren testeten dies mit realen Daten (Temperaturen in Melbourne, Klima in Jena und Wetter in Delhi) sowie synthetischen Tests.

Das Ergebnis: Ihr System war bei der Vorhersage von Ergebnissen besser als andere „Bandit"- (Entscheidungsfindungs-) Algorithmen.
Die Effizienz: Das Beste daran? Es erreichte diese Ergebnisse, indem es weniger als 2 % der Zeit um Hilfe bat.
Der Vergleich: Andere Methoden baten oft 30 % bis 90 % der Zeit um Hilfe und performten dennoch schlechter. Das neue System wusste genau, wann es fragen und wann es sich selbst vertrauen sollte.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie sind ein Schüler, der eine Prüfung schreibt.

Alte Methoden: Sie fragen den Lehrer bei fast jeder Frage um Hilfe, weil Sie unsicher sind, oder Sie fragen nie, weil Sie denken, Sie wüssten alles.
L2D-SLDS: Sie haben ein „Bauchgefühl" (Ihr internes Modell). Sie wissen, dass wenn Sie den Lehrer bei einer kniffligen Frage um Hilfe bitten, Sie möglicherweise ein Muster lernen, das Ihnen hilft, später zehn andere Fragen zu lösen. Also fragen Sie den Lehrer nur, wenn die Frage wirklich schwer ist oder wenn die Antwort Ihnen eine wertvolle Lektion über den Stil der Prüfung beibringt. Am Ende erzielen Sie eine höhere Punktzahl, während Sie weniger Fragen stellen.

Der Artikel beweist mathematisch, dass dieser Ansatz auch dann gut funktioniert, wenn sich die Regeln der „Prüfung" auf halber Strecke ändern und der „Lehrer" nicht immer verfügbar ist.

Technischer Zusammenfassung: Learning-to-Defer bei nicht-stationären Zeitreihen mittels Switching State-Space-Modellen

Problemformulierung
Der Beitrag adressiert die Herausforderung des Learning-to-Defer (L2D) in Streaming-Umgebungen mit nicht-stationären Zeitreihen. Im Gegensatz zu Offline-L2D-Szenarien, die eine vollständige Überwachung (Zugriff auf alle Expertenprognosen) und einen festen internen Prädiktor voraussetzen, umfasst das vorgeschlagene Setting:

Asymmetrische partielle Rückmeldung: In jeder Runde $t$ beobachtet das System den Kontext $x_t$ und eine Menge verfügbarer externer Experten $E_t$ . Es muss entscheiden, entweder intern zu prognostizieren (Aktion 0) oder an einen externen Experten $k \in E_t$ zu deferieren (wobei eine Abfragekosten $\beta_k$ anfallen). Entscheidend ist, dass das wahre Ergebnis $y_t$ erst nach der Entscheidung bekannt gegeben wird, wodurch der interne Residuum ( $e_{t,0} = \hat{y}_{t,0} - y_t$ ) stets beobachtbar ist. Externe Residuen werden jedoch nur beobachtet, wenn der entsprechende Experten abgefragt wird; andernfalls bleiben sie zensiert.
Aktionsgekoppeltes Lernen: Der interne Prädiktor $f_{\theta_t}$ wird online trainiert. Routing-Entscheidungen beeinflussen direkt den zukünftigen Zustand des Lerners, da das Abfragen eines Experten ein zusätzliches „Lehrer"-Signal ( $\hat{y}_{t,k}$ ) liefert, das das interne Modell aktualisieren kann.
Nicht-Stationarität und dynamische Expertise: Die Umgebung ist nicht-stationär, wobei die Expertenqualität über latente Regime hinweg schwankt. Darüber hinaus ist der Expertenpool dynamisch; Experten können hinzukommen, verschwinden oder im Laufe der Zeit zurückkehren.

Das Ziel besteht darin, die erwarteten kumulativen Routing-Kosten zu minimieren, indem der unmittelbare Prognosefehler gegen die Abfragekosten abgewogen wird, während gleichzeitig der interne Lerner verbessert und an Regimewechsel angepasst wird.

Methodik: L2D-SLDS
Die Autoren schlagen L2D-SLDS vor, ein einstufiges Online-Framework, das die Residuen des internen Prädiktors und aller potenziellen externen Experten gemeinsam mittels eines faktorisierter Switching Linear-Gaussian State-Space-Modells (SLDS) modelliert.

Generatives Modell: Das Modell zerlegt die latente Zuverlässigkeit jedes Experten $k$ in drei Komponenten:
1. Einen gemeinsamen globalen Faktor $g_t$ , der Expertenübergreifende Korrelationen erfasst und Informationen über den Expertenpool hinweg transferiert.
2. Expenspezifische idiosynkratische Zustände $u_{t,k}$ , die die expertenspezifische Zuverlässigkeit erfassen.
3. Eine diskrete Regime-Variable $z_t$ , die aus $M$ linearen-Gaußschen Dynamiken auswählt und es dem System ermöglicht, sich an strukturelle Änderungen in der Expertenleistung anzupassen.
  Das Residuum für Experten $k$ wird als lineare-Gaußsche Emission des Zuverlässigkeitsvektors $\alpha_{t,k} = B_k g_t + u_{t,k}$ modelliert.
Online-Inferenz: Das System verwendet einen IMM-artigen (Interacting Multiple Model) Zwei-Phasen-Filter:
1. Interne Phase: Wird stets ausgeführt. Sie integriert das stets beobachtbare interne Residuum $e_{t,0}$ , um den gemeinsamen Faktor $g_t$ und die Regime-Gewichte zu aktualisieren. Dies stellt sicher, dass das System selbst dann, wenn kein externer Experten abgefragt wird, seine Überzeugungen über alle nicht abgefragten Experten über den gemeinsamen Faktor aktualisiert.
2. Externe Phase: Wird nur ausgeführt, wenn ein externer Experten abgefragt wird. Sie integriert das beobachtete externe Residuum, um den Zustand des spezifischen Experten und den globalen Faktor weiter zu verfeinern.
3. Register-Verwaltung: Ein dynamisches Register verwaltet die Geburt und den Tod von Experten. Veraltete Experten (die für eine Dauer $\Delta_{max}$ nicht verfügbar waren) werden durch exakte Marginalisierung entfernt, was die Rechen- und Speichereffizienz gewährleistet, ohne die Vorhersageverteilungen der beibehaltenen Experten zu beeinträchtigen.
Lerner-bewerteter Routing-Score: Die Routing-Entscheidung wird durch einen Score $S_t(k)$ gesteuert, der drei Ziele ausbalanciert:
1. Ausbeutung: Die unmittelbaren Mehrkosten beim Abfragen von Experten $k$ im Vergleich zum internen Prädiktor.
2. Exploration (Informationsgewinn): Die bedingte gegenseitige Information $I((z_t, g_t); e_{t,k} | e_{t,0})$ , die misst, wie stark die Abfrage die Unsicherheit über den latenten Zustand reduziert, über das hinaus, was das interne Residuum bereits liefert. Dies wird durch einen geschlossenen Term für den gemeinsamen Faktor und einen Monte-Carlo-Term für die Regime-Identifikation approximiert.
3. Lerner-Verbesserung: Eine Schätzung der erwarteten einstufigen Verbesserung des internen Lerners, basierend auf der Wahrscheinlichkeit, dass der Experten den internen Prädiktor übertreffen wird, und dem Ausmaß dieser Verbesserung.
Aktionsgekoppelte Aktualisierung: Wenn ein Experten abgefragt wird, wird der interne Lerner unter Verwendung eines lehrer-regulierten Ziels aktualisiert. Das Gewicht des Lehrer-Signals ist adaptiv und steuert Aktualisierungen basierend auf der vorhergesagten Zuverlässigkeit des Experten, der realisierten Nützlichkeit und der Diskrepanz zum Lerner.

Hauptbeiträge

Formalisierung: Der Beitrag formalisiert einstufiges Online-L2D für nicht-stationäre Zeitreihen und behandelt explizit asymmetrische partielle Rückmeldung, aktionsgekoppeltes internes Lernen, dynamische Expertenverfügbarkeit und Konsultationskosten.
Algorithmus: Es wird L2D-SLDS eingeführt, ein faktorisierter switching linear-Gaußscher Modell, das skalierbare Inferenz und Expertenübergreifenden Informationsaustausch unter Zensierung ermöglicht. Es umfasst einen Register-Bereinigungsmechanismus, der die Randverteilungen der beibehaltenen Experten erhält.
Routing-Strategie: Ein neuer lerner-bewerteter Abfrage-Score wird vorgeschlagen, der Informationsgewinn über latente Zustände mit der erwarteten Lerner-Verbesserung kombiniert und damit über einfache Kostenminimierung oder reine Exploration hinausgeht.
Theoretische Garantien: Die Autoren beweisen eine Oracle-Regret-Zerlegung gegen einen zeitvariablen Lern-und-Defer-Vergleichspartner. Das Regret wird in ein Abfrage-Bonus-Budget, einen SLDS-Vorhersagekosten-Fehler-Term ( $E_{SLDS}$ ) und das Intervall-dynamische Regret des internen Lerners zerlegt. Unter spezifischen Bedingungen (sublineares $E_{SLDS}$ und zertifizierte interne Lerner) etablieren sie eine sublineare realisierte Regret-Rate.
Empirische Leistung: Umfassende Experimente mit synthetischen Daten und realen Benchmarks (Melbourne, Jena, Delhi) zeigen, dass L2D-SLDS kontextuelle und nicht-stationäre Bandit-Baselines übertrifft und dabei in realen Datenszenarien in weniger als 2 % der Runden deferiert.

Ergebnisse

Synthetische Daten: L2D-SLDS erzielte die niedrigsten Routing-Kosten (0,336) im Vergleich zur besten Bandit-Baseline (0,427). Ablationsstudien bestätigten, dass der gemeinsame Faktor $g_t$ für den Informationsaustausch entscheidend ist, da seine Entfernung die Leistung verschlechterte.
Reale Benchmarks:
- Melbourne: L2D-SLDS erzielte Kosten von 5,914 mit einer Deferierungsrate von 0,8 % und übertraf alle Bandit-Baselines (die zwischen 6,047 und 6,302 lagen und höhere Deferierungsraten aufwiesen).
- Jena: L2D-SLDS erzielte 3,293 mit einer Deferierungsrate von 0,22 %. Bemerkenswert ist, dass es die einzige adaptive Methode war, die den nicht-deferierenden internen Prädiktor (3,297) verbesserte, während alle Bandit-Baselines schlechter abschnitten als die nicht-deferierende Baseline.
- Delhi (24 Experten): L2D-SLDS erzielte 2,528 mit einer Deferierungsrate von 1,70 %. Die stärkste Bandit-Baseline (SharedLinUCB+0) erzielte 2,542, benötigte jedoch eine Deferierungsrate von 34,8 %, was die Effizienz von L2D-SLDS bei der Auswahl hochwertiger Deferierungen unterstreicht.
Ablationen: Das Entfernen des gemeinsamen Faktors oder das Ersetzen des informationsgerichteten Scores durch Thompson-Sampling verschlechterte die Leistung erheblich oder erhöhte die Abfrageraten, was die spezifischen Designentscheidungen des Modells und des Scoring-Mechanismus validiert.

Bedeutung und Behauptungen
Der Beitrag behauptet, die erste Arbeit zu sein, die einen internen Lerner und das Routing zu externen Experten online unter asymmetrischer Rückmeldung, latenten Regimewechseln und dynamischen Expertenregistern gemeinsam trainiert. Die Bedeutung liegt darin, zu demonstrieren, dass ein probabilistisches Modell von Residuen die „zensierte" Natur von Expertenrückmeldungen in nicht-stationären Umgebungen effektiv handhaben kann, wodurch das System über eine gemeinsame latente Struktur hinweg über nicht abgefragte Experten lernen kann. Die Autoren betonen, dass ihr Ansatz konkurrenzfähige oder überlegene Leistung mit drastisch niedrigeren Abfrageraten im Vergleich zu Standard-Bandit-Ansätzen erreicht, was ihn für hochriskante oder kostensensitive Anwendungen geeignet macht, bei denen Deferierung teuer ist. Die theoretische Regret-Zerlegung bietet einen modularen Rahmen zum Verständnis der Trade-offs zwischen Exploration, Prognosefehler und Lerner-Anpassung.