📊 statistics

Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Dit artikel introduceert L2D-SLDS, een online leer-om-uitstelkader voor niet-stationaire tijdreeksen dat gebruikmaakt van een schakelend lineair-Gaussiaans toestandsruimtemodel om beslissingen dynamisch te routeren tussen een interne voorspeller en externe experts, terwijl zowel het spijtverlies als de uitstelpercentages worden geminimaliseerd.

Oorspronkelijke auteurs: Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een schip dat vaart door een mistige, voortdurend veranderende zee. Je hebt je eigen kompas (je interne AI-model), maar je hebt ook een vloot van lokale vuurtorenwachters (externe experts) die richtingen kunnen toeroepen als je hen vraagt. Het vragen om een vuurtorenwachter kost echter geld, en soms zijn ze er zelfs niet.

De grote vraag is: Wanneer moet je vertrouwen op je eigen kompas, en wanneer moet je betalen om een vuurtorenwachter te vragen?

Dit artikel introduceert een nieuwe methode genaamd L2D-SLDS om dit probleem op te lossen, specifiek voor situaties waarin het weer (de data) voortdurend verandert en de vuurtorenwachters komen en gaan.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Offline"-Valstrik

De meeste eerdere methoden voor dit probleem waren als het bestuderen van een kaart van een kalme, statische oceaan. Ze gingen uit van:

Het weer verandert nooit.
Alle vuurtorenwachters staan altijd op het dek.
Je kunt elk vuurtorenwachtergeschreeuw horen, zelfs als je hen niet hebt gevraagd.

In de echte wereld (zoals het voorspellen van aandelenprijzen of weer) is niets daarvan waar. Het weer verandert plotseling (niet-stationair), wachters vertrekken en keren terug (dynamische beschikbaarheid), en je hoort alleen degene die je specifiek vraagt (asymmetrische feedback). Als je de oude "statische kaart"-methoden gebruikt, raak je verdwaald of verspil je te veel geld aan het vragen om richtingen.

2. De Oplossing: Een "Gedeeld Geheim"-Netwerk

De auteurs stellen een systeem voor dat alle experts (en je eigen AI) behandelt als onderdeel van één enkel, verbonden team. Ze gebruiken een slimme wiskundige truc genaamd een Switching Linear-Gaussian State-Space Model.

Denk hierbij aan het volgende:

De Gedeelde Factor (De "Groepschat"): Stel je voor dat alle vuurtorenwachters in een groepschat zitten. Zelfs als je maar één wachter een vraag stelt, geeft het antwoord je aanwijzingen over wat de andere wachters denken, omdat ze allemaal een gemeenschappelijke "sfeer" of "regime" delen (zoals een stormfront of een zonnige dag).
De Idiosyncratische Staten (De "Persoonlijke Eigenaardigheden"): Elke wachter heeft ook zijn eigen persoonlijke eigenaardigheden. Het systeem leert deze apart.
De Schakelende Regimes (De "Weerpatronen"): Het systeem weet dat de regels veranderen. Soms is het een "Stormmodus" waarin Expert A geweldig is, en soms een "Zonnige Modus" waarin Expert B geweldig is. Het systeem raadt voortdurend welke modus het is.

De Magie: Door de "Groepschat" (Gedeelde Factor) update je systeem, zelfs als je geen expert vraagt, zijn overtuiging over hen gewoon door je eigen interne kompas te observeren en de ene expert die je wel hebt gevraagd. Het is als horen hoe één persoon in een drukke kamer lacht en beseffen dat de hele kamer in een goede bui is, zelfs als je met de anderen niet hebt gesproken.

3. De Beslissing: De "Slimme Query-score"

Wanneer het systeem moet beslissen of het een expert moet vragen, kijkt het niet alleen naar wie het goedkoopst is. Het gebruikt een "Slimme Score" die drie dingen in evenwicht brengt:

Directe Kosten: Is de expert waarschijnlijk beter dan mijn eigen gok op dit moment?
Informatiewinst: Zelfs als de expert duur is, zal het vragen om hen me iets leren over de "Groepschat" (de gedeelde staat) dat me helpt betere beslissingen te nemen later?
Lerarenverbetering: Als ik deze expert vraag, zal hun antwoord dan helpen mijn eigen interne kompas slimmer te maken voor de volgende keer?

Dit voorkomt dat het systeem geld verspilt aan experts die het al goed kent, terwijl het het moedigt om experts te vragen die een plotselinge verandering in het "weer" kunnen onthullen.

4. De Resultaten: Minder Uitgaven, Betere Navigatie

De auteurs hebben dit getest op real-world data (temperaturen in Melbourne, klimaat in Jena en weer in Delhi) en synthetische tests.

Het Resultaat: Hun systeem was beter in het voorspellen van uitkomsten dan andere "bandit" (besluitvormings) algoritmen.
De Efficiëntie: Het beste deel? Het behaalde deze resultaten terwijl het minder dan 2% van de tijd om hulp vroeg.
De Vergelijking: Andere methoden vroegen vaak 30% tot 90% van de tijd om hulp en presteerden toch slechter. Het nieuwe systeem wist precies wanneer het moest vragen en wanneer het op zichzelf moest vertrouwen.

Samenvattende Analogie

Stel je voor dat je een student bent die een toets maakt.

Oude Methoden: Je vraagt de leraar om hulp bij bijna elke vraag omdat je niet zeker bent, of je vraagt nooit omdat je denkt alles te weten.
L2D-SLDS: Je hebt een "buikgevoel" (je interne model). Je weet dat als je de leraar vraagt over één lastige vraag, je misschien een patroon leert dat je helpt om tien andere vragen later op te lossen. Dus, je vraagt de leraar alleen als de vraag echt moeilijk is of als het antwoord je een waardevolle les zal leren over de stijl van de toets. Je eindigt met een hogere score terwijl je minder vragen stelt.

Het artikel bewijst wiskundig dat deze aanpak goed werkt, zelfs als de "toets" halverwege de regels verandert en de "leraar" niet altijd beschikbaar is.

Technische Samenvatting: Learning-to-Defer in Niet-Stationaire Tijdsreeksen via Schakelende Toestandsruimtemodellen

Probleemformulering
Het artikel adresseert de uitdaging van Learning-to-Defer (L2D) in streaming, niet-stationaire tijdsreeksomgevingen. In tegenstelling tot offline L2D-scenario's die volledige supervisie (toegang tot alle expertvoorspellingen) en een vaste interne voorspeller veronderstellen, omvat het voorgestelde scenario:

Asymmetrische Gedeeltelijke Feedback: Bij elke ronde $t$ observeert het systeem de context $x_t$ en een set beschikbare externe experts $E_t$ . Het moet kiezen om ofwel intern te voorspellen (actie 0) of om door te verwijzen naar een externe expert $k \in E_t$ (waarbij een querykosten $\beta_k$ wordt gemaakt). Cruciaal is dat het ware resultaat $y_t$ pas na de beslissing wordt onthuld, waardoor het interne residu ( $e_{t,0} = \hat{y}_{t,0} - y_t$ ) altijd observeerbaar is. Externe residuen worden echter alleen waargenomen als de betreffende expert wordt bevraagd; anders blijven ze gecensureerd.
Actie-gekoppeld Leren: De interne voorspeller $f_{\theta_t}$ wordt online getraind. Routeringsbeslissingen beïnvloeden direct de toekomstige toestand van de leraar, omdat het bevragen van een expert een extra "leraar"-signaal ( $\hat{y}_{t,k}$ ) oplevert dat het interne model kan updaten.
Niet-Stationariteit en Dynamische Expertise: De omgeving is niet-stationair, waarbij de kwaliteit van experts verschuift over latente regimes. Bovendien is de pool van experts dynamisch; experts kunnen in de loop van de tijd binnenkomen, vertrekken of terugkeren.

Het doel is om de verwachte cumulatieve routeringskosten te minimaliseren, door directe voorspellingsfouten af te wegen tegen querykosten, terwijl tegelijkertijd de interne leraar wordt verbeterd en er wordt aangepast aan regimeverschuivingen.

Methodologie: L2D-SLDS
De auteurs stellen L2D-SLDS voor, een één-staps online raamwerk dat gezamenlijk de residuen van de interne voorspeller en alle potentiële externe experts modelleert met behulp van een gefactoriseerd Schakelend Lineair-Gaussisch Toestandsruimtemodel (SLDS).

Generatief Model: Het model decomposeert de latente betrouwbaarheid van elke expert $k$ in drie componenten:
1. Een gedeeld globaal factor $g_t$ die cross-expert correlaties vastlegt en informatie overdraagt over de expertpool.
2. Per-expert idiosyncratische toestanden $u_{t,k}$ die expert-specifieke betrouwbaarheid vastleggen.
3. Een discreet regimevariabele $z_t$ die kiest uit $M$ lineair-Gaussische dynamica, waardoor het systeem zich kan aanpassen aan structurele veranderingen in expertprestaties.
  Het residu voor expert $k$ wordt gemodelleerd als een lineair-Gaussische emissie van het betrouwbaarheidsvector $\alpha_{t,k} = B_k g_t + u_{t,k}$ .
Online Inference: Het systeem maakt gebruik van een IMM-stijl (Interacting Multiple Model) twee-fase filter:
1. Interne Fase: Altijd uitgevoerd. Het integreert het altijd waargenomen interne residu $e_{t,0}$ om de gedeelde factor $g_t$ en regimegewichten bij te werken. Dit zorgt ervoor dat het systeem, zelfs wanneer geen externe expert wordt bevraagd, zijn overtuigingen over alle niet-bevraagde experts bijwerkt via de gedeelde factor.
2. Externe Fase: Alleen uitgevoerd als een externe expert wordt bevraagd. Het integreert het waargenomen externe residu om de toestand van de specifieke expert en de globale factor verder te verfijnen.
3. Registratiebeheer: Een dynamische registratie behandelt geboorten en sterfgevallen van experts. Verouderde experts (niet beschikbaar gedurende een duur $\Delta_{max}$ ) worden verwijderd via exacte marginalisatie, wat zorgt voor reken- en geheugenefficiëntie zonder de voorspellende distributies van behouden experts te beïnvloeden.
Leraar-bewuste Routeringsscore: De routeringsbeslissing wordt gedreven door een score $S_t(k)$ die drie doelen in evenwicht brengt:
1. Exploitatie: De directe extra kosten van het bevragen van expert $k$ versus de interne voorspeller.
2. Exploratie (Informatiewinst): De conditionele wederzijdse informatie $I((z_t, g_t); e_{t,k} | e_{t,0})$ , die meet hoeveel de query de onzekerheid over de latente toestand vermindert, verder dan wat het interne residu al biedt. Dit wordt benaderd via een gesloten-vorm term voor de gedeelde factor en een Monte Carlo-term voor regime-identificatie.
3. Leraarverbetering: Een schatting van de verwachte één-staps verbetering voor de interne leraar, gebaseerd op de kans dat de expert de interne voorspeller zal overtreffen en de omvang van die verbetering.
Actie-gekoppelde Update: Wanneer een expert wordt bevraagd, wordt de interne leraar bijgewerkt met een leraar-geregulariseerde doelstelling. Het gewicht van het leraarsignaal is adaptief en schakelt updates in op basis van de voorspelde betrouwbaarheid van de expert, de gerealiseerde nuttigheid en het verschil met de leraar.

Belangrijkste Bijdragen

Formalisatie: Het artikel formaliseert één-staps online L2D voor niet-stationaire tijdsreeksen, waarbij expliciet wordt omgegaan met asymmetrische gedeeltelijke feedback, actie-gekoppeld intern leren, dynamische expertbeschikbaarheid en consultatiekosten.
Algoritme: Het introduceert L2D-SLDS, een gefactoriseerd schakelend lineair-Gaussisch model dat schaalbare inferentie en informatieoverdracht tussen experts onder censuur mogelijk maakt. Het bevat een mechanisme voor het verwijderen van registraties dat de marginale distributies van behouden experts behoudt.
Routeringsstrategie: Er wordt een nieuwe leraar-bewuste queryscore voorgesteld, die latente-toestand informatiewinst combineert met verwachte leraarverbetering, en zo voorbijgaat aan eenvoudige kostenminimalisatie of pure exploratie.
Theoretische Garanties: De auteurs bewijzen een orakel-regret decompositie tegen een tijdvariërende learn-and-defer comparator. De regret wordt ontleed in een query-bonus begroting, een SLDS voorspellingskosten-foutterm ( $E_{SLDS}$ ), en de interval-dynamische regret van de interne leraar. Onder specifieke voorwaarden (sublineaire $E_{SLDS}$ en gecertificeerde interne leraars) stellen ze een sublineaire gerealiseerde regret-snelheid vast.
Empirische Prestaties: Uitgebreide experimenten op synthetische data en real-world benchmarks (Melbourne, Jena, Delhi) tonen aan dat L2D-SLDS presteert beter dan contextuele en niet-stationaire bandit-baselines, terwijl het in real-data scenario's op minder dan 2% van de rondes doorverwijst.

Resultaten

Synthetische Data: L2D-SLDS behaalde de laagste routeringskosten (0,336) vergeleken met de beste bandit-baseline (0,427). Ablatiestudies bevestigden dat de gedeelde factor $g_t$ cruciaal is voor informatieoverdracht, aangezien het verwijderen ervan de prestaties verslechterde.
Real-World Benchmarks:
- Melbourne: L2D-SLDS behaalde een kosten van 5,914 met een doorverwijzingspercentage van 0,8%, en presteerde beter dan alle bandit-baselines (die varieerden van 6,047 tot 6,302 en hogere doorverwijzingspercentages hadden).
- Jena: L2D-SLDS behaalde 3,293 met een doorverwijzingspercentage van 0,22%. Opmerkelijk is dat het de enige adaptieve methode was die de niet-doorverwijzende interne voorspeller (3,297) verbeterde, terwijl alle bandit-baselines slechter presteerden dan de niet-doorverwijzende baseline.
- Delhi (24 Experts): L2D-SLDS behaalde 2,528 met een doorverwijzingspercentage van 1,70%. De sterkste bandit-baseline (SharedLinUCB+0) behaalde 2,542 maar vereiste een doorverwijzingspercentage van 34,8%, wat de efficiëntie van L2D-SLDS benadrukt bij het selecteren van hoogwaardige doorverwijzingen.
Ablaties: Het verwijderen van de gedeelde factor of het vervangen van de op informatie gerichte score door Thompson sampling verslechterde de prestaties aanzienlijk of verhoogde de querypercentages, wat de specifieke ontwerpkeuzes van het model en het scoremechanisme valideert.

Betekenis en Claims
Het artikel claimt het eerste werk te zijn dat een interne leraar en externe experts online gezamenlijk traint onder asymmetrische feedback, latente regime-schakelingen en dynamische expertregistraties. De betekenis ligt in het aantonen dat een probabilistisch model van residuen effectief kan omgaan met de "gecensureerde" aard van expertfeedback in niet-stationaire settings, waardoor het systeem over niet-bevraagde experts kan leren via een gedeelde latente structuur. De auteurs benadrukken dat hun aanpak concurrerende of superieure prestaties bereikt met drastisch lagere querypercentages vergeleken met standaard bandit-aanpakken, waardoor het geschikt is voor hoog-risico of kostengevoelige toepassingen waar doorverwijzing duur is. De theoretische regret-decompositie biedt een modulair raamwerk voor het begrijpen van de afwegingen tussen exploratie, voorspellingsfout en leraar-adaptatie.