Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Sintesi Tecnica: Apprendimento per la Differimento in Serie Temporali Non Stazionarie tramite Modelli a Spazio di Stato a Commutazione

Formulazione del Problema
Il lavoro affronta la sfida dell'Apprendimento per la Differimento (L2D) in ambienti di serie temporali in streaming e non stazionari. A differenza degli scenari L2D offline che presuppongono una supervisione completa (accesso a tutte le previsioni degli esperti) e un predittore interno fisso, lo scenario proposto coinvolge:

1. Feedback Parziale Asimmetrico: Ad ogni round $t$, il sistema osserva il contesto $x_t$ e un insieme di esperti esterni disponibili $E_t$. Deve scegliere se prevedere internamente (azione 0) o deferire a un esperto esterno $k \in E_t$ (sostenendo un costo di query $\beta_k$). Crucialmente, il vero esito $y_t$ viene rivelato dopo la decisione, rendendo il residuo interno ($e_{t,0} = \hat{y}_{t,0} - y_t$) sempre osservabile. Tuttavia, i residui esterni sono osservati solo se viene interrogato l'esperto corrispondente; altrimenti, rimangono censurati.
2. Apprendimento Accoppiato all'Azione: Il predittore interno $f_{\theta_t}$ è addestrato online. Le decisioni di instradamento influenzano direttamente lo stato futuro dell'apprenditore, poiché interrogare un esperto fornisce un segnale "insegnante" aggiuntivo ($\hat{y}_{t,k}$) che può aggiornare il modello interno.
3. Non Stazionarietà e Competenze Dinamiche: L'ambiente è non stazionario, con la qualità degli esperti che cambia attraverso regimi latenti. Inoltre, il pool di esperti è dinamico; gli esperti possono entrare, uscire o rientrare nel tempo.

L'obiettivo è minimizzare il costo cumulativo atteso di instradamento, bilanciando l'errore di previsione immediato con i costi di query, migliorando simultaneamente l'apprenditore interno e adattandosi ai cambiamenti di regime.

Metodologia: L2D-SLDS
Gli autori propongono L2D-SLDS, un framework online a fase singola che modella congiuntamente i residui del predittore interno e di tutti i potenziali esperti esterni utilizzando un Modello a Spazio di Stato Lineare-Gaussiano a Commutazione (SLDS) fattorizzato.

• Modello Generativo: Il modello scompone l'affidabilità latente di ciascun esperto $k$ in tre componenti:

  1. Un fattore globale condiviso $g_t$ che cattura le correlazioni tra esperti e trasferisce informazioni attraverso il pool di esperti.
  2. Stati idiosincratici per esperto $u_{t,k}$ che catturano l'affidabilità specifica dell'esperto.
  3. Una variabile di regime discreta $z_t$ che seleziona tra $M$ dinamiche lineari-gaussiane, permettendo al sistema di adattarsi ai cambiamenti strutturali nelle prestazioni degli esperti.
     Il residuo per l'esperto $k$ è modellato come un'emissione lineare-gaussiana del vettore di affidabilità $\alpha_{t,k} = B_k g_t + u_{t,k}$.

• Inferenza Online: Il sistema impiega un filtro a due fasi di tipo IMM (Interacting Multiple Model):

  1. Fase Interna: Sempre eseguita. Incorpora il residuo interno sempre osservato $e_{t,0}$ per aggiornare il fattore condiviso $g_t$ e i pesi del regime. Ciò garantisce che, anche quando nessun esperto esterno viene interrogato, il sistema aggiorni le sue credenze su tutti gli esperti non interrogati tramite il fattore condiviso.
  2. Fase Esterna: Eseguita solo se viene interrogato un esperto esterno. Incorpora il residuo esterno osservato per affinare ulteriormente lo stato specifico dell'esperto e il fattore globale.
  3. Gestione del Registro: Un registro dinamico gestisce le nascite e le morti degli esperti. Gli esperti obsoleti (non disponibili per una durata $\Delta_{max}$) vengono potati tramite marginalizzazione esatta, garantendo efficienza computazionale e di memoria senza influenzare le distribuzioni predittive degli esperti mantenuti.

• Punteggio di Instradamento Consapevole dell'Apprenditore: La decisione di instradamento è guidata da un punteggio $S_t(k)$ che bilancia tre obiettivi:

  1. Sfruttamento: Il costo eccessivo immediato di interrogare l'esperto $k$ rispetto al predittore interno.
  2. Esplorazione (Guadagno di Informazione): L'informazione reciproca condizionata $I((z_t, g_t); e_{t,k} | e_{t,0})$, che misura quanto la query riduce l'incertezza sullo stato latente oltre quanto già fornito dal residuo interno. Ciò è approssimato tramite un termine in forma chiusa per il fattore condiviso e un termine Monte Carlo per l'identificazione del regime.
  3. Miglioramento dell'Apprenditore: Una stima del miglioramento atteso a un passo per l'apprenditore interno, basata sulla probabilità che l'esperto superi il predittore interno e sulla magnitudine di tale miglioramento.

• Aggiornamento Accoppiato all'Azione: Quando un esperto viene interrogato, l'apprenditore interno viene aggiornato utilizzando un obiettivo regolarizzato dall'insegnante. Il peso del segnale insegnante è adattivo, regolando gli aggiornamenti in base all'affidabilità prevista dell'esperto, all'utilità realizzata e al disaccordo con l'apprenditore.

Contributi Chiave

1. Formalizzazione: Il lavoro formalizza l'L2D online a fase singola per serie temporali non stazionarie, gestendo esplicitamente il feedback parziale asimmetrico, l'apprendimento interno accoppiato all'azione, la disponibilità dinamica degli esperti e i costi di consultazione.
2. Algoritmo: Introduce L2D-SLDS, un modello lineare-gaussiano a commutazione fattorizzato che abilita un'inferenza scalabile e il trasferimento di informazioni tra esperti sotto censura. Include un meccanismo di potatura del registro che preserva le distribuzioni marginali degli esperti mantenuti.
3. Strategia di Instradamento: Viene proposto un nuovo punteggio di query consapevole dell'apprenditore, che combina il guadagno di informazione dello stato latente con il miglioramento atteso dell'apprenditore, andando oltre la semplice minimizzazione dei costi o la pura esplorazione.
4. Garanzie Teoriche: Gli autori dimostrano una decomposizione del rimpianto (regret) oracolo rispetto a un comparatore apprendi-e-differisci variabile nel tempo. Il rimpianto è scomposto in un budget di bonus di query, un termine di errore di costo predittivo SLDS ($E_{SLDS}$) e il rimpianto dinamico a intervallo dell'apprenditore interno. Sotto condizioni specifiche ($E_{SLDS}$ sublineare e apprenditori interni certificati), stabiliscono un tasso di rimpianto realizzato sublineare.
5. Prestazioni Empiriche: Estesi esperimenti su dati sintetici e benchmark reali (Melbourne, Jena, Delhi) dimostrano che L2D-SLDS supera le linee di base dei banditi contestuali e non stazionari, differendo in meno del 2% dei round negli scenari con dati reali.

Risultati

• Dati Sintetici: L2D-SLDS ha ottenuto il costo di instradamento più basso (0,336) rispetto alla migliore linea di base a bandito (0,427). Studi di ablazione hanno confermato che il fattore condiviso $g_t$ è critico per il trasferimento di informazioni, poiché la sua rimozione ha degradato le prestazioni.
• Benchmark Reali:
  • Melbourne: L2D-SLDS ha ottenuto un costo di 5,914 con un tasso di differimento dello 0,8%, superando tutte le linee di base a bandito (che variavano da 6,047 a 6,302 e presentavano tassi di differimento più elevati).
  • Jena: L2D-SLDS ha ottenuto 3,293 con un tasso di differimento dello 0,22%. Significativamente, è stato l'unico metodo adattivo a migliorare rispetto al predittore interno non differente (3,297), mentre tutte le linee di base a bandito hanno performato peggio della linea di base non differente.
  • Delhi (24 Esperti): L2D-SLDS ha ottenuto 2,528 con un tasso di differimento dell'1,70%. La linea di base a bandito più forte (SharedLinUCB+0) ha ottenuto 2,542 ma ha richiesto un tasso di differimento del 34,8%, evidenziando l'efficienza di L2D-SLDS nella selezione di differimenti ad alto valore.
• Ablazioni: La rimozione del fattore condiviso o la sostituzione del punteggio diretto all'informazione con il campionamento di Thompson hanno degradato significativamente le prestazioni o aumentato i tassi di query, validando le scelte progettuali specifiche del modello e del meccanismo di punteggio.

Significato e Affermazioni
Il lavoro afferma di essere il primo a addestrare congiuntamente un apprenditore interno e instradare verso esperti esterni online sotto feedback asimmetrico, cambi di regime latenti e registri dinamici di esperti. Il significato risiede nel dimostrare che un modello probabilistico dei residui può gestire efficacemente la natura "censurata" del feedback degli esperti in ambienti non stazionari, permettendo al sistema di apprendere sugli esperti non interrogati attraverso una struttura latente condivisa. Gli autori sottolineano che il loro approccio raggiunge prestazioni competitive o superiori con tassi di query drasticamente inferiori rispetto agli approcci standard a bandito, rendendolo adatto ad applicazioni ad alto rischio o sensibili ai costi dove il differimento è costoso. La decomposizione teorica del rimpianto fornisce un framework modulare per comprendere i compromessi tra esplorazione, errore di previsione e adattamento dell'apprenditore.