Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

Resumo Técnico: Aprendizado para Adiar em Séries Temporais Não Estacionárias via Modelos de Espaço de Estados com Comutação

Formulação do Problema
O artigo aborda o desafio do Aprendizado para Adiar (L2D) em ambientes de séries temporais em fluxo e não estacionários. Diferentemente dos cenários L2D offline que assumem supervisão completa (acesso a todas as previsões de especialistas) e um preditor interno fixo, o cenário proposto envolve:

1. Feedback Parcial Assimétrico: Em cada rodada $t$, o sistema observa o contexto $x_t$ e um conjunto de especialistas externos disponíveis $E_t$. Deve escolher entre prever internamente (ação 0) ou adiar para um especialista externo $k \in E_t$ (incorrendo em um custo de consulta $\beta_k$). Crucialmente, o resultado verdadeiro $y_t$ é revelado após a decisão, tornando o resíduo interno ($e_{t,0} = \hat{y}_{t,0} - y_t$) sempre observável. No entanto, resíduos externos são observados apenas se o especialista correspondente for consultado; caso contrário, permanecem censurados.
2. Aprendizado Acoplado à Ação: O preditor interno $f_{\theta_t}$ é treinado online. Decisões de roteamento influenciam diretamente o estado futuro do aprendiz, pois consultar um especialista fornece um sinal adicional de "professor" ($\hat{y}_{t,k}$) que pode atualizar o modelo interno.
3. Não Estacionariedade e Expertise Dinâmica: O ambiente é não estacionário, com a qualidade dos especialistas mudando entre regimes latentes. Além disso, o conjunto de especialistas é dinâmico; especialistas podem entrar, sair ou retornar ao longo do tempo.

O objetivo é minimizar o custo cumulativo esperado de roteamento, equilibrando o erro de previsão imediato contra os custos de consulta, enquanto se melhora simultaneamente o aprendiz interno e se adapta às mudanças de regime.

Metodologia: L2D-SLDS
Os autores propõem o L2D-SLDS, um framework online de estágio único que modela conjuntamente os resíduos do preditor interno e de todos os especialistas externos potenciais usando um Modelo de Espaço de Estados Linear-Gaussiano com Comutação Fatorizado (SLDS).

• Modelo Generativo: O modelo decompõe a confiabilidade latente de cada especialista $k$ em três componentes:

  1. Um fator global compartilhado $g_t$ que captura correlações entre especialistas e transfere informações através do conjunto de especialistas.
  2. Estados idiossincráticos por especialista $u_{t,k}$ que capturam a confiabilidade específica de cada especialista.
  3. Uma variável de regime discreta $z_t$ que seleciona entre $M$ dinâmicas linear-Gaussianas, permitindo que o sistema se adapte a mudanças estruturais no desempenho dos especialistas.
     O resíduo para o especialista $k$ é modelado como uma emissão linear-Gaussiana do vetor de confiabilidade $\alpha_{t,k} = B_k g_t + u_{t,k}$.

• Inferência Online: O sistema emprega um filtro de duas fases no estilo IMM (Múltiplos Modelos Interagentes):

  1. Fase Interna: Sempre executada. Incorpora o resíduo interno sempre observado $e_{t,0}$ para atualizar o fator compartilhado $g_t$ e os pesos de regime. Isso garante que, mesmo quando nenhum especialista externo é consultado, o sistema atualize suas crenças sobre todos os especialistas não consultados através do fator compartilhado.
  2. Fase Externa: Executada apenas se um especialista externo for consultado. Incorpora o resíduo externo observado para refinar ainda mais o estado do especialista específico e o fator global.
  3. Gerenciamento de Registro: Um registro dinâmico gerencia nascimentos e mortes de especialistas. Especialistas obsoletos (indisponíveis por uma duração $\Delta_{max}$) são podados via marginalização exata, garantindo eficiência computacional e de memória sem afetar as distribuições preditivas dos especialistas retidos.

• Score de Roteamento Consciente do Aprendiz: A decisão de roteamento é impulsionada por uma pontuação $S_t(k)$ que equilibra três objetivos:

  1. Exploração: O custo excessivo imediato de consultar o especialista $k$ versus o preditor interno.
  2. Exploração (Ganho de Informação): A informação mútua condicional $I((z_t, g_t); e_{t,k} | e_{t,0})$, medindo o quanto a consulta reduz a incerteza sobre o estado latente além do que o resíduo interno já fornece. Isso é aproximado via um termo de forma fechada para o fator compartilhado e um termo de Monte Carlo para identificação de regime.
  3. Melhoria do Aprendiz: Uma estimativa da melhoria esperada de um passo para o aprendiz interno, baseada na probabilidade de o especialista superar o preditor interno e na magnitude dessa melhoria.

• Atualização Acoplada à Ação: Quando um especialista é consultado, o aprendiz interno é atualizado usando um objetivo regularizado por professor. O peso do sinal do professor é adaptativo, controlando atualizações com base na confiabilidade prevista do especialista, na utilidade realizada e na discordância com o aprendiz.

Principais Contribuições

1. Formalização: O artigo formaliza o L2D online de estágio único para séries temporais não estacionárias, lidando explicitamente com feedback parcial assimétrico, aprendizado interno acoplado à ação, disponibilidade dinâmica de especialistas e custos de consulta.
2. Algoritmo: Introduz o L2D-SLDS, um modelo linear-Gaussiano com comutação fatorizado que permite inferência escalável e transferência de informação entre especialistas sob censura. Inclui um mecanismo de poda de registro que preserva as distribuições marginais dos especialistas retidos.
3. Estratégia de Roteamento: Propõe uma nova pontuação de consulta consciente do aprendiz, combinando ganho de informação do estado latente com melhoria esperada do aprendiz, indo além da simples minimização de custos ou exploração pura.
4. Garantias Teóricas: Os autores provam uma decomposição de arrependimento de oráculo contra um comparador de aprender e adiar variável no tempo. O arrependimento é decomposto em um orçamento de bônus de consulta, um termo de erro de custo preditivo do SLDS ($E_{SLDS}$) e o arrependimento dinâmico de intervalo do aprendiz interno. Sob condições específicas ($E_{SLDS}$ sublinear e aprendizes internos certificados), estabelecem uma taxa de arrependimento realizado sublinear.
5. Desempenho Empírico: Experimentos extensivos em dados sintéticos e benchmarks do mundo real (Melbourne, Jena, Delhi) demonstram que o L2D-SLDS supera as linhas de base de banditos contextuais e não estacionários, adiando em menos de 2% das rodadas em cenários de dados reais.

Resultados

• Dados Sintéticos: O L2D-SLDS alcançou o menor custo de roteamento (0,336) comparado à melhor linha de base de bandito (0,427). Estudos de ablação confirmaram que o fator compartilhado $g_t$ é crítico para a transferência de informação, pois sua remoção degradou o desempenho.
• Benchmarks do Mundo Real:
  • Melbourne: O L2D-SLDS alcançou um custo de 5,914 com uma taxa de adiamento de 0,8%, superando todas as linhas de base de bandito (que variaram de 6,047 a 6,302 e tiveram taxas de adiamento mais altas).
  • Jena: O L2D-SLDS alcançou 3,293 com uma taxa de adiamento de 0,22%. Notavelmente, foi o único método adaptativo a melhorar sobre o preditor interno não adiador (3,297), enquanto todas as linhas de base de bandito performaram pior que a linha de base não adiadora.
  • Delhi (24 Especialistas): O L2D-SLDS alcançou 2,528 com uma taxa de adiamento de 1,70%. A linha de base de bandito mais forte (SharedLinUCB+0) alcançou 2,542, mas exigiu uma taxa de adiamento de 34,8%, destacando a eficiência do L2D-SLDS na seleção de adiamentos de alto valor.
• Ablações: Remover o fator compartilhado ou substituir a pontuação direcionada à informação por amostragem de Thompson degradou significativamente o desempenho ou aumentou as taxas de consulta, validando as escolhas de design específicas do modelo e do mecanismo de pontuação.

Significado e Alegações
O artigo alega ser o primeiro trabalho a treinar conjuntamente um aprendiz interno e rotear para especialistas externos online sob feedback assimétrico, comutação de regimes latentes e registros dinâmicos de especialistas. O significado reside em demonstrar que um modelo probabilístico de resíduos pode lidar efetivamente com a natureza "censurada" do feedback de especialistas em cenários não estacionários, permitindo que o sistema aprenda sobre especialistas não consultados através de uma estrutura latente compartilhada. Os autores enfatizam que sua abordagem alcança desempenho competitivo ou superior com taxas de consulta drasticamente menores comparadas a abordagens padrão de bandito, tornando-a adequada para aplicações de alto risco ou sensíveis a custos onde o adiamento é caro. A decomposição teórica do arrependimento fornece um framework modular para entender as compensações entre exploração, erro de previsão e adaptação do aprendiz.