Resumo Técnico: Aprendizado em Contexto para Controle de Inventário Censurado Baseado em Dados

Declaração do Problema

O artigo aborda o problema do Vendedor de Jornais Repetido (R-NV), um cenário canônico de tomada de decisão operacional caracterizado por incerteza dependente da decisão e censura à direita. Neste cenário, um tomador de decisões seleciona uma quantidade de pedido $X_t$ a cada período. A demanda latente $D_t$ é apenas parcialmente observada: se $D_t \le X_t$, a demanda exata é observada; se $D_t > X_t$ (ruptura de estoque), apenas o valor de vendas $X_t$ e um indicador de ruptura de estoque são observados. Esta censura cria uma tensão fundamental entre exploração e exploração: pedidos conservadores minimizam os custos imediatos de manutenção, mas aumentam a censura, prejudicando assim o aprendizado futuro sobre a distribuição da demanda.

As abordagens existentes enfrentam limitações significativas:

1. Amostragem de Thompson Paramétrica (TS): Embora teoricamente poderosa, a TS depende de uma priori corretamente especificada. Na prática, um desajuste da priori pode levar a uma degradação severa do desempenho.
2. Imputação Offline: Métodos que tentam descensurar a demanda (por exemplo, via estimadores de Kaplan-Meier) são tipicamente confinados a configurações offline e carecem de garantias teóricas para tomada de decisão sequencial online.

Os autores visam preencher esta lacuna desenvolvendo um algoritmo de aprendizado online que fornece garantias de desempenho em espaços de ação contínuos sem exigir uma priori paramétrica conhecida, ao mesmo tempo em que lida efetivamente com a estrutura de dados ausentes induzida pela censura.

Metodologia: Amostragem de Posteriori Generativa em Contexto (ICGPS)

A solução proposta, Amostragem de Posteriori Generativa em Contexto (ICGPS), reformula o problema de aprendizado através de uma perspectiva de "dados ausentes". Em vez de estimar parâmetros, o algoritmo trata os componentes de demanda não observados como resultados ausentes que podem ser "completados" consistentemente com o mecanismo de feedback observado.

Estrutura Central

1. Treinamento Meta Offline: Um modelo generativo condicional é treinado em dados históricos (episódios offline) para aprender um kernel de completude. Este modelo aprende a amostrar trajetórias de demanda plenas plausíveis $D_{1:T}$ condicionadas ao histórico observado $H_{t-1}$ (que inclui ações, vendas e indicadores de censura).
   • Função de Perda: O modelo é treinado usando uma verossimilhança negativa consciente de censura. Observações não censuradas contribuem com um termo de densidade, enquanto observações censuradas contribuem com um termo de sobrevivência (análogo à análise de sobrevivência).
2. Adaptação Online em Contexto: Durante a implantação, o modelo é congelado. Em cada passo de tempo $t$, o algoritmo:
   • Amostra uma trajetória de demanda completa $\tilde{D}^{(t)}_{1:T}$ da distribuição condicional aprendida $p_\theta(\cdot | H_{t-1})$.
   • Aplicação de Restrições: Crucialmente, o processo de amostragem aplica restrições de consistência rígidas. Se um período passado $s < t$ foi censurado (ruptura de estoque), a demanda amostrada $\tilde{D}_s$ deve satisfazer $\tilde{D}_s > X_s$. Isso é alcançado via condicionamento de cauda (amostragem a partir da cauda condicional da distribuição).
   • Ação Oráculo: O algoritmo computa a ação "oráculo" para a trajetória amostrada. Para o problema R-NV, esta é a quantil empírico $\gamma$ (onde $\gamma = b/(b+h)$ é o fractal crítico) da sequência de demanda completada.
   • O tomador de decisões executa esta ação, observa novo feedback censurado e atualiza o histórico de contexto sem atualizar os parâmetros do modelo.

Arquitetura: ChronosFlow

Para instanciar a ICGPS na prática, os autores propõem o ChronosFlow, uma arquitetura modular:

• Backbone: Um transformer de séries temporais Chronos-2 congelado (pré-treinado em conjuntos de dados massivos) que extrai recursos de quantil em contexto do histórico.
• Cabeça: Um Fluxo Normalizante Condicional (CNF) leve que mapeia o vetor de contexto para uma distribuição condicional sobre a demanda. O CNF permite amostragem exata por transformação inversa, facilitando a aplicação de restrições de censura (condicionamento de cauda) durante a geração online.

Contribuições Teóricas

O artigo fornece uma análise rigorosa de arrependimento bayesiano que decompõe o desempenho da política ICGPS implantada em dois termos:

1. Arrependimento de Referência Ideal (Termo I): O arrependimento de uma política de Amostragem de Thompson ideal que utiliza o kernel de completude verdadeiro.

   • Os autores provam que, para o problema R-NV, a estrutura de feedback censurado pode ser reduzida a Otimização Convexa de Bandido (BCO) com ações escalares.
   • Ao alavancar resultados recentes sobre TS para BCO (Bakhtiari et al., 2025), eles estabelecem que a referência ideal alcança um arrependimento bayesiano sublinear de $\tilde{O}(\sqrt{T})$. Isso é apresentado como a primeira análise de arrependimento bayesiano para TS no cenário R-NV usando o framework de razão de informação.

2. Penalidade de Implantação (Termo II): O arrependimento adicional incorrido ao usar um modelo de completude aprendido em vez do verdadeiro.

   • Os autores derivam um limite mostrando que esta penalidade escala como $\sqrt{T} \times \sqrt{\Delta_{\text{comp}}}$, onde $\Delta_{\text{comp}}$ é o desajuste de completude na política (divergência KL entre completudes de trajetórias verdadeiras e aprendidas).
   • Crucialmente, eles mostram que, sob cobertura de ordem máxima (a política ocasionalmente pede a capacidade máxima para revelar demanda de cauda) e auto-contratação (erros na geração autorregressiva decaem ao longo do tempo), o desajuste de completude é controlado pelo desajuste preditivo observável (a perda de treinamento offline).
   • Isso estabelece um link teórico: um ajuste preditivo offline de alta qualidade se traduz em baixo arrependimento online.

Resultados Experimentais

Os autores avaliam o ChronosFlow-ICGPS em conjuntos de dados sintéticos e do mundo real:

• Verificação de Sanidade (Especificação Correta): Em configurações de demanda Weibull i.i.d., o ChronosFlow-ICGPS iguala o desempenho de uma linha de base de Amostragem de Thompson paramétrica corretamente especificada em vários níveis de serviço ($\gamma$), validando que a abordagem generativa recupera o comportamento clássico quando o modelo é bem especificado.
• Link Offline-para-Online: Experimentos demonstram uma relação monotônica entre a perda de validação offline consciente de censura e o arrependimento cumulativo online. Melhor qualidade preditiva offline leva a menor arrependimento online, confirmando o limite teórico de penalidade de implantação.
• Robustez a Desajustes:
  • Mudança de Distribuição: Quando testado em um ambiente Weibull após ser pré-treinado em uma mistura de quatro famílias de demanda diferentes, o ChronosFlow-ICGPS supera significativamente a TS paramétrica mal especificada, mostrando robustez a mudanças de família.
  • Desajuste de Priori: Em cenários onde os parâmetros de teste online estão fora do regime de treinamento offline, o ChronosFlow-ICGPS permanece estável, enquanto a TS paramétrica com uma priori desajustada sofre alto arrependimento.
• Referencial do Mundo Real (Conjunto de Dados SuperStore): Usando o conjunto de dados de vendas SuperStore (Hssaine & Sinclair, 2024), o método é avaliado sob variados graus de severidade de censura ($\lambda$).
  • Censura Pesada: A variante "Meta" (pré-treinada em outros conjuntos de dados) alcança os maiores ganhos em regimes fortemente censurados (por exemplo, $\lambda=1$), superando linhas de base como Aproximação da Média Amostral (SAA), Kaplan-Meier e RCN por uma margem significativa.
  • Censura Leve: À medida que a censura se relaxa, a lacuna de desempenho diminui, mas o método permanece competitivo.

Significado e Alegações

O artigo alega oferecer um modelo novo para resolver problemas de decisão sequencial com incerteza dependente da decisão e espaços de ação contínuos. Seu significado principal reside em:

1. Framework Unificador: Combina com sucesso as forças de métodos bayesianos paramétricos (exploração via amostragem de posteriori) e aprendizado offline baseado em dados (robustez via treinamento meta) sem exigir atualizações de gradiente online.
2. Novidade Teórica: Fornece o primeiro limite de arrependimento bayesiano sublinear para Amostragem de Thompson no problema do vendedor de jornais censurado, reduzindo-o à otimização convexa de bandido.
3. Viabilidade Prática: A arquitetura ChronosFlow demonstra que modelos generativos modernos (Transformers + Fluxos Normalizantes) podem ser adaptados para respeitar restrições rígidas (censura) e realizar aprendizado em contexto eficaz para problemas operacionais.
4. Transferência Offline-para-Online: O trabalho fornece condições teóricas sob as quais a qualidade preditiva offline garante o desempenho de decisão online, abordando uma lacuna crítica na pesquisa operacional baseada em dados.

Os autores posicionam este trabalho como um passo em direção à tomada de decisão "centrada em previsão", onde o foco muda da estimativa de parâmetros para a geração de completudes consistentes de trajetórias latentes para impulsionar ações ótimas.