The hidden risks of temporal resampling in clinical reinforcement learning

1. Declaração do Problema

O Aprendizado por Reforço (RL) promete otimizar a tomada de decisão clínica, mas a interação online direta com pacientes é insegura. Consequentemente, os pesquisadores dependem do Aprendizado por Reforço Offline (ORL), treinando modelos em dados retrospectivos de Registros Eletrônicos de Saúde (EHR).

Uma etapa de pré-processamento pervasiva nos atuais pipelines de ORL em saúde é o reamostragem temporal (binning). Como os registros clínicos são inerentemente irregulares (por exemplo, sinais vitais registrados a cada 15 minutos, doses de insulina a cada 2 horas), os pesquisadores frequentemente agregam ou interpolam dados em intervalos de tempo fixos e uniformes (por exemplo, intervalos de 1 hora ou 4 horas) para se adequar aos quadros padrão de Processo de Decisão de Markov (MDP).

A Hipótese Central: Os autores argumentam que essa discretização viola uma premissa fundamental do ORL: que os dados de treinamento devem representar fielmente o ambiente de implantação. Ao forçar eventos clínicos irregulares em intervalos uniformes artificiais, os pesquisadores criam uma representação "fictícia" da realidade. Este artigo postula que:

1. O reamostragem temporal introduz trajetórias contrafactuais (invertendo a ordem causal dos eventos).
2. Modelos treinados com dados reamostrados performam de forma subótima em cenários do mundo real (irregulares).
3. Métodos padrão de avaliação retrospectiva em dados reamostrados superestimam sistematicamente o desempenho do modelo, criando uma falsa sensação de segurança e eficácia.

2. Metodologia

Para testar rigorosamente essas hipóteses sem arriscar a segurança do paciente, os autores conduziram um ensaio clínico in silico utilizando um simulador controlado e aprovado pela FDA.

Configuração Experimental

• Ambiente: O Simulador de Diabetes Tipo 1 da UVA/Padova (30 pacientes virtuais) e uma tarefa de navegação em gridworld (LavaGap).
• Geração de Dados:
  • Um agente "especialista" (treinado via Otimização de Política Próxima, PPO) interagiu com uma versão irregular do ambiente onde os intervalos de decisão eram estocásticos (passos de tempo variáveis).
  • Isso gerou um conjunto de dados de "verdade fundamental" com tempos de decisão naturais e irregulares.
• Variantes do Conjunto de Dados: Os dados de verdade fundamental foram processados em três versões:
  1. Não processado: Preservou os intervalos irregulares originais (modelado como um Processo de Decisão de Markov Semi-Markoviano, SMDP).
  2. Interpolado: Sobreamostrado para uma frequência alta fixa (por exemplo, a cada 10 minutos), tratando cada passo como uma decisão.
  3. Binned (Agrupado): Subamostrado/agregado em janelas fixas (intervalos de 2 horas e 4 horas), média das observações e soma das recompensas.
• Algoritmos: Três algoritmos de RL offline de última geração foram treinados em cada variante do conjunto de dados:
  • Clonagem Comportamental (BC): Linha de base de aprendizado supervisionado.
  • Aprendizado Implícito de Q (IQL): Livre de modelo, off-policy.
  • Aprendizado Conservador de Q (CQL): Livre de modelo, off-policy com restrições distribucionais.
• Avaliação:
  • Prospectiva (Online): Agentes foram implantados de volta no simulador irregular para medir o desempenho real.
  • Retrospectiva (Off-Policy): Fitted Q-Evaluation (FQE) foi usada para estimar o desempenho nos conjuntos de dados estáticos para verificar se os métodos padrão de avaliação detectam a degradação.

3. Contribuições e Descobertas Principais

A. Criação de Trajetórias Contrafactuais

O agrupamento temporal não apenas suaviza os dados; altera fundamentalmente as relações causais.

• Mecanismo: Ao média as observações sobre uma janela que precede uma ação, o modelo pode ver uma ação (por exemplo, aumento de insulina) antes do evento que a necessitou (por exemplo, ingestão de carboidratos) se os eventos caírem em lados opostos da fronteira do intervalo.
• Resultado: O modelo aprende dinâmicas incorretas de causa e efeito (por exemplo, "insulina causa glicose baixa" em vez de "glicose baixa dispara insulina"), levando a políticas falhas.

B. Degradação Severa de Desempenho

Modelos treinados com dados reamostrados falharam significativamente quando implantados no ambiente natural e irregular:

• Queda de Desempenho: Modelos treinados com dados agrupados em 4 horas performaram até 60% pior do que aqueles treinados com dados não processados.
• Falha da Linha de Base: Todos os agentes treinados com dados agrupados em 4 horas performaram pior do que a linha de base do conjunto de dados (a política especialista que gerou os dados).
• Problemas de Interpolação: Mesmo dados "interpolados" (sobreamostrados para alta frequência) performaram pior do que dados não processados, provavelmente devido ao aumento da sensibilidade a mudanças distribucionais e erros cumulativos quando as ações são tratadas como independentes em vez de sustentadas.

C. A Armadilha da Avaliação "Otimista Demais"

A descoberta mais crítica é a falha da avaliação retrospectiva:

• Viés do FQE: Quando o FQE foi usado para avaliar agentes treinados com dados agrupados, ele previu um desempenho 1,5x a 3x maior do que os agentes realmente alcançaram no ambiente ao vivo.
• Razão: A métrica de avaliação foi calculada nos mesmos dados distorcidos (agrupados). O modelo parecia ótimo dentro do mundo fictício dos dados agrupados, mas essa otimalidade não se traduziu para a realidade.
• Implicação: Um modelo poderia passar em todos os testes de segurança retrospectivos e ser aprovado para um ensaio clínico, apenas para falhar catastroficamente na prática porque a avaliação estava cega para o desalinhamento temporal.

4. Significado e Recomendações

Impacto Científico

Este estudo fornece evidências empíricas de que a prática generalizada de agrupamento temporal no ORL em saúde não é apenas uma conveniência, mas um risco de segurança. Desafia a validade de centenas de estudos existentes (os autores revisaram 50 artigos, 43 dos quais usaram reamostragem) que dependem da avaliação retrospectiva de dados agrupados.

Implicações Clínicas

• Risco à Segurança do Paciente: Implantar modelos treinados com dados agrupados pode levar a tratamentos subótimos ou prejudiciais (por exemplo, dosagem incorreta de insulina) porque o modelo não consegue lidar com a imprevisibilidade do tempo clínico do mundo real.
• Justificativa de Ensaios: Avaliações retrospectivas falsamente otimistas podem levar ao início prematuro de ensaios clínicos humanos para modelos que são fundamentalmente quebrados.

Recomendações para Pesquisa Futura

1. Abandonar o Agrupamento Padrão: Os pesquisadores devem parar de forçar dados clínicos irregulares em passos de tempo uniformes.
2. Adotar Quadros SMDP: Utilizar quadros de Processo de Decisão de Markov Semi-Markoviano (SMDP) que modelam explicitamente intervalos de tempo variáveis entre decisões.
3. Preservar Timings Naturais: Conjuntos de dados de treinamento devem reter os intervalos naturais entre rótulos de decisão para garantir que o modelo aprenda as dinâmicas temporais verdadeiras do ambiente clínico.
4. Avaliação Robusta: A avaliação retrospectiva deve ser conduzida em dados que correspondam ao ambiente de implantação pretendido (intervalos irregulares), e não nos dados de treinamento pré-processados.

Conclusão

O artigo conclui que o reamostragem temporal cria um desalinhamento fundamental entre treinamento e implantação. Ao priorizar a preservação dos intervalos de decisão naturais e utilizar quadros SMDP, o campo pode avançar em direção a modelos de IA clínica mais seguros e eficazes, que sejam robustos à irregularidade inerente dos cuidados de saúde humanos.