Insulin4RL: Real-Time Insulin Management in the Intensive Care Unit for Offline Reinforcement Learning

Resumo Técnico: Insulin4RL

Declaração do Problema

O Aprendizado por Reforço Offline (ORL) promete otimizar a tomada de decisão clínica utilizando dados históricos de Registros Eletrônicos de Saúde (EHR). No entanto, a pesquisa atual de ORL na área da saúde baseia-se fortemente em conjuntos de dados que foram temporalmente discretizados em intervalos de tempo fixos e regulares (por exemplo, agregando eventos em janelas de 4 horas). Os autores argumentam que essa discretização cria "representações fictícias" de cenários clínicos complexos, introduzindo um viés significativo e incerteza quanto à seleção do tamanho da janela. Consequentemente, modelos treinados e avaliados em tais dados podem aprender políticas mal adaptativas que parecem benéficas em análises retrospectivas, mas falham na implantação no mundo real, onde as intervenções clínicas ocorrem em intervalos naturalmente irregulares. O campo carece de um benchmark que preserve a natureza estocástica e de tempo contínuo do cuidado clínico, particularmente para tarefas críticas de cuidados intensivos, como a titulação de insulina.

Metodologia

Para abordar essas limitações, os autores introduzem o Insulin4RL, um conjunto de dados curado derivado do dataset MIMIC-IV v3.1. A metodologia foca em preservar a irregularidade natural dos dados clínicos em vez de forçá-los em bins de tempo fixos.

• Construção da Coorte: O conjunto de dados compreende 12.209 pacientes adultos únicos de UTI que necessitaram de infusão contínua de insulina intravenosa. Um episódio é definido como o período contínuo em torno de uma infusão (incluindo interrupções), com preenchimento de 24 horas de dados pré e pós-infusão. Os dados são divididos em 80/10/10 ao nível do paciente para treinamento, validação e teste.
• Representação de Estado: Inspirados pelo Medical Event Data Standard (MEDS), os estados dos pacientes são representados como sequências brutas de tuplas de eventos médicos retrospectivos $(f, t, v)$, onde $f$ é o código da característica, $t$ é o tempo decorrido em minutos e $v$ é o valor. A entrada inclui 140 características cobrindo demografia, exames laboratoriais, medicamentos e fisiologia. A sequência é limitada a 400 eventos, sendo excluídos eventos mais antigos (>7 dias).
• Espaço de Ação e Rótulos de Decisão: Diferente dos MDPs padrão que assumem ações de "não fazer nada", o Insulin4RL define pontos de decisão estritamente nos registros de medição de glicose sanguínea. As ações são categorizadas com base no comportamento do clínico dentro de uma janela específica (5 minutos antes a 30 minutos após a verificação):
  1. Manter: Mudança na taxa de insulina < 0,25 unidades/h.
  2. Parar: A taxa cai de >0,1 para <0,1 unidades/h.
  3. Alterar: Taxa ajustada em >0,25 unidades/h (sem parar).
     Mudanças que excedem 5,5 unidades/h são tratadas como outliers e removidas.
• Framework: Os autores propõem modelar o ambiente como um Processo de Decisão de Markov Semi-estocástico (SMDP) de horizonte finito e parcialmente observável, em vez de um MDP padrão. Isso leva em conta tempos de permanência ($\eta$) variáveis entre decisões e ajusta dinamicamente o fator de desconto ($\gamma^\eta$).
• Experimentos de Baseline: Os autores implementaram uma arquitetura de modelagem de sequência compartilhada (embedding de características, 1D-CNN e LSTM) para treinar:
  • Behavioral Cloning (BC): Para mimetizar o comportamento do clínico.
  • Implicit Q-Learning (IQL) e Conservative Q-Learning (CQL): Dois algoritmos de ORL model-free de última geração.
  • Avaliação: Os modelos foram avaliados usando Fitted Q-Evaluation (FQE) sob tanto pressupostos de MDP padrão ( $\gamma$ fixo) quanto pressupostos de SMDP ( $\gamma^\eta$ dinâmico).

Principais Contribuições

1. Dataset Insulin4RL: Um recurso de larga escala contendo mais de 375.000 pontos de decisão naturalmente temporizados para titulação de insulina em UTI. É o primeiro dataset explicitamente desenhado para avaliar ORL sob suposições de amostragem clínica irregular e realista.
2. Validação do Framework SMDP: O artigo demonstra que tratar os dados clínicos como um SMDP (preservando a temporização irregular) produz resultados de política diferentes comparados à discretização de MDP padrão.
3. Protocolo de Avaliação Padronizado: Os autores fornecem uma avaliação de baseline usando Fitted Q-Evaluation (FQE) e behavioral cloning, estabelecendo um benchmark para pesquisas futuras em ORL de tempo contínuo para a saúde.
4. Recursos Abertos: O dataset está hospedado no PhysioNet, acompanhado de notebooks Jupyter e código para reproduzir todos os experimentos, incluindo as transições de tensores específicas e metadados.

Resultados

• Características da Coorte: O dataset inclui 13.652 episódios de infusão distintos com uma duração mediana de 28 horas (máximo de 35 dias). A coorte possui alta prevalência de comorbidades (ex: hipertensão, arritmias cardíacas) e uma taxa de sobrevivência de 28 dias de 91,4%.
• Desempenho do Behavioral Cloning: O modelo BC alcançou alta discriminação para intervenções ativas (AUROC 0,89–0,94) e precisão razoável na predição de ajustes contínuos de dose (Erro Médio Absoluto de 0,61 unidades/h).
• Coerência do Espaço Latente: A visualização UMAP do espaço de estado aprendido revelou gradientes claros correspondentes à glicose sanguínea, taxas de insulina e duração do episódio. Notavelmente, o espaço latente separou naturalmente pacientes sobreviventes e não sobreviventes, apesar de a sobrevivência não ser um objetivo explícito de treinamento.
• Desempenho de ORL: Todos os modelos de ORL (IQL e CQL) superaram a baseline de behavioral cloning. Crucialmente, os modelos treinados e avaliados sob o framework SMDP alcançaram os melhores retornos gerais, superando seus equivalentes de MDP. Essa divergência destaca a sensibilidade dos algoritmos de ORL às suposições temporais.

Significância e Alegações

Os autores alegam que o consenso científico sobre ORL na saúde é atualmente limitado pela qualidade das práticas de avaliação, especificamente a dependência de benchmarks temporalmente discretizados. Ao introduzir o Insulin4RL, eles visam deslocar o foco para dados clínicos de tempo realista.

O artigo argumenta que:

1. Suposições Temporais Importam: Arquiteturas e entradas de modelos idênticas podem aprender comportamentos ótimos divergentes dependendo se são treinadas sob suposções de MDP ou SMDP.
2. Risco de Superestimação: O uso generalizado de datasets discretizados com intervalos uniformemente espaçados pode levar a uma superestimação geral da segurança e eficácia dos modelos em aplicações do mundo real, onde os intervalos de decisão são imprevisíveis.
3. Direção Futura: O campo requer mais benchmarks de avaliação que representem fielmente o tempo de decisão. O Insulin4RL serve como um banco de testes para o desenvolvimento de algoritmos de ORL de tempo contínuo e para a avaliação de novas metodologias de Off-Policy Evaluation (OPE) em ambientes de alta dimensionalidade e específicos para a saúde.

Os autores concluem que a adoção de frameworks de avaliação de tempo contínuo é um passo necessário para uma avaliação de modelos de ORL mais rigorosa e realista, aproximando o campo das condições exigidas para ensaios clínicos no mundo real.