Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed

Resumo Técnico: Generalização de Segurança Sob Deslocamento de Distribuição em Aprendizado por Reforço Seguro: Um Banco de Testes para Diabetes

Declaração do Problema
Algoritmos de Aprendizado por Reforço Seguro (Safe RL) são tipicamente avaliados sob condições de treinamento fixas, onde restrições de segurança são impostas por meio de Processos de Decisão de Markov Constrained (CMDPs). No entanto, a implantação no mundo real frequentemente envolve deslocamentos de distribuição — mudanças em parâmetros físicos, condições operacionais ou características da população — que invalidam as garantias de segurança estabelecidas durante o treinamento. Em domínios críticos para a segurança, como o controle médico, esses deslocamentos são frequentemente latentes e estruturais (por exemplo, traços metabólicos não observáveis) em vez de variações paramétricas observáveis, tornando a adaptação por tentativa e erro eticamente proibida. O artigo investiga se as garantias de segurança no momento do treinamento se transferem para a implantação sob deslocamento de distribuição, utilizando o gerenciamento de diabetes como banco de testes. Os autores identificam uma "lacuna de generalização de segurança": políticas que satisfazem restrições em pacientes de treinamento frequentemente violam requisitos de segurança em pacientes não vistos com dinâmicas fisiológicas diferentes.

Metodologia
Os autores propõem um framework composto por três componentes principais: um simulador clínico unificado, um benchmark de segurança fora da distribuição (OOD) e um mecanismo de proteção preditiva no momento do teste.

1. Simulador Clínico Unificado:

   • Construído sobre os modelos mecanísticos de glicose-insulina da UVA–Padova, o simulador suporta diabetes tipo 1 (T1D) e tipo 2 (T2D), incluindo cenários com e sem bombas de insulina.
   • Modela o suporte à decisão terapêutica em vez de controle direto, onde um agente recomenda intervenções discretas (insulina em bolus, ingestão de refeições) sujeitas à adesão do paciente e a portões de segurança fisiológica.
   • O ambiente introduz deslocamentos de distribuição realistas por meio de variabilidade latente do paciente (por exemplo, sensibilidade à insulina, taxas de absorção) e adesão parcial, sendo treinado em um único paciente representativo por coorte e testado em pacientes não vistos.

2. Equações Diferenciais Ordinárias Neurais Adaptativas à Base (BA-NODE):

   • Para suportar a proteção preditiva, os autores introduzem a BA-NODE, um preditor de dinâmicas de tempo contínuo projetado para previsão específica do paciente.
   • Arquitetura: Combina um Transformer Invertido (ITransformer) para codificação de histórico consciente da variável, um ensemble de Equações Diferenciais Ordinárias Neurais Latentes para evolução contínua e um mecanismo de adaptação no Espaço de Funções.
   • Mecanismo: Em vez de aprender um único modelo específico do paciente, a BA-NODE aprende um conjunto compartilhado de componentes dinâmicos latentes (trajetórias de base). Na inferência, adapta-se a um paciente específico calculando pesos dependentes do contexto via mínimos quadrados regularizados para formar uma combinação linear dessas trajetórias de base. Isso permite personalização zero-shot sem retreinamento.

3. Proteção Preditiva no Momento do Teste:

   • Trata-se de um wrapper de tempo de execução agnóstico ao algoritmo que intercepta a distribuição de ações da política.
   • Lógica: O escudo seleciona as $k$ melhores ações candidatas e as emparelha com níveis discretos de refeição. Consulta o modelo BA-NODE para prever trajetórias de glicose no sangue ao longo de um horizonte finito.
   • Mascaramento de Ações: As ações são penalizadas ou bloqueadas se a trajetória prevista violar os limites de segurança (por exemplo, hipoglicemia prevista < 80 mg/dL ou hiperglicemia > 180 mg/dL). Esses limites são definidos de forma conservadora (mais rigorosos que os limites de falha clínica) para contabilizar erros de previsão.
   • Sobreposição de Emergência: Um mecanismo de resgate sem modelo força a ingestão de carboidratos se a glicose atual cair abaixo de um limite crítico (60 mg/dL), independentemente da precisão da previsão.

Principais Contribuições

1. Simulador Clínico Unificado: Uma plataforma modelando T1D e T2D com terapias com e sem bomba, capturando variabilidade latente do paciente e adesão parcial para permitir avaliação controlada da generalização de segurança.
2. Benchmark de Segurança OOD: Um benchmark rigoroso avaliando oito algoritmos diversos de Safe RL (incluindo PPO-Lag, CPO, TRPO-Lag, etc.) sob deslocamento de distribuição fisiológica. O estudo isola a lacuna entre a satisfação de restrições no momento do treinamento e a segurança no momento do teste.
3. Proteção Preditiva no Momento do Teste: Um mecanismo de tempo de execução que mitiga falhas de segurança sob deslocamento de distribuição sem retreinar a política base. Utiliza a BA-NODE para previsão precisa específica do paciente para filtrar ações inseguras.

Resultados
Os autores avaliaram o framework em 72 configurações experimentais (8 algoritmos × 3 tipos de diabetes × 3 faixas etárias).

• Lacuna de Generalização de Segurança: Políticas sem proteção, treinadas em um único paciente, mostraram degradação significativa em pacientes não vistos. Para bases fortes como CPO e PPO-Lag, o Tempo na Faixa (TIR) caiu 10–12%, e o Índice de Risco Clínico aumentou 1,6–2,8 pontos quando implantado em pacientes fora da distribuição (OOD).
• Desempenho da BA-NODE: A BA-NODE superou as Equações Diferenciais Ordinárias Neurais padrão e os ITransformers na precisão da previsão de glicose (menor MAE, RMSE e FDE) e demonstrou estabilidade superior em horizontes de previsão longos (120 minutos).
• Eficácia da Proteção:
  • A proteção preditiva recuperou consistentemente as margens de segurança em todos os algoritmos e populações de pacientes.
  • Para bases fortes (por exemplo, PPO-Lag, CPO), a proteção aumentou o TIR em 13–14% em cenários de T2D e reduziu o Índice de Risco e a variabilidade da glicose (CV).
  • No T1D, a proteção melhorou o TIR em média de 6% e reduziu significativamente eventos de hipoglicemia sem induzir hiperglicemia de rebote, uma modalidade de falha comum de escudos baseados em regras estáticas.
  • O escudo provou ser robusto mesmo sob adesão imperfeita do paciente (taxas de aceitação de 75% e 50%), embora o desempenho tenha degradado naturalmente com menor adesão.
• Comparação com Escudos Baseados em Regras: Escudos baseados em regras estáticas (imitando a Suspensão de Baixa Glicose) frequentemente degradaram o desempenho geral ao causar comportamento oscilatório e hiperglicemia de rebote, enquanto a proteção preditiva manteve a estabilidade ao contabilizar dinâmicas futuras.

Significado e Alegações
O artigo alega que a satisfação de restrições no momento do treinamento em Safe RL não se traduz de forma confiável em segurança no momento do teste sob deslocamento de distribuição, particularmente em domínios médicos onde a variabilidade fisiológica é latente e estrutural. Os autores não propõem um novo algoritmo de treinamento de Safe RL; em vez disso, fornecem um framework demonstrando que a verificação no momento do teste via proteção preditiva é um complemento prático e agnóstico ao algoritmo para o Safe RL.

Ao fechar a lacuna de generalização de segurança, o método proposto permite generalização de segurança zero-shot em diversas populações clínicas. Os autores enfatizam que seu simulador e benchmark fornecem uma plataforma reutilizável para estudar segurança sob deslocamento de distribuição em domínios de controle críticos para a segurança. Eles reconhecem limitações, observando que o framework depende de dinâmicas inferíveis a partir do contexto recente e que distúrbios extremos não modelados (por exemplo, refeições não anunciadas) poderiam invalidar as previsões. O trabalho visa encorajar alegações mais cautelosas sobre segurança em RL e melhorar as normas para avaliação fora da distribuição.