Resumo Técnico: DeepEN – Uma Framework de Aprendizado por Reforço Profundo para Nutrição Enteral Personalizada em Cuidados Críticos

1. Declaração do Problema

A administração de nutrição enteral (NE) na Unidade de Terapia Intensiva (UTI) permanece subótima devido à dificuldade de personalizar as metas de calorias, proteínas e fluidos sob demandas metabólicas dinâmicas. Embora as diretrizes (por exemplo, ASPEN) forneçam metas em nível populacional, a prática clínica frequentemente se desvia devido à evolução da função orgânica, tolerância à alimentação e terapias concomitantes. Isso leva a subalimentação, superalimentação ou início tardio, que estão associados a resultados adversos.

O desafio central reside na estrutura única do gerenciamento da NE:

• Espaço de Ação Multicomponente: As decisões envolvem variáveis interdependentes (calorias, proteínas, água) em vez de titulação de intervenção única.
• Feedback Atrasado: Os efeitos metabólicos da nutrição são lentos e difusos, criando uma incompatibilidade temporal entre as ações e os resultados fisiológicos observáveis.
• Resultados de Longo Prazo Esparsos: O resultado primário (sobrevivência) é esparso e atrasado, complicando a atribuição de crédito na tomada de decisão sequencial.
• Restrições de Segurança: A exploração online em pacientes reais é inviável e antiética, tornando necessário o aprendizado seguro offline a partir de dados retrospectivos, onde mudanças distribucionais podem levar a recomendações inseguras.

2. Metodologia

2.1. Dados e Coorte

O estudo utilizou o banco de dados MIMIC-IV (Beth Israel Deaconess Medical Center, 2008–2019), extraindo dados de 11.378 pacientes de UTI que receberam alimentação enteral.

• Inclusão: Pacientes >18 anos, com ≥12 horas de dados de NE e pelo menos uma medição de peso.
• Escopo: Dados dos primeiros 10 dias após a admissão (fase aguda) onde a NE foi administrada ativamente.
• Pré-processamento: As trajetórias foram agregadas em janelas de 4 horas. Valores ausentes foram imputados usando amostragem e retenção (sample-and-hold) com características de tempo desde a última medição.

2.2. Formulação de Aprendizado por Reforço

O problema foi modelado como um Processo de Decisão de Markov (MDP) $(S, A, r, P, \gamma)$.

• Espaço de Estados ($S$): Compreende 102 variáveis, incluindo:
  • 63 variáveis base (demografia, comorbidades, sinais vitais, exames laboratoriais, tratamentos).
  • 39 variáveis de 'taxa de mudança' (taxa média de mudança nos três passos de tempo anteriores).
  • As variáveis capturam tendências temporais na progressão da doença e na trajetória fisiológica.
• Espaço de Ação ($A$): Definido por três componentes: Calorias, Proteínas e Água.
  • As quantidades são ajustadas por peso e discretizadas em quatro níveis com base em quantis empíricos.
  • O espaço é o produto cartesiano desses componentes ($4 \times 4 \times 4 = 64$ combinações teóricas), reduzido para 51 combinações observadas no conjunto de dados.
  • As ações representam a ingestão total (NE + fontes não-NE, como fluidos intravenosos).
• Função de Recompensa ($r$): Projetada para equilibrar a sobrevivência terminal com a estabilidade metabólica intermediária.
  • Recompensa Terminal: $+15$ para sobrevivência, $-15$ para mortalidade hospitalar.
  • Recompensas Intermediárias de Biomarcadores: Baseadas em Glicose, Fosfato e Sódio.
    • Janelas de Avaliação: Alinhadas com os tempos de resposta fisiológica (4h para glicose, 8–16h para fosfato, 12–24h para sódio).
    • Função de Perda: Utiliza uma perda Reverse-Huber (BerHu) para penalizar desvios das faixas-alvo. Pequenos desvios recebem penalidades lineares; grandes desvios recebem penalidades quadráticas.
    • Escala: As recompensas intermediárias são escalonadas por um fator $\lambda$ (otimizado em 0,2) para garantir que guiem o aprendizado sem ofuscar o objetivo de sobrevivência terminal.

2.3. Algoritmo: RL Offline Conservador

Para abordar os riscos de mudança distribucional e superestimação em configurações offline, os autores empregaram uma Rede Dupla Duelo de Q-Profundo (D3QN) com regularização Conservative Q-Learning (CQL).

• D3QN: Desacopla a seleção de ações da avaliação para reduzir o viés de maximização.
• CQL: Adiciona um termo de regularização para penalizar valores-Q para ações não bem suportadas pelo conjunto de dados. Isso é crítico dado o espaço de ação combinatório, onde muitos pares estado-ação são representados esparsamente.
• Treinamento: Divisão 70/10/20 (treino/validação/teste). Hiperparâmetros otimizados via busca em grade ($\alpha_{CQL}=0,5$, $\gamma=0,99$).

2.4. Framework de Avaliação

O estudo utilizou Avaliação Off-Policy (OPE) sem simulador:

1. OPE Calibrada por Retorno: Utilizou estimativa Duplamente Robusta (DR) para calcular retornos esperados ($V^\pi$). Esses retornos foram mapeados para curvas empíricas de mortalidade e estabilidade de biomarcadores derivadas de trajetórias de clínicos para gerar estimativas de resultados clinicamente interpretáveis.
2. Análise de Discrepância de Política: Examinou a relação entre a divergência das recomendações da política e as ações dos clínicos versus resultados (framework de curva-U), ajustando-se para a gravidade basal.
3. Interpretabilidade: Utilizou importância por permutação (Random Forest) para identificar direcionadores de decisão e mapas de calor de ações conjuntas para analisar estratégias de tratamento coordenadas.

3. Resultados Principais

3.1. Desempenho Quantitativo

O DeepEN superou todas as linhas de base (Clínico, Aleatório, Clonagem de Comportamento e política derivada da ASPEN) em todas as métricas:

• Valor da Política ($V^\pi$): O DeepEN alcançou o maior valor (9,48), comparado ao Clínico (8,11) e ASPEN (7,52).
• Mortalidade: O DeepEN estimou uma taxa de mortalidade de 18,8%, representando uma redução absoluta de 4,0 pontos percentuais comparada à prática clínica (22,8%). Isso equivale a aproximadamente 40 mortes a menos por 1.000 pacientes de UTI.
• Estabilidade Metabólica: O DeepEN alcançou a maior proporção de valores de biomarcadores dentro das faixas-alvo:
  • Glicose: 76,9% (vs. 72,1% Clínico)
  • Fosfato: 67,7% (vs. 65,3% Clínico)
  • Sódio: 65,2% (vs. 62,6% Clínico)

3.2. Achados Estruturais e de Interpretabilidade

• Análise de Discrepância: O desvio da política DeepEN foi independentemente associado ao aumento da mortalidade e instabilidade de biomarcadores. Em contraste, o desvio de uma política aleatória não mostrou tal associação, sugerindo que o DeepEN captura estruturas de tratamento relevantes para o resultado.
• Importância de Características: Embora tanto os clínicos quanto o DeepEN dependessem fortemente do peso corporal e do tempo desde o início da NE, o DeepEN deu ênfase significativamente maior a marcadores dinâmicos de função orgânica (diurese, creatinina, índice de choque, eletrólitos). Isso indica uma mudança de heurísticas estáticas para tomada de decisão informada pela fisiologia.
• Coordenação de Ações: O DeepEN demonstrou uma progressão mais estruturada e graduada na dosagem, incluindo desacoplamento parcial da proteína da escalada de calorias, ao contrário da escalada paralela frequentemente observada na prática clínica.

4. Significado e Contribuições

O artigo afirma as seguintes contribuições e significados:

• Primeira Aplicação: Este é o primeiro estudo a desenvolver e avaliar sistematicamente uma framework de aprendizado por reforço para personalização dinâmica e multicomponente da nutrição enteral em cuidados críticos.
• Framework Metodológico: Estabelece uma abordagem reproduzível para RL offline conservador aplicado a terapias multicomponentes de ação lenta. Inovações-chave incluem:
  • Um framework de recompensa alinhado fisiologicamente usando janelas de avaliação forward e perda BerHu.
  • Calibração estruturada de retorno–resultado para traduzir estimativas de valor abstratas em métricas de mortalidade e estabilidade.
  • Análises estruturais em nível de política para caracterizar coerência e segurança de decisão.
• Plausibilidade Clínica: Os resultados sugerem que a personalização orientada por dados pode complementar abordagens baseadas em diretrizes. A dependência do modelo de marcadores dinâmicos de função orgânica alinha-se com evidências clínicas emergentes que enfatizam a necessidade de adaptar a nutrição ao status metabólico em evolução, em vez de metas estáticas baseadas em peso.
• Segurança e Viabilidade: O estudo demonstra que o RL offline conservador pode aprender políticas individualizadas e seguras sem exploração de pacientes em tempo real, oferecendo um caminho para suporte de decisão orientado por IA em terapias complexas e longitudinais de UTI.

5. Limitações e Direções Futuras

Os autores notam várias limitações:

• Generalizabilidade: Os dados são de um único sistema hospitalar (MIMIC-IV); validação externa é necessária.
• Escassez de Dados: Não há outros conjuntos de dados de código aberto que forneçam atualmente a granularidade necessária para dados de entrega de NE longitudinal.
• Design de Recompensa: A função de recompensa é manual e simplificada; pode não capturar todas as dimensões da adequação nutricional.
• Implementação: O framework é projetado como uma ferramenta de suporte à decisão voltada para o clínico (humano no loop), não como um sistema autônomo. Validação prospectiva (por exemplo, implantação em modo silencioso) é necessária antes da tradução clínica.

O artigo conclui que o DeepEN destaca o potencial da personalização orientada por dados para aumentar, em vez de substituir, o cuidado baseado em diretrizes na nutrição de cuidados críticos.