Cyber-Physical Orchestration of Emergency Department Services Through a Bidirectional Digital Twin and a Deep Reinforcement Learning Agent: Architectural Design, In SilicoValidation, and Critical Analysis of Performance Under Demand Stress

Resumo Técnico: Orquestração Ciber-Física de Serviços de Departamentos de Emergência

Definição do Problema
Os departamentos de emergência (DE) hospitalares operam como sistemas de filas multiclasse não estacionários, onde a demanda estocástica e a capacidade fixa de curto prazo criam gargalos que comprometem a segurança clínica. Embora modelos de Machine Learning (ML) preditivos tenham se mostrado superiores às escalas de triagem manuais para antecipar o risco clínico e os volumes de chegada, eles raramente são acoplados operacionalmente a modelos de engenharia industrial capazes de traduzir essas previsões em decisões de despacho executáveis. A literatura existente frequentemente trata a predição e a otimização como fases desacopladas, ou baseia-se em disciplinas de serviço estáticas (ex: Primeiro a Chegar, Primeiro a Ser Atendido - FIFO) que falham em se adaptar à trajetória de saturação dinâmica do serviço. Esse descompasso impede que o sistema passe de um gerenciamento reativo para um modelo preditivo e prescritivo capaz de mitigar o congestionamento em tempo real.

Metodologia e Arquitetura
Os autores propõem e implementam uma arquitetura ciber-física que integra três componentes convergentes para fechar o ciclo de predição–decisão–execução–feedback:

1. Gêmeo Digital Bidirecional Ativo: Implementado em um motor de Simulação de Eventos Discretos (DES - SimPy), o Gêmeo Digital mantém uma sincronização bidirecional de alta frequência ($\Delta t \le 30$ s) com o DE físico. Ele ingere telemetria (filas, ocupação, sinais fisiológicos) e envia projeções de cenários estocásticos (projeções de olhar à frente/look-ahead) de volta para a camada de decisão. A simulação utiliza Processos de Poisson Não Homogêneos para chegadas e distribuições lognormais para tempos de serviço, calibradas com parâmetros da literatura.
2. Agente de Aprendizado por Reforço Profundo (DRL): O problema de despacho dinâmico é formalizado como um Processo de Decisão de Markov (MDP) de 17 dimensões e 6 ações.
   • Espaço de Estados: Um vetor normalizado que agrega filas por nível de ESI, ocupação de recursos (leitos, salas, exames de imagem), hora do dia, censo total e sinais fisiológicos agregados (saturação de oxigênio, frequência cardíaca).
   • Espaço de Ações: O agente seleciona uma de seis políticas de despacho compostas (ex: prioridade estrita de ESI, reforço de casos críticos, via rápida para casos leves, prioridade de imagem) em vez de roteamento individual de pacientes, reduzindo a dimensionalidade enquanto preserva a interpretabilidade clínica.
   • Função de Recompensa: Uma função multiobjetivo que pondera o tempo de espera de pacientes críticos, o tempo de permanência (LOS - Length of Stay), a ocupação de pico, o throughput e um índice de equidade (baseado no coeficiente de Gini dos tempos de espera entre níveis de gravidade).
   • Algoritmo: Uma Deep Q-Network (DQN) com experiência de replay, rede alvo e perda Huber é treinada dentro do ambiente do Gêmeo Digital.
3. Camada de IA Explicável (XAI): Para enfrentar as barreiras de adoção clínica, uma camada baseada em valores de Shapley (SHAP) traduz as recomendações do agente em narrativas diferenciadas por audiência (clínica vs. gerencial), explicando as covariáveis que impulsionam cada decisão.

O sistema é implantado como um microsserviço FastAPI com um ciclo de vida de MLOps, incluindo execução em modo sombra (shadow-mode), onde as recomendações são registradas, mas não são automaticamente executadas até que um limiar de concordância clínica seja atingido.

Validação Experimental e Resultados
A validação foi conduzida via replicações de Monte Carlo (10 sementes independentes) através de quatro políticas de despacho (ESI-FIFO, SRPT, Heurística Composta, DQN) e quatro cenários operacionais (baseline, +40% de demanda, -25% de recursos, estresse combinado).

• Desempenho Sob Estresse: Sob um cenário de estresse de +40% de demanda, a política DQN reduziu a ocupação de pico projetada de 76,2 para 6 de 67,4 pacientes (uma redução de 11,5%) em comparação com as políticas estáticas. Essa melhoria foi alcançada sem um prejuízo estatisticamente significativo no tempo médio de permanência (98,31 vs. 98,48 min; $p=0,878$) ou no throughput.
• Desempenho de Baseline: Sob carga nominal, a política adaptativa não mostrou vantagem estatisticamente significativa sobre as disciplinas estáticas, o que é consistente com as previsões da teoria das filas, onde a disciplina de serviço tem impacto marginal abaixo da saturação.
• Principais Achados Metodológicos (Artefatos de Instrumentação):
  • Análise pela Lei de Little: Uma reanálise utilizando a Lei de Little ($L = \lambda W$) revelou que o censo médio implícito sob estresse ($\approx 30,6$) excedeu a capacidade instalada (25 leitos), resultando em um fator de utilização $\rho \approx 1,23$. Isso indicou a ausência de um mecanismo de "bloqueio de capacidade rígida" na versão atual do Gêmeo Digital; a simulação permitiu o fluxo de pacientes apesar da saturação de recursos, desacoplando a dinâmica de filas das restrições físicas. Consequentemente, a insensibilidade do LOS às políticas de despacho foi um artefato do modelo, não uma propriedade do sistema.
  • Degenerescência do Índice de Equidade: O índice de equidade reportado ($E=0,000$) foi identificado como matematicamente inatingível para cinco classes de gravidade (mínimo teórico de $E=0,20$). Isso foi rastreado até um artefato de instrumentação onde a métrica retornava zero por padrão, tornando o termo de equidade na função de recompensa operacionalmente inerte durante o treinamento.

Principais Contribuições
O artigo identifica cinco contribuições distintas:

1. Arquitetônica: Um sistema ciber-físico de três planos com sincronização bidirecional de alta frequência, utilizando o mesmo motor de DES tanto para o treinamento do agente quanto para a validação.
2. Formulação: A formalização do despacho dinâmico como um MDP operando sobre políticas compostas em vez de pacientes individuais, equilibrando dimensionalidade com interpretabilidade.
3. Empírica: Confirmação experimental de que o valor do despacho adaptativo se concentra em regimes de tráfego pesado, precisamente onde o congestionamento apresenta o maior risco clínico.
4. Metodológica: Um protocolo de validação crítica que submete as métricas do sistema a testes de consistência teórica (Lei de Little, limites do coeficiente de Gini), identificando e expondo com sucesso artefatos de instrumentação que seriam interpretados incorretamente como achados empíricos.
5. Governança: Um protocolo definido de implantação em modo sombra que exige um limiar de concordância clínica quantitativa ($\ge 80\%$) antes da autonomia operacional.

Significância e Alegações
Os autores afirmam que a contribuição central do trabalho não reside nos componentes isolados (Gêmeos Digitais, DRL, XAI), mas em sua convergência arquitetônica dentro de um sistema auditável e de ciclo fechado. O artigo enfatiza um "protocolo de validação crítica" que prioriza a exposição de falhas do sistema (como a falta de bloqueio de capacidade ou métricas degeneradas) em vez de ocultá-las para produzir resultados favoráveis.

Os autores mantêm-se modestos quanto ao estado atual do sistema, declarando explicitamente que as melhorias observadas na ocupação de pico devem ser interpretadas como uma melhoria na regulação do censo (reduzindo a razão pico-média) e não como uma redução no tempo de permanência (LOS), dado o atual estado de ausência de bloqueio de capacidade. Eles concluem que o sistema ainda não está pronto para implantação no mundo real, propondo um roteiro de cinco pontos para trabalhos futuros que priorizam a implementação de restrições de capacidade rígidas, a correção da instrumentação de métricas, a expansão do orçamento de treinamento para convergência e a realização de validação externa com dados hospitalares reais.