Resumo Técnico: RealICU – Um Benchmark Além da Imitação de Comportamento para Agentes LLM em Suporte à Decisão em UTI

1. Declaração do Problema

Unidades de Terapia Intensiva (UTIs) geram fluxos densos e evolutivos de dados clínicos que exigem que os médicos reavaliem os estados dos pacientes sob pressão significativa de tempo. Embora os Modelos de Linguagem de Grande Porte (LLMs) e os sistemas agênicos tenham avançado, os benchmarks clínicos existentes não conseguem avaliar adequadamente suas capacidades neste domínio específico.

As limitações primárias dos benchmarks atuais são duplas:

1. Estático vs. Sequencial: A maioria dos benchmarks reduz o raciocínio clínico a perguntas e respostas estáticas, diagnóstico ou previsão de um único ponto final (por exemplo, mortalidade), falhando em avaliar o raciocínio ao longo de uma trajetória do paciente em mudança.
2. Imitação de Comportamento vs. Correção Clínica: Benchmarks existentes que utilizam bancos de dados de Prontuário Eletrônico de Saúde (EHR) como o MIMIC-IV geralmente tratam as ações registradas dos clínicos como verdade absoluta. No entanto, essas ações são tomadas sob informações incompletas e contexto temporal limitado. Consequentemente, podem ser subótimas. Avaliar a IA contra esses rótulos recompensa a imitação de comportamentos humanos potencialmente falhos em vez da verdadeira correção clínica.

Há uma necessidade crítica de um benchmark que avalie sistemas de IA quanto à correção clínica usando julgamento retrospectivo, onde a ação "ótima" é determinada após revisar a trajetória completa do paciente, em vez de confiar no que foi registrado à beira-leito.

2. Metodologia

2.1 O Benchmark RealICU

Os autores introduzem o RealICU, um benchmark anotado retrospectivamente projetado para avaliar o suporte à decisão clínica baseado em LLMs na UTI. O benchmark é construído sobre o conjunto de dados MIMIC-IV e foca em quatro tarefas motivadas por médicos que constituem as capacidades centrais de um "co-piloto" de UTI:

1. Estado do Paciente: Classificar se o paciente está melhorando, estável ou deteriorando.
2. Problemas Agudos: Identificar conjuntos de texto livre de problemas agudos ou riscos emergentes que exigem gestão ativa.
3. Ações Recomendadas: Propor conjuntos de texto livre de ações prováveis de beneficiar o paciente dentro da próxima hora.
4. Ações de Sinal Vermelho: Identificar ações de alto risco que devem ser evitadas para prevenir resultados inseguros.

Construção de Dados:

• Janelamento: Trajetórias de UTI são particionadas em janelas de 30 minutos com um passo de 2 horas.
• Observação Parcial vs. Rotulagem Retrospectiva: No momento da inferência, o modelo observa apenas os dados disponíveis até o tempo $t$. No entanto, os rótulos de verdade absoluta são gerados por médicos seniores (ou um LLM validado) revisando a trajetória completa do paciente até a alta. Isso cria uma assimetria que espelha a lacuna entre a tomada de decisão em tempo real e a revisão retrospectiva.
• Conjuntos de Dados:
  • RealICU-Gold: Contém 930 janelas de 94 internações distintas em UTI, rotuladas por consenso entre cinco médicos seniores de UTI. A confiabilidade interavaliador (IRR) varia de 0,826 a 0,985.
  • RealICU-Scale: Estende a avaliação para 11.862 janelas usando Oracle, um avaliador retrospectivo baseado em LLM validado contra o RealICU-Gold (alcançando pontuação F1 >0,895 em todas as tarefas).

2.2 Framework de Avaliação

Os modelos são avaliados quanto à sua capacidade de prever as quatro tarefas com base em observações parciais.

• Métricas: Precisão e Macro-F1 para Estado do Paciente; Hit@k e Recall@k (k=5) para Problemas Agudos e Ações Recomendadas (usando correspondência semântica via PubMedBERT); e Taxa de Recomendação Prejudicial (HRR) para Sinais Vermelhos, que mede a fração de ações recomendadas que são sinalizadas como inseguras.
• Baselines: O estudo compara várias arquiteturas de LLM (Gemini-3.1-pro, GPT-5.4, Qwen3-235B) em diferentes configurações de contexto: Contexto Completo, Janela Local, Geração Aumentada por Recuperação (RAG) e um agente de memória estruturada.

2.3 ICU-Evo: Agente de Memória Estruturada

Para abordar os desafios do raciocínio de longo horizonte, os autores propõem o ICU-Evo, um framework de agente aumentado por memória. Diferentemente de agentes padrão que tratam todo o contexto igualmente, o ICU-Evo mantém um estado de memória estruturada $M_t$ decomposto em cinco componentes:

1. Memória de Trabalho ($M^{work}$): Observações brutas recentes em alta resolução.
2. Memória de Tendência ($M^{trend}$): Tendências de sinais de sinais vitais e valores laboratoriais.
3. Memória de Evento Crítico ($M^{event}$): Um log apenas de adição de eventos clinicamente críticos (por exemplo, intervenções, pontos de virada).
4. Memória de Trajetória ($M^{traj}$): Resumos narrativos comprimidos da internação em intervalos periódicos.
5. Memória de Insight ($M^{insight}$): Hipóteses específicas do paciente relativas a desvios das expectativas em nível populacional.

O ICU-Evo utiliza três agentes especializados (Observação, Avaliação, Insight) operando em diferentes escalas temporais para atualizar esses componentes de memória, visando melhorar o raciocínio de longo horizonte.

3. Resultados Chave

3.1 LLMs Atuais Lutam com o RealICU

Apesar do uso de LLMs de ponta, o desempenho no RealICU permanece baixo, indicando que o benchmark está sem solução.

• Lacunas de Desempenho: Mesmo o sistema de melhor desempenho (ICU-Evo com Gemini-3.1-pro) alcançou apenas 0,459 de precisão em Estado do Paciente e 0,534 de Recall@5 em Recomendação de Ações.
• Lacuna Oracle vs. Agente: Há uma lacuna massiva de desempenho entre o Oracle (que possui total retrospectiva) e o Agente (tempo real). Para Estado do Paciente, o Oracle alcança um F1 de 0,987, enquanto o melhor agente alcança apenas 0,365. Isso sugere que o gargalo não é o conhecimento médico, mas a capacidade de integrar evidências ao longo do tempo sob observabilidade parcial.

3.2 Memória Estruturada Melhora o Raciocínio

O ICU-Evo supera consistentemente as baselines (Contexto Completo, Janela Local, RAG) em todas as quatro tarefas.

• Estabilidade de Longo Horizonte: O ICU-Evo mantém altas pontuações Hit@5 (perto de 0,8) para Problemas Agudos mesmo em internações que se estendem a 1.800 horas, enquanto as baselines sem memória degradam significativamente.
• Eficiência de Tokens: Embora o ICU-Evo consuma mais tokens por previsão do que as baselines de janela local, ele fornece contexto longitudinal significativamente mais denso por token de entrada, tornando-o mais eficiente para raciocínio consciente da linha do tempo.

3.3 Modos de Falha Identificados

O estudo identifica dois modos de falha críticos nos agentes LLM atuais:

1. Compromisso entre Recall e Segurança: Agentes que aumentam o recall de ações recomendadas frequentemente aumentam simultaneamente a taxa de sugestões prejudiciais. Por exemplo, o ICU-Evo com GPT-5.4 melhorou o Hit@5 de Recomendação de Ações em mais de 20 pontos em comparação com o RAG, mas a HRR (Taxa de Recomendação Prejudicial) dobrou de 0,234 para 0,473. As recomendações prejudiciais frequentemente envolvem manejo hemodinâmico, volume/diurese, anticoagulação e ventilação.
2. Viés de Ancoragem: Agentes tendem a comprometer-se excessivamente com interpretações iniciais do paciente e falham em atualizar essas hipóteses mesmo quando evidências posteriores as contradizem. Estudos de caso mostram agentes gerando "insights" baseados em dados iniciais da trajetória que persistem e enganam recomendações subsequentes, mesmo quando os dados da janela atual sugerem um estado diferente (por exemplo, manter um status estável apesar de novos sinais de deterioração).

3.4 Estudos de Ablação

A remoção de componentes específicos de memória revela seus papéis distintos:

• Memória de Trabalho: Crucial para raciocínio local; sua remoção degrada todas as tarefas.
• Memória de Trajetória: Essencial para compreensão temporal; sua remoção prejudica Problemas Agudos e Recomendação de Ações.
• Memória de Insight: Remover a memória de insight às vezes melhora o desempenho (por exemplo, reduzindo a HRR ou melhorando o Hit@5 de Recomendação de Ações), sugerindo que os LLMs atuais ainda não são capazes de identificar padrões clínicos personalizados de forma confiável e que seus insights gerados podem ativamente enganar o agente.

4. Significado e Afirmações

O artigo afirma que o RealICU fornece um campo de prova clinicamente fundamentado para medir e melhorar o suporte à decisão sequencial de IA em cuidados de alto risco. Seu significado reside em:

• Mudança do Paradigma de Avaliação: Passar da "imitação de comportamento" (correspondência a ações de clínicos registradas) para "correção clínica" (correspondência ao julgamento retrospectivo de especialistas). Isso expõe as limitações dos modelos atuais no raciocínio sob incerteza e observabilidade parcial.
• Revelação de Lacunas de Segurança: O benchmark destaca que os agentes LLM atuais, mesmo com estruturas de memória avançadas, lutam com a segurança em ambientes dinâmicos. O "compromisso entre recall e segurança" e o "viés de ancoragem" identificados sugerem que simplesmente escalar o contexto ou adicionar memória é insuficiente para co-pilotos de UTI confiáveis.
• Contribuição Metodológica: O RealICU oferece um framework para avaliar IA em ambientes de decisão sequencial de alto risco onde as ações humanas registradas são imperfeitas e a ação ótima só é visível retrospectivamente.

Os autores concluem que, embora a memória estruturada (ICU-Evo) melhore o raciocínio de longo horizonte, ela não elimina totalmente as falhas de segurança. Co-pilotos de UTI confiáveis exigirão avanços em arquiteturas de raciocínio clínico de longo contexto, juntamente com melhores mecanismos de segurança, e a adoção de avaliação retrospectiva para avaliar adequadamente esses sistemas.