Resumo Técnico: Feedback de Mundo para Agentes Clínicos: Diagnosticando RL em Ambientes FHIR

1. Definição do Problema

O artigo aborda a aplicação de Aprendizado por Reforço (RL) a partir de feedback de mundo para tarefas de execução de protocolos clínicos. Estas tarefas envolvem a recuperação de valores laboratoriais, a aplicação de limiares de decisão e a inserção de pedidos FHIR (Fast Healthcare Interoperability Resources) corretamente estruturados. Diferente do raciocínio clínico geral, estas são tarefas administrativas onde a lógica de decisão é conhecida e verificável.

O desafio central é estabelecer um canal de feedback sólido para o RL. Enquanto o Ajuste Fino Supervisionado (SFT) exige a anotação manual de cada episódio, o RL a partir de feedback de mundo permite, teoricamente, que um único verificador (codificando a lógica de decisão clínica) avalie execuções ilimitadas automaticamente. No entanto, os autores identificam que aplicar este paradigma a ambientes clínicos não é trivial devido a duas barreiras estruturais primárias:

1. Validade do Benchmark: Os benchmarks existentes (MedAgentBench v1/v2) continham um "teto de finalização silenciosa" (silent-finish ceiling) onde 41,7% das tarefas podiam ser passadas sem fazer nada, tornando a inação a estratégia dominante de RL.
2. Lacunas de Capacidade e Conhecimento: O RL puro tem dificuldade com tarefas que exigem códigos clínicos exatos (ex: SNOMED, NDC) que não podem ser descobertos através da exploração (paisagens de recompensa planas) e tarefas onde o modelo base possui capacidade inicial zero (gradiente zero).

2. Metodologia

Reconstrução do Benchmark: MedAgentBench-v3 (MAB-v3)

Para abordar a questão da "finalização silenciosa", os autores construíram o MAB-v3, um benchmark corrigido contendo 508 tarefas distribuídas em 20 tipos de tarefas clínicas.

• Correções: Os autores corrigiram desequilíbrios de ramificação (impondo uma proporção de 1:1 entre instâncias de ação vs. não-ação), corrigiram requisitos de formato não documentados e corrigiram um erro de "tempo de relógio" (wall-clock) no verificador.
• Resultado: O teto de finalização silenciosa foi reduzido de 41,7% para 8,9%, garantindo que a inação não seja mais uma estratégia dominante.
• Ambiente: O ambiente utiliza um snapshot determinístico e offline de um servidor HAPI FHIR com aproximadamente 100 pacientes anonimizados. Inclui um verificador baseado em regras (1.340 linhas de código) que avalia os agentes contra protocolos clínicos sem intervenção humana.

Protocolos de Treinamento e Avaliação

O estudo avaliou o Qwen3-8B (um modelo substancialmente menor que modelos de fronteira) sob três condições:

1. Modelo Base: Desempenho zero-shot.
2. Ajuste Fino Supervisionado (SFT): Treinado em 401 demonstrações programáticas geradas por um agente baseado em regras. Estas demonstrações forneceram códigos clínicos exatos e estruturas de payload FHIR no formato <tool call>.
3. RL Puro (GRPO): Treinado diretamente a partir do modelo base usando Otimização de Política Relativa de Grupo (GRPO) sobre o sinal de feedback de mundo. A função de recompensa ($r$) combinou recompensas terminais, crédito parcial para tipos de recursos corretos e penalidades para ações espúrias ou salto de ferramentas.

Princípios de Design Chave:

• Episódios Determinísticos: Eliminou a instabilidade do ambiente como um fator de confusão.
• Modelagem de Recompensa (Reward Shaping): Implementou crédito parcial e penalidades para ações espúrias para criar um gradiente para comportamento condicional (ação vs. não-ação).
• Consistência de Formato: Utilizou a interface padrão <tool call> em vez das strings HTTP de formato livre do benchmark original para testar capacidades nativas de uso de ferramentas.

3. Principais Contribuições

1. MAB-v3 e Ambiente: Um benchmark corrigido de 508 tarefas e um ambiente de feedback de mundo autocontido que elimina o atalho de finalização silenciosa e fornece feedback auditável e determinístico.
2. Diagnóstico Estruturado de Limitações de RL: O artigo identifica e quantifica duas barreiras estruturais que impedem o RL puro de igualar o desempenho do SFT:
   • Teto de Capacidade: 10 de 20 tipos de tarefas mostraram 0% de desempenho base, resultando em gradiente zero para o RL.
   • Barreira de Formato-Conhecimento: 3 tipos de tarefas exigiam códigos clínicos exatos indescerníveis pela exploração, resultando em uma paisagem de recompensa plana.
3. Taxonomia de Tarefas: Um framework categorizando tarefas em tipos de Decisão, Busca (Lookup) e Formato-Conhecimento. Esta taxonomia prevê a aprendibilidade do RL:
   • Tarefas de Decisão: Alta aprendibilidade de RL (a recompensa varia com a decisão).
   • Tarefas de Busca: Sinal de RL fraco (as respostas são recuperadas, não derivadas).
   • Tarefas de Formato-Conhecimento: Sem sinal de RL (os códigos exatos são discretos e não inferíveis).

4. Resultados

Métricas de Desempenho (Pass@1 no Conjunto de Teste Reservado)

• Base Qwen3-8B: 16,6%
• RL Puro (GRPO): 18,2%
• SFT: 34,1%
• Gap: O RL puro ficou atrás do SFT em 15,9 pontos percentuais.

Análise do Gap

O gap de 15,9 pp é atribuído inteiramente às barreiras estruturais identificadas na taxonomia, não ao algoritmo de RL ou ao design da recompensa:

• Zonas Mortas: 10 tipos de tarefas (principalmente busca v1 e formato-conhecimento) tiveram taxas de aprovação de 0% tanto para o modelo base quanto para o RL, pois o modelo carecia da capacidade inicial para gerar um gradiente.
• Falha de Formato-Conhecimento: Em tarefas que exigiam códigos exatos (ex: códigos SNOMED de Naloxona), o desempenho do RL na verdade diminiu (de 20,8% para 16,7%). O modelo sobrescreveu recordações ocasionais "sortudas" de pré-treinamento com códigos incorretos que receberam recompensas negativas uniformes, não fornecendo gradiente para o identificador correto.
• Ganhos de Decisão: O RL mostrou melhorias modestas em tarefas de decisão (ex: +4,2 pp em acompanhamento de TC), confirmando que pode aprender lógica condicional quando existe um gradiente.

Comparação com Modelos de Fronteira

Modelos de fronteira (ex: GPT-5.5, Gemini 3.1 Pro) mostraram alto desempenho em tarefas de decisão, mas tiveram dificuldades significativas com tarefas de formato-conhecimento (0% de aprovação em requisitos específicos de NDC/SNOMED), reforçando que o conhecimento de código exato não é reliablemente emergente mesmo em modelos grandes sem injeção específica.

5. Significância e Alegações

O artigo afirma que o RL puro de feedback de mundo é insuficiente para a execução de protocolos clínicos quando o modelo base carece de conhecimento de formato específico ou capacidade inicial. O gap de desempenho de 15,9 pp não é uma falha do paradigma de RL, mas um diagnóstico de seus limites estruturais neste domínio.

Prescrições Chave:

• Combinação SFT + RL: Os autores propõem uma abordagem híbrida onde o SFT é usado para "injetar" conhecimento de formato e códigos clínicos exatos, seguido pelo RL para refinar o raciocínio condicional e a lógica de decisão usando feedback de mundo.
• Higiene de Benchmark: O estudo enfatiza que um feedback de mundo limpo requer um benchmark limpo. O atalho de "finalização silenciosa" no MAB-v2 tornou o RL ineficaz, independentemente do algoritmo utilizado.
• Escopo: As descobertas são específicas para tarefas de execução de protocolo (fluxos de trabalho administrativos) e não se generalizam para o raciocínio clínico de código aberto ou diagnóstico diferencial.

O artigo conclui que, embora o feedback de mundo ofereça uma alternativa escalável à anotação por episódio, ele não pode substituir a necessidade de injeção supervisionada de conhecimento discreto e não-inferível (códigos e formatos) em agentes clínicos.