Resumo Técnico: ProMed – Aprendizado por Reforço Guiado pelo Ganho de Informação de Shapley para LLMs Médicos Proativos

1. Declaração do Problema

O questionamento médico interativo é um pilar do diagnóstico clínico, onde os médicos devem buscar proativamente informações incompletas do paciente para alcançar conclusões precisas. No entanto, os modelos de linguagem de grande escala (LLMs) existentes implantados em ambientes clínicos operam predominantemente sob um paradigma reativo. Eles geram previsões baseadas apenas em entradas iniciais do paciente, que são frequentemente parciais ou enviesadas. Essa limitação leva a vieses cognitivos no raciocínio, resultando em erros diagnósticos, diagnósticos errôneos e comprometimento da segurança do paciente.

As tentativas atuais de transicionar os LLMs para um paradigma proativo (busca ativa de informação) dependem de engenharia de prompt ou Ajuste Fino Supervisionado (SFT) em diálogos estáticos. Essas abordagens enfrentam limitações significativas:

• Engenharia de Prompt: Apenas induz comportamentos de questionamento sem fomentar um raciocínio ativo genuíno, levando a ganhos de desempenho limitados.
• SFT: Carece de robustez em cenários imprevisíveis do mundo real e, ao depender exclusivamente de feedback positivo, amplia inadvertidamente inquirições incorretas ou enganosas.
• Desafios de Aprendizado por Reforço (RL): A aplicação de RL neste domínio é dificultada por dois problemas centrais:
  1. Modelagem de Recompensa: Métodos existentes (ex: pontuação heurística, avaliações leave-one-out) falham em capturar a natureza composicional do raciocínio médico, onde a utilidade de uma única pergunta muitas vezes depende de sua interação com outros fatos clínicos.
  2. Atribuição de Recompensa: Estratégias padrão de RL (ex: distribuição uniforme de recompensa entre tokens) falham em distinguir perguntas clinicamente salientes de outras irrelevantes e incentivam implicitamente a verbosidade em vez da informatividade.

2. Metodologia: Estrutura ProMed

Os autores propõem o ProMed, uma estrutura de aprendizado por reforço projetada para transicionar LLMs médicos de respondedores reativos para buscadores proativos de informação. A estrutura é construída em torno de um novo mecanismo de recompensa de Ganho de Informação de Shapley (SIG) e um pipeline de treinamento de dois estágios.

2.1 Recompensa de Ganho de Informação de Shapley (SIG)

Para quantificar a utilidade clínica de uma pergunta, o ProMed introduz o SIG, que vai além da simples recuperação de informação para considerar as interações entre fatos clínicos.

• Fundação de Fatos Atômicos: As condições do paciente são decompostas em um conjunto de fatos atômicos ($F$).
• Aproximação de Estado: O estado de crença interno do modelo é aproximado por um prompt de "compreensão do médico" que articula o entendimento atual sobre a condição do paciente.
• Valores de Shapley: Baseando-se na teoria dos jogos cooperativos, o SIG calcula o valor de Shapley para cada fato atômico. Isso mede a contribuição marginal de um fato para o diagnóstico correto em todos os subconjuntos possíveis de fatos, capturando tanto a importância variável de fatos individuais quanto suas complexas interações.
• Cálculo de Recompensa: A recompensa SIG para uma pergunta é a soma ponderada dos novos fatos adquiridos, onde os pesos são os valores de Shapley normalizados por softmax. Isso incentiva o modelo a priorizar perguntas que adquirem informações clínicas novas e de alto impacto.

2.2 Pipeline de Treinamento de Dois Estágios

O ProMed integra o SIG em um processo de dois estágios para garantir inicialização estável e otimização refinada:

Estágio 1: Inicialização do Modelo Guiada por SIG

• Objetivo: Construir trajetórias de interação de alta qualidade para o Ajuste Fino Supervisionado (SFT).
• Mecanismo: Utiliza Busca em Árvore de Monte Carlo (MCTS) guiada pelas recompensas SIG para explorar árvores de diálogo médico-paciente ideais.
• Processo: O MCTS simula diálogos, selecionando caminhos que maximizam a recompensa cumulativa de SIG e a correção da resposta final. As trajetórias de alta recompensa resultantes são usadas para inicializar a política, fornecendo uma base sólida para o comportamento proativo e mitigando a escassez de dados.

Estágio 2: Otimização de Política Aumentada por SIG

• Objetivo: Refinar a política via Aprendizado por Reforço (especificamente GRPO).
• Mecanismo: Introduz um Mecanismo de Distribuição de Recompensa Guiado por SIG.
• Inovação: Ao contrário do GRPO padrão, que atribui recompensas uniformes a todos os tokens em uma trajetória, este mecanismo decompõe a recompensa ao nível da trajetória em sinais ao nível da ação.
  • Perguntas de acompanhamento recebem recompensas proporcionais ao seu valor SIG.
  • A resposta final recebe uma recompensa de correção.
  • Essas recompensas de ação são posteriormente propagadas para os tokens individuais.
• Resultado: Isso permite uma otimização direcionada e detalhada que reforça a geração de perguntas informativas enquanto suprime inquirições redundantes ou enganosas. Os valores de SIG são computados dinamicamente durante o treinamento para permanecerem estritamente conscientes do modelo.

3. Principais Contribuições

1. Mudança de Paradigma: O ProMed é pioneiro em uma estrutura de RL que transiciona com sucesso LLMs médicos de respostas reativas para busca proativa de informação.
2. Novo Mecanismo de Recompensa: O desenvolvimento da recompensa de Ganho de Informação de Shapley (SIG), que utiliza valores de Shapley para modelar as interações de informações médicas e quantificar a utilidade da pergunta, abordando as limitações da avaliação de fatos isolados.
3. Otimização de Grão Fino: Um mecanismo de distribuição de recompensa adaptado que aloca recompensas com base na utilidade da pergunta, permitindo uma otimização de política precisa.
4. Validação Empírica: Avaliações extensas demonstrando melhorias significativas de desempenho e generalização robusta para benchmarks fora da distribuição (OOD).
5. Contribuição de Recursos: A construção de dois benchmarks públicos visando o questionamento médico interativo com divisões padronizadas para facilitar pesquisas futuras.

4. Resultados Experimentais

Experimentos foram conduzidos nos conjuntos de dados MedQA e CMB (Chinese Medical Benchmark) usando vários backbones de LLM (LLaMA3.1-8B, LLaMA3.2-3B, Qwen3-1.7B).

• Ganhos de Desempenho: O ProMed supera significativamente os métodos de última geração. Em média, alcança uma melhoria relativa de 6,29% sobre o segundo melhor método. Comparado ao paradigma reativo (resposta direta), o ProMed entrega um ganho de 54,45% em precisão.
• Estudos de Ablação:
  • Tanto a Inicialização Guiada por SIG (Estágio 1) quanto a Otimização Aumentada por SIG (Estágio 2) são essenciais; a remoção de qualquer uma delas leva a quedas substanciais de desempenho.
  • A ponderação de Shapley e o mecanismo de distribuição de recompensa são componentes críticos; sua remoção degrada o desempenho tanto no domínio quanto no OOD.
• Generalização: O ProMed demonstra generalização robusta para configurações OOD, incluindo QA médica de questões abertas, tarefas de raciocínio clínico (CMB-Clin) e respostas a perguntas ambíguas de domínio geral (Abg-CoQA).
• Qualidade das Perguntas: Avaliações humanas e automatizadas confirmam que o ProMed gera perguntas com maior Utilidade, Relevância Médica e Fluxo Lógico em comparação aos baselines.
• Eficiência: O modelo exibe uma estratégia "cautelosa-proativa", fazendo menos perguntas do que os baselines quando a informação é suficiente e ajustando dinamicamente sua estratégia com base na escassez de informação.

5. Significância e Alegações

O artigo afirma que o ProMed aborda um problema fundamental na consulta médica interativa: a incapacidade dos LLMs atuais de adquirir sistematicamente evidências clinicamente informativas. Ao mudar o paradigma de reativo para proativo, o ProMed permite uma tomada de decisão clínica mais imparcial e confiável.

Os autores enfatizam que sua abordagem é agnóstica ao modelo e agnóstica à tarefa, sugerindo que a metodologia é generalizável para diferentes populações e contextos clínicos. Eles posicionam o ProMed não como um substituto para profissionais médicos, mas como um avanço de pesquisa que mitiga os riscos de alucinação e respostas não confiáveis em LLMs médicos reativos operando sob informação incompleta. O trabalho destaca a necessidade de treinamento direcionado em vez de simples prompting ou ajuste fino estático para alcançar capacidades de diagnóstico interativo genuínas.

Limitações Reconhecidas:

• O treinamento e a avaliação ocorrem em ambientes simulados, que podem não capturar totalmente a variabilidade do mundo real dos pacientes.
• Os experimentos atuais focam em benchmarks de múltipla escolha e tarefas específicas de questões abertas; validação adicional em cenários complexos do mundo real (ex: planejamento de tratamento de formato livre) é necessária.
• Restrições computacionais limitam o uso de modelos de até 8B parâmetros; o teto de desempenho de modelos maiores permanece inexplorado.
• A implementação atual depende de fatos baseados em texto; a incorporação de dados multimodais (imagem, séries temporais) é uma direção futura.