CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades robustas em raciocínio matemático e de senso comum monolíngue, mas permanecem pouco confiáveis para raciocínio médico multilíngue. Os modelos atuais enfrentam dois modos de falha críticos em ambientes clínicos:

1. Inacurácia Lógica: Os modelos frequentemente geram explicações fluentes e que soam plausíveis, mas que carecem de validade clínica ou contêm alucinações.
2. Instabilidade Linguística (Deriva): Em configurações multilíngues, os modelos frequentemente falham em manter o idioma alvo, recorrendo ao inglês ou misturando idiomas (alternância de código) de forma inadequada, o que corrói a interpretabilidade e a confiança de clínicos e pacientes.

As benchmarks existentes são predominantemente monolíngues, de forma fechada (múltipla escolha) ou carecem de verificação rigorosa de trilhas de raciocínio. Existe uma lacuna significativa na avaliação e no treinamento de modelos para raciocínio médico aberto em diversos idiomas de baixos recursos (por exemplo, Amárico, Iorubá, Suaíli).

2. Metodologia

Os autores propõem o CURE-MED, um framework de treinamento em duas etapas projetado para otimizar conjuntamente a correção lógica e a fidelidade linguística. A metodologia consiste em três componentes principais:

A. Construção do Conjunto de Dados: CUREMED-BENCH

Para abordar a falta de dados de avaliação de alta qualidade, os autores introduziram o CUREMED-BENCH, um conjunto de dados de 15.774 instâncias de QA médica de resposta aberta em 13 idiomas (abrangendo África, Ásia e Europa).

• Fonte: Fundamentado no MedlinePlus (dados de saúde federais dos EUA validados clinicamente).
• Pipeline:
  1. Geração: O GPT-4o gera MCQs de forma fechada baseados no conteúdo do MedlinePlus em cada idioma alvo.
  2. Filtragem: Perguntas triviais são removidas testando-as contra LLMs compactos (Qwen2.5-3B/7B, LLaMA-3.1-8B). Itens ambíguos são filtrados para garantir uma única resposta verificável.
  3. Conversão: Os itens restantes são convertidos em prompts de resposta aberta com cadeias de raciocínio explícitas ($r$) e respostas de verdade fundamental livres ($y^*$).
  4. Verificação: Falantes nativos e especialistas médicos (médicos, candidatos a doutorado) verificam a correção clínica, a fidelidade linguística e a adequação cultural.

B. Framework de Treinamento: CURE-MED

O framework emprega uma abordagem de Aprendizado por Reforço Informado por Currículo com duas etapas distintas:

1. Etapa 1: Ajuste Fino Supervisionado de Inicialização Fria (SFT)

   • Objetivo: Estabilizar o raciocínio multi-etapa antes de impor restrições linguísticas estritas.
   • Técnica: O modelo é ajustado finamente em trajetórias de raciocínio com alternância de código. As etapas intermediárias de raciocínio ($r$) são permitidas a misturar inglês (para terminologia clínica precisa) com o idioma alvo, enquanto a resposta final ($y^*$) deve ser estritamente no idioma alvo.
   • Benefício: Isso inicializa o modelo com fortes capacidades de raciocínio lógico sem forçar rigidez linguística prematura.

2. Etapa 2: Aprendizado por Reforço com Currículo Guiado por GRPO

   • Algoritmo: Utiliza Otimização de Política Relativa em Grupo (GRPO).
   • Design do Currículo: O treinamento progride com base na disponibilidade de recursos linguísticos e não na complexidade do problema.
     • Nível 1 (Alto Recurso): Francês, Japonês, Espanhol, Vietnamita.
     • Nível 2 (Médio Recurso): Coreano, Tailandês, Turco, Bengali.
     • Nível 3 (Baixo Recurso): Amárico, Iorubá, Hausa, Hindi, Suaíli.
   • Estratégia: O modelo treina primeiro em idiomas de alto recurso para estabelecer sinais de recompensa estáveis, expandindo-se progressivamente para os níveis médio e baixo recurso. Para prevenir o esquecimento catastrófico, os dados dos níveis anteriores são retidos (taxa de retenção $\alpha=0,85$).
   • Função de Recompensa: Uma recompensa composta $R$ combina:
     • Correção ($R_{acc}$): Equivalência semântica e clínica com a verdade fundamental (verificada pelo GPT-4.1).
     • Consistência Linguística ($R_{lang}$): Recompensa binária por produzir a resposta inteiramente no idioma da consulta.
     • Recompensa de Formato ($R_{fmt}$): Adesão a tags de saída estruturada (<thinking>, <step>, <answer>).

3. Contribuições Principais

1. CUREMED-BENCH: A primeira benchmark multilíngue de raciocínio médico de grande escala e resposta aberta cobrindo 13 idiomas, incluindo idiomas de baixos recursos sub-representados, com validade clínica verificada por humanos.
2. Framework CURE-MED: Um pipeline de treinamento inovador que combina SFT consciente de alternância de código (para aproveitar o conhecimento médico em inglês) com GRPO informado por currículo (para impor fidelidade linguística e consistência lógica).
3. Avaliação Sistemática: Uma análise abrangente da compensação entre consistência linguística e acurácia lógica, demonstrando que essas métricas são frequentemente desacopladas em modelos de base, mas otimizadas conjuntamente pelo CURE-MED.
4. Desempenho State-of-the-Art: O modelo alcança resultados superiores em diversas escalas de parâmetros (1,5B a 32B) e demonstra generalização robusta fora da distribuição (OOD).

4. Resultados Experimentais

O modelo foi avaliado contra 28 baselines (LLMs de propósito geral e específicos para medicina) em 13 idiomas.

• Métricas de Desempenho:
  • 7B Parâmetros: Alcançou 85,21% de consistência linguística e 54,35% de correção lógica.
  • 32B Parâmetros: Alcançou 94,96% de consistência linguística e 70,04% de correção lógica.
• Análise Comparativa:
  • O CURE-MED superou significativamente todas as baselines, incluindo modelos proprietários (por exemplo, GPT-5-nano, Gemini 2.5 Pro) e modelos especializados em medicina (por exemplo, MedAlpaca, Meditron).
  • Compensação: Enquanto as baselines frequentemente sacrificavam a consistência linguística pelo raciocínio (ou vice-versa), o CURE-MED deslocou o desempenho para o "canto superior direito" do gráfico de consistência-precisão, melhorando ambos simultaneamente.
• Leis de Escala: O framework mostrou escalabilidade suave; à medida que o tamanho do modelo aumentava de 1,5B para 32B, tanto a consistência quanto a precisão melhoraram monotonicamente, enquanto as baselines mostraram retornos decrescentes ou instabilidade.
• Estudos de Ablação:
  • SFT com Alternância de Código: Crucial para inicializar o raciocínio; SFT ingênuo sem alternância de código levou a menor precisão.
  • Ordem do Currículo: Treinar de idiomas de Alto $\to$ Baixo recurso produziu resultados significativamente melhores do que a ordem inversa, confirmando a importância do design do currículo para a transferência de baixos recursos.
• Fora da Distribuição (OOD): O CURE-MED generalizou efetivamente para benchmarks não vistos (MMedBench, MedExpQA, MedQA), mostrando ganhos particularmente fortes em modelos menores (por exemplo, a precisão do modelo de 1,5B saltou de ~6% para ~24-44% em tarefas OOD).

5. Significado

• IA de Saúde Equitativa: Ao abordar com sucesso idiomas de baixos recursos (Amárico, Iorubá, Suaíli), o CURE-MED vai além do viés centrado no inglês da IA médica atual, permitindo uma implantação mais equitativa em diversos ambientes de saúde globais.
• Confiabilidade: O framework resolve o problema de "plausível mas errado" impondo verificação lógica estrita e restrições linguísticas, tornando os modelos mais seguros para suporte à decisão clínica.
• Insight Metodológico: O artigo demonstra que o aprendizado de currículo baseado em recursos linguísticos é uma estratégia superior para raciocínio multilíngue em comparação com o treinamento uniforme, e que a alternância de código durante o raciocínio intermediário é uma estratégia viável para preencher a lacuna entre conhecimento de alto recurso e saída de baixo recurso.

Em conclusão, o CURE-MED estabelece um novo padrão para raciocínio médico multilíngue, provando que, com o currículo e as estruturas de recompensa adequados, os LLMs podem alcançar raciocínio de alta fidelidade e clinicamente preciso em um amplo espectro de idiomas globais.