Teaching LLMs Brazilian Healthcare: Injecting Knowledge from Official Clinical Guidelines

1. Planteamiento del Problema

El Sistema Único de Salud (SUS) de Brasil atiende a más de 200 millones de ciudadanos y depende de 178 Protocolos Clínicos y Directrices Terapéuticas (PCDT) oficiales para dictar criterios de diagnóstico, tratamientos, dosis y procedimientos de monitoreo. Sin embargo, los Modelos de Lenguaje Grande (LLM) actuales enfrentan desafíos significativos en este dominio:

• Brecha de Conocimiento: Los LLMs médicos de última generación se entrenan predominantemente en literatura en inglés (por ejemplo, PubMed, USMLE) y carecen de conocimiento específico sobre los protocolos clínicos en portugués brasileño.
• Déficit de Evaluación: No existe ninguna referencia (benchmark) que evalúe la recuperación clínica fundamentada en los protocolos oficiales brasileños.
• Accesibilidad: Los profesionales de la salud tienen dificultades para recordar recomendaciones específicas de la enorme volumen de documentos complejos en el punto de atención.

2. Metodología

Los autores proponen una tubería integral para adaptar un LLM de propósito general al dominio clínico brasileño mediante la generación de datos sintéticos, el pre-entrenamiento continuo y el aprendizaje por refuerzo.

A. Recopilación y Síntesis de Datos

• Fuente: 178 documentos oficiales de PCDT (aproximadamente 5,4 millones de tokens).
• Generación de Datos Sintéticos: En lugar de entrenar directamente sobre las directrices en bruto, los autores utilizaron cuatro LLMs generadores diversos (GPT-4.1-mini, GPT-5-nano, GPT-OSS-20B y Qwen3-235B) para transformar las directrices en ~70 millones de tokens de datos sintéticos en tres formatos:
  1. Reformulaciones: Versiones parafraseadas que preservan todo el contenido clínico.
  2. Artículos estilo Wiki: Artículos expositivos que reestructuran los protocolos.
  3. Pares Pregunta-Respuesta (QA): Preguntas clínicas detalladas con razonamientos paso a paso.
  • Nota: Para prevenir la fuga de datos, los pares QA se generaron únicamente a partir de la división de entrenamiento de las directrices (89 directrices), mientras que las reformulaciones y los artículos wiki se generaron a partir de las 178 directrices completas.

B. Tubería de Entrenamiento

El modelo base utilizado fue Qwen2.5-14B-Instruct. El entrenamiento involucró dos etapas:

1. Pre-entrenamiento Continuo (CPT): El modelo se entrenó sobre el corpus sintético de ~70 millones de tokens utilizando un objetivo estándar de modelado de lenguaje causal.
2. Aprendizaje por Refuerzo (RL): Los autores aplicaron Optimización de Política Relativa de Grupo (GRPO) utilizando la división de entrenamiento de una nueva referencia (HealthBench-BR).
   • Señal de Recompensa: El modelo recibió una recompensa de 1.0 por veredictos Verdadero/Falso correctos acompañados de al menos 50 palabras de razonamiento, y 0.0 en caso contrario. Esto fomentó el razonamiento clínico explícito y redujo el "hackeo de recompensas" (adivinar sin justificación).

C. Referencias de Evaluación

Se introdujeron dos nuevas referencias fundamentadas en protocolos:

1. HealthBench-BR: 1.780 afirmaciones Verdadero/Falso equilibradas (10 por directriz). Estas prueban la recuperación factual precisa (por ejemplo, dosis específicas, vías de administración).
2. PCDT-QA: 890 preguntas clínicas abiertas puntuadas por un juez LLM (GPT-4.1) frente a respuestas de referencia.

3. Contribuciones Clave

1. Protocolo de Entrenamiento Reproducible: Una tubería novedosa que combina datos sintéticos de múltiples generadores, pre-entrenamiento continuo y GRPO para la adaptación de dominio en un entorno de idioma con recursos limitados (relativo al inglés).
2. Nuevas Referencias: Introducción de HealthBench-BR y PCDT-QA, las primeras referencias diseñadas específicamente para evaluar LLMs sobre directrices clínicas oficiales brasileñas.
3. Liberación Abierta: Liberación pública de todos los conjuntos de datos sintéticos, referencias y pesos del modelo para apoyar la investigación reproducible en PLN clínico en portugués brasileño.
4. Insights de Ablación: Análisis detallado que muestra que la diversidad de generadores y el aprendizaje por refuerzo son críticos para el rendimiento, mientras que el ajuste fino completo supera a LoRA en este contexto específico.

4. Resultados Clave

La mejor configuración del modelo (CPT con 4 generadores + GRPO) logró un rendimiento de última generación en ambas referencias, superando significativamente a modelos propietarios mucho más grandes y a sistemas aumentados por recuperación.

• Métricas de Rendimiento:
  • HealthBench-BR: 83,9% de precisión (conjunto de prueba).
  • PCDT-QA: 85,4% de precisión (conjunto de prueba).
• Comparaciones:
  • Superó a GPT-5.2 (alto), Claude Sonnet 4.6 y Gemini 3.1 Pro entre 4,6 y 5,4 puntos porcentuales.
  • Superó a Google AI Overview (un sistema RAG fundamentado en la web) en 13,4 puntos en HealthBench-BR y en 8,1 puntos en PCDT-QA, a pesar de que el sistema RAG tenía acceso a la web abierta.
• Hallazgos de Ablación:
  • Diversidad de Generadores: Escalar de 1 a 4 generadores mejoró el rendimiento de PCDT-QA en 20 puntos (de 66,3% a 86,3%), destacando la importancia de la diversidad estilística y léxica.
  • Aprendizaje por Refuerzo: GRPO proporcionó una ganancia de 12,8 puntos en HealthBench-BR sobre el CPT solo y corrigió la "sycophancy" (la tendencia a estar de acuerdo con los usuarios), reduciendo el sesgo de acuerdo del 58,9% al 53,0%.
  • Olvido: Se encontró que el ajuste fino completo (Full FT) era superior a LoRA para esta tarea, ya que LoRA resultó en un mayor olvido catastrófico en tareas fuera de distribución (por ejemplo, seguimiento de instrucciones).

5. Significado

• Especificidad de Dominio: Este trabajo demuestra que un modelo de código abierto relativamente pequeño (14 mil millones de parámetros) puede superar a modelos propietarios masivos cuando se adapta específicamente a los protocolos médicos oficiales de un país.
• Equidad en la IA para la Salud: Aborda el sesgo "centrado en el inglés" en la IA médica, proporcionando una vía para el apoyo a la toma de decisiones clínicas de alta calidad para poblaciones de habla portuguesa.
• Seguridad y Fiabilidad: El estudio destaca los peligros de la "sycophancy" en la IA médica (estar de acuerdo con premisas falsas) y muestra cómo el RL puede mitigarla, un paso crucial para desplegar IA en entornos clínicos.
• Eficiencia de Recursos: Los resultados sugieren que la inyección de conocimiento dirigida mediante datos sintéticos es más efectiva que depender de la recuperación general de la web (RAG) para directrices clínicas específicas y de alto riesgo.

El artículo concluye que, aunque el modelo es un artefacto de investigación y no un dispositivo médico certificado, representa un salto significativo hacia adelante para hacer que la IA clínica sea accesible y precisa para el sistema de salud pública brasileño.