Resumen Técnico: MedLLM – Un Modelo de Lenguaje Médico Abierto en la Escala de Menos de Mil Millones de Parámetros

Planteamiento del Problema

El campo de los modelos de lenguaje grandes (LLM) médicos ha convergido en una única escala: los sistemas ampliamente utilizados operan con 7 mil millones de parámetros o más. Esta tendencia deja el régimen de menos de mil millones (modelos con <1B de parámetros) sin caracterizar. Los actuales LLM médicos son o bien de código cerrado con detalles de entrenamiento no revelados (ej. GPT-4, Med-PaLM-2) o bien abiertos pero grandes (7B–540B), lo que limita el acceso, la reproducibilidad y la capacidad de auditar los procesos de entrenamiento.

Existe una brecha crítica en la comprensión de qué capacidades médicas sobreviven cuando la capacidad del modelo se reduce en un orden de magnitud. Adaptar modelos de propósito general a la medicina es desafiante debido al desajuste de distribución entre el texto de la web y el texto médico, lo cual requiere manejar la terminología de cola larga, el razonamiento estructurado y requisitos de alta precisión. El trabajo previo aborda esto mediante el preentrenamiento continuo en corpus biomédicos y el ajuste de instrucciones, pero todos estos esfuerzos operan con 7 mil millones de parámetros o más. Sigue siendo desconocido si estas recetas de adaptación se transfieren a modelos más pequeños o si la reducción de capacidad fuerza la colapso de capacidades médicas específicas antes que otras.

Metodología

Arquitectura del Modelo: MedLLM

MedLLM es un transformador de solo decodificador con 0.1 mil millones (100M) de parámetros. Las decisiones arquitectónicas clave incluyen:

• Tokenización y Embedding: Utiliza un vocabulario SentencePiece ($V=32,000$) y una dimensión de embedding $d=512$. Dado el alto ratio vocabulario-ancho ($V/d = 62.5$), los autores vinculan los embeddings de entrada con la proyección de salida. Esto elimina una matriz separada de $V \times d$ (ahorrando un 14% de los parámetros totales) y actúa como un regularizador.
• Capas Transformer: Apila 20 capas utilizando RMSNorm colocado dentro de la rama residual (post-atención y post-FFN) en lugar de pre-norm. Esto mantiene la corriente residual en una escala controlada, mejorando la estabilidad para modelos profundos y estrechos.
• Atención: Utiliza 8 cabezas con Embeddings de Posición Rotatorios (RoPE) y normalización QK para acotar las magnitudes de los logits de atención, evitando inestabilidades de entrenamiento comunes en modelos pequeños.
• Red Feed-Forward: Emplea SwiGLU con un factor de expansión de 4 ($d_{ff} = 2048$). Esto asigna el 62.7% de los parámetros del modelo a la subcapa feed-forward, priorizando la profundidad y la transformación composicional sobre la anchura.

Pipeline de Datos: MedFineWeb

Para adaptar el modelo sin depender de fuentes médicas curadas manualmente (que a menudo son escasas o están sesgadas hacia la escritura de estilo de abstract), los autores introducen MedFineWeb, un corpus de texto plano médico seleccionado de datos generales de la web mediante selección guiada por referencia:

1. Pool de Candidatos: Datos generales de la web (RedPajama-V2, C4, OpenWebText, Wikipedia) divididos en fragmentos de ~1,000 palabras.
2. Sets de Referencia: Tres conjuntos de datos de QA médica (MedMCQA, MedQA, PubMedQA) sirven como referencias semánticas. Sus prompts y respuestas son embebidos.
3. Selección: Cada fragmento candidato es puntuado por su similitud semántica (similitud de coseno vía FAISS) con los sets de referencia. Se seleccionan el 50% superior de los candidatos para cada set de referencia, se fusionan y se deduplican.
4. Resultado: Un corpus de 3B de tokens que captura el estilo y los temas médicos sin copiar directamente preguntas o respuestas de benchmarks.

Pipeline de Entrenamiento

El entrenamiento sigue un pipeline de tres fases totalmente abierto:

1. Preentrenamiento General: El modelo es preentrenado en ~29.5B de tokens de datos web generales ($D_{gen}$) usando modelado de lenguaje causal con un esquema de longitud de secuencia curricular (128 $\to$ 256 $\to$ 512 tokens) y un regularizador de pérdida z para estabilizar los logits de salida.
2. Ajuste de Dominio (DFT): Preentrenamiento continuo en MedFineWeb durante 25,000 pasos para desplazar la distribución del texto web general al texto médico.
3. Alineación de Preferencias: Un proceso de dos pasos por benchmark:
   • Ajuste de Instrucciones Supervisado (SFT): Ajuste fino sobre los sets de entrenamiento de los benchmarks usando objetivos de predicción de etiquetas.
   • Optimización de Preferencia Directa (DPO): Optimizar el modelo para que prefiera respuestas correctas sobre incorrectas sin un modelo de recompensa separado. La fuerza de la penalización KL se escala con $\beta=0.1$ para amplificar el margen de preferencia.

Contribuciones Clave

1. MedLLM: El primer modelo de lenguaje médico de 0.1B de parámetros abierto, proporcionando una línea base reproducible un orden de magnitud más pequeña que los LLM médicos existentes.
2. MedFineWeb: Un novedoso corpus de preentrenamiento médico construido a partir de datos web generales utilizando similitud de embeddings con QA médica. No requiere fuentes médicas curadas y puede adaptarse a cualquier dominio dado un pequeño conjunto de ejemplos de QA del dominio objetivo.
3. Disociación Estructurada por Tarea: La identificación de que, bajo compresión, la competencia médica no se degrada de manera uniforme. En su lugar, se divide por tipo de tarea: el modelo logra una precisión competitiva con modelos de 7B en QA basado en contexto, pero permanece limitado por capacidad en QA de recuperación de conocimiento.

Resultados

Evaluación de Preentrenamiento

Incluso antes del ajuste fino de tareas específicas, el modelo MedLLM (evaluado zero-shot mediante selección de top-token) logró la precisión promedio más alta (35.1%) entre todas las líneas base, incluyendo modelos de 7B ajustados por instrucciones (Zephyr-7B-$\beta$: 32.4%) y modelos de 7B adaptados médicamente (PMC-LLaMA-7B: 30.6%). Superó a modelos más grandes en benchmarks orientados a la recuperación (MMLU y MedMCQA) a pesar de ser 70 veces más pequeño.

Evaluación de Ajuste Fino

Tras el SFT y DPO, los resultados revelaron una división distinta basada en el tipo de tarea:

• Benchmarks de Recuperación de Conocimiento (MedMCQA, MMLU): MedLLM (DPO) excedió significativamente a todas las líneas base de 7B y sub-7B. En MedMCQA, alcanzó un 34.9% (frente al 33.0% de Zephyr-7B-$\beta$ y 26.6% de PMC-LLaMA-7B). En MMLU, alcanzó un 32.4%.
• QA Basado en Contexto (PubMedQA): MedLLM alcanzó un 58.2%, superando a las líneas base de 7B ajustadas por instrucciones (Zephyr-7B-$\beta$: 43.0%) pero permaneciendo por debajo de las líneas base de preentrenamiento continuo (PMC-LLaMA-7B: 72.9%).
• Vignettes Clínicas Complejas (MedQA): El modelo tuvo dificultades, alcanzando solo un 28.1% (cerca del piso de cuatro opciones del 25%), significativamente por detrás de los modelos de 7B ajustados por instrucciones.

Análisis de la Dinámica de Entrenamiento

• Perplejidad vs. Precisión: Durante el ajuste fino de dominio, la perplejidad de validación en texto médico cayó a la mitad (27.3 $\to$ 13.6), pero la precisión en los benchmarks se mantuvo plana. Esto indica que, a la escala de 0.1B, el modelo aprende la forma médica (distribución del lenguaje) rápidamente pero falla en adquirir los hechos recuperables requeridos para los benchmarks de recuperación.
• Efecto de DPO: El DPO aumentó la precisión solo modestamente (ej. +1.0 pp en MedMCQA) pero amplificó el margen de log-probabilidad entre respuestas correctas e incorrectas por 5.2x. Esto sugiere que el DPO a esta escala refina la discriminación existente en lugar de inyectar nuevo conocimiento.

Significado y Reivindicaciones

El artículo afirma que el régimen de menos de mil millones no es simplemente una versión degradada de los modelos más grandes, sino que exhibe un comportamiento único donde la capacidad médica se obtiene mejor mediante la recuperación y el contexto suministrado que mediante la recuperación paramétrica.

• Capacidad vs. Adaptación: Los resultados demuestran que donde la recuperación tiene éxito (MedMCQA), la restricción vinculante es la capacidad del modelo, no el método de adaptación. Donde la recuperación falla (MedQA), el límite de capacidad es absoluto.
• Disociación por Tarea: La "división" en el rendimiento está enmascarada a 7B (donde ambas capacidades existen) y surge solo cuando la capacidad es escasa.
• Reproducibilidad: Al liberar MedLLM y MedFineWeb, los autores proporcionan una vía para entrenar, auditar y desplegar modelos médicos en hardware modesto, desafiando la necesidad de conteos de parámetros masivos para tareas médicas específicas.

Los autores concluyen que, a escalas de menos de mil millones, la amplitud del conocimiento del modelo está inherentemente restringida, y el rendimiento depende fuertemente de la calidad del contexto proporcionado más que del conocimiento paramétrico internalizado.