Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale

1. Planteamiento del Problema

Los profesionales que despliegan Modelos de Lenguaje Grandes (LLM) pequeños y ejecutables localmente para aplicaciones médicas enfrentan una decisión crítica de diseño: ¿deben invertir recursos en el ajuste fino de dominio (codificar conocimiento en los pesos del modelo) o en la Generación Aumentada por Recuperación (RAG) (inyectar conocimiento en el momento de la inferencia)?

Aunque ambos enfoques son conocidos por mejorar el rendimiento individualmente, rara vez se comparan cara a cara bajo condiciones idénticas. Los estudios existentes suelen variar en la arquitectura base, los conjuntos de datos de evaluación y las tuberías de recuperación, lo que dificulta determinar qué intervención ofrece la mejor ganancia de precisión para un presupuesto fijo de parámetros. Este artículo aborda la pregunta específica: ¿A una escala pequeña (4B de parámetros), qué estrategia —ajuste fino o RAG— ofrece una precisión superior para la respuesta a preguntas múltiples de opción en medicina?

2. Metodología

Los autores realizaron un diseño experimental 2×2 estrictamente controlado para aislar las variables de interés.

• Factores Experimentales:
  1. Tipo de Modelo: De propósito general (Gemma 3 4B) vs. Adaptado al dominio (MedGemma 4B).
  2. Estrategia de Contexto: Sin RAG (Solo pregunta) vs. RAG (Pregunta + Pasajes Recuperados).
• Variables Controladas:
  • Tamaño del Modelo: Ambos modelos tienen 4B de parámetros.
  • Cuantización: Ambos se sirvieron como construcciones GGUF cuantizadas a 4 bits mediante Ollama.
  • Temperatura: Fija en 0.1 para muestreo determinista.
  • Prompting: Identidad de persona experta médica idéntica y contrato de respuesta legible por máquina ({"answer":"A|B|C|D"}).
  • Conjunto de Evaluación: La partición completa de prueba de 4 opciones de MedQA-USMLE (1.273 preguntas).
  • Repeticiones: Cada pregunta se consultó 3 veces por configuración (Total: 15.276 llamadas al LLM).
• Tubería de Recuperación:
  • Corpus: Campos de explicación de la partición de entrenamiento de MedMCQA (asegurando que no haya filtración de datos, ya que MedMCQA es disjunto de MedQA).
  • Incrustación (Embedding): nomic-embed-text.
  • Clasificación: Puntuación híbrida (60% similitud coseno densa + 40% léxica) con un umbral de distancia coseno de 0.3.
  • Contexto: Los 3 fragmentos principales insertados en el prompt.
• Análisis Estadístico:
  • Agregación: Voto mayoritario a través de las 3 repeticiones.
  • Prueba de Significancia: Prueba exacta pareada de McNemar para comparar la precisión entre configuraciones en los mismos 1.273 elementos.

3. Contribuciones Clave

1. Comparación Controlada Cara a Cara: El primer estudio que mantiene constante la arquitectura base, el prompt y el conjunto de evaluación mientras alterna tanto el ajuste fino como el RAG a la escala de 4B.
2. Evidencia Estadística: Proporciona una prueba estadística rigurosa (mediante la prueba de McNemar) de que el ajuste fino de dominio produce ganancias significativas, mientras que una tubería RAG competitiva no lo hace a esta escala.
3. Tubería Reproducible: Lanzó una tubería completamente de código abierto y determinista (Ollama + ChromaDB) con 15.276 trazas JSONL crudas para apoyar la replicación.

4. Resultados

El estudio evaluó cuatro configuraciones:

1. Gemma 3 4B (General) + Sin RAG: 46,4% de precisión.
2. Gemma 3 4B (General) + RAG: 47,3% de precisión.
3. MedGemma 4B (Dominio) + RAG: 51,4% de precisión.
4. MedGemma 4B (Dominio) + Sin RAG: 53,3% de precisión (Mejor Rendimiento).

Hallazgos Clave:

• Impacto del Ajuste Fino: Cambiar de la arquitectura base general Gemma 3 a la arquitectura base adaptada al dominio MedGemma resultó en una ganancia de +6,8 puntos porcentuales (pp) en precisión (53,3% vs. 46,4%). Esta diferencia es altamente estadísticamente significativa (p < 10⁻⁴).
• Impacto del RAG: Añadir RAG no produjo una mejora estadísticamente significativa para ninguno de los modelos.
  • Para el modelo general, la ganancia fue marginal (+0,9 pp, p = 0,56).
  • Para el modelo ajustado al dominio, la estimación puntual fue ligeramente negativa (-1,9 pp, p = 0,16), lo que sugiere que el RAG puede introducir ruido o interferencia cuando el modelo ya posee el conocimiento relevante.
• Consistencia: Todas las configuraciones mostraron una alta consistencia a través de las repeticiones (≥0,99 de acuerdo), lo que indica que los resultados son robustos frente al ruido de decodificación.

5. Significancia y Discusión

• Pesos vs. Contexto: A la escala de 4B de parámetros, el conocimiento de dominio codificado en los pesos domina al conocimiento de dominio suministrado en el contexto. Para modelos pequeños desplegados localmente, el ajuste fino es una palanca más fiable para la precisión que construir una tubería de recuperación.
• Por qué falló el RAG: Los autores proponen cuatro razones potenciales para la falta de eficacia del RAG en este contexto específico:
  1. Razonamiento vs. Recuperación: Las preguntas de USMLE requieren razonamiento complejo e integración de hallazgos, lo que un fragmento de texto recuperado no puede abreviar fácilmente.
  2. Calidad del Corpus: El corpus de recuperación (explicaciones de MedMCQA) es amplio pero no autoritativo, lo que potencialmente diluye el conocimiento previo del modelo.
  3. Límites de Capacidad: Los modelos de 4B pueden carecer de la capacidad de la ventana de contexto o de la habilidad de razonamiento para anclar e integrar efectivamente los fragmentos recuperados mientras resuelven problemas complejos.
  4. Redundancia de Conocimiento: MedGemma probablemente ya absorbió el conocimiento de los libros de texto presente en el corpus de recuperación, dejando poco valor marginal que el RAG pueda añadir y causando potencialmente interferencia.
• Implicación Práctica: Para profesionales con presupuestos de ingeniería limitados que despliegan LLMs médicos pequeños, priorizar el ajuste fino de dominio sobre el RAG es la estrategia recomendada. El RAG no es dañino, pero no es un sustituto del conocimiento en los pesos a esta escala.

6. Limitaciones

• Único Punto de Referencia: Los resultados son específicos de MedQA-USMLE; el RAG podría rendir mejor en tareas de libro abierto o recuperación verbatim.
• Única Escala: Los hallazgos se aplican a modelos de 4B y pueden no extrapolarse a modelos fronterizos más grandes (por ejemplo, 70B+), donde las ganancias del RAG suelen ser más pronunciadas.
• Cuantización: Ambos modelos fueron cuantizados a 4 bits, lo que puede introducir ligeras variaciones en la precisión, aunque la comparación pareada aísla los efectos relativos.