Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework

1. Planteamiento del Problema

La integración de Modelos de Lenguaje Grandes (LLM) en flujos de preguntas y respuestas médicas requiere más que una alta precisión promedio. En entornos críticos como comunidades de salud en línea (ej. Reddit) o asistencia clínica, la inconsistencia de salida es tan peligrosa como el error factual. Un modelo que devuelve respuestas sustancialmente diferentes en cada consulta, incluso si su calidad media es alta, no es una herramienta médica fiable.

El problema central identificado es que las métricas de evaluación dominantes (como MedQA o PubMedQA) se centran únicamente en la precisión de un solo pase (single-pass accuracy), ignorando la varianza entre ejecuciones (run-to-run variance). Esto crea una "brecha de seguridad" donde un modelo puede parecer preciso en promedio, pero ser impredecible y no auditable en la práctica, lo cual es inaceptable para aplicaciones de seguridad crítica.

2. Metodología

Los autores proponen un marco de evaluación de código abierto diseñado para LLMs pequeños y desplegable localmente, priorizando la reproducibilidad como una métrica de primer nivel junto a la precisión.

• Conjunto de Datos: Se utilizó MedQuAD (50 preguntas seleccionadas aleatoriamente de un corpus de 16,412 pares pregunta-respuesta de recursos de salud del NIH).
• Modelos Evaluados: Se probaron tres modelos de pesos abiertos desplegados localmente vía Ollama:
  1. Llama 3.1 8B: Modelo de propósito general.
  2. Gemma 3 12B: Modelo de propósito general más grande.
  3. MedGemma 1.5 4B: Modelo especializado en el dominio clínico (fine-tuned).
• Configuración de Inferencia:
  • Cada pregunta se sometió a 10 ejecuciones repetidas por modelo (Total: 1,500 respuestas).
  • Parámetros fijos: Temperatura T=0.2 (configuración común de producción para reducir varianza), top-p=1.0, máximo 512 tokens.
  • Prompt de sistema idéntico para todos los modelos para aislar el comportamiento del modelo de efectos de ingeniería de prompts.
• Métricas de Evaluación:
  • Calidad (vs. Verdad Terrena): Exact Match, F1 de Tokens, Similitud de Cadenas, BLEU, ROUGE-L, BERTScore y una puntuación de "LLM-as-judge" (un modelo LLM local evalúa la corrección factual y seguridad clínica).
  • Reproducibilidad:
    • Tasa de auto-acuerdo (Self-agreement): Fracción de ejecuciones que coinciden con la respuesta modal (más frecuente).
    • Tasa de unicidad de respuesta: Proporción de respuestas únicas normalizadas.
  • Eficiencia: Latencia y throughput (tokens/segundo).

3. Contribuciones Clave

1. Protocolo de Evaluación "Reproducibilidad-Primero": Un nuevo enfoque que cuantifica la consistencia intra-modelo (auto-acuerdo y unicidad) junto con las métricas de precisión estándar.
2. Pipeline Modular de Código Abierto: Una herramienta CLI (línea de comandos) reutilizable y resumible con tres etapas: run (ejecución), score (puntuación) y report (informe), que permite a los practicantes replicar o extender la evaluación.
3. Hallazgos Empíricos: Demostración de que la falta de reproducibilidad persiste incluso en regímenes de temperatura bajos (casi deterministas) y que el fine-tuning clínico en modelos pequeños no compensa necesariamente la falta de capacidad de parámetros.

4. Resultados Principales

El estudio reveló hallazgos críticos sobre el comportamiento de los modelos:

• Falta de Reproducibilidad Sorprendente: A pesar de usar una temperatura baja (T=0.2), la consistencia es extremadamente baja.
  • La tasa de auto-acuerdo osciló entre 0.12 y 0.20. Esto significa que, en promedio, un modelo da la misma respuesta en menos del 20% de las veces.
  • La unicidad de respuesta fue del 87% al 97% (dependiendo del modelo). Por ejemplo, Llama 3.1 8B generó una respuesta única normalizada en el 97.4% de sus 500 ejecuciones.
  • No hubo superposición de respuestas entre los tres modelos (solapamiento par a par = 0.000).
• Calidad vs. Reproducibilidad:
  • Llama 3.1 8B: Mejor calidad léxica (Token F1) y velocidad (43.0 tok/s), pero la peor reproducibilidad (0.122 de acuerdo).
  • Gemma 3 12B: Mejor puntuación del juez (0.600) y mejor reproducibilidad (0.198 de acuerdo), pero más lenta (25.5 tok/s).
  • MedGemma 1.5 4B: Rindió peor que los modelos de propósito general más grandes en todas las métricas (calidad y reproducibilidad), obteniendo la puntuación de juez más baja (0.459).
• Confusión de Escala: El bajo rendimiento de MedGemma se atribuye a una confusión entre fine-tuning clínico y tamaño del modelo (4B vs. 8B/12B). La diferencia de capacidad (2-3x) probablemente domina sobre la especialización del dominio.

5. Significado e Implicaciones

• La temperatura baja no es suficiente: Configurar T=0.2 no garantiza comportamiento reproducible en la práctica. Para despliegues médicos, es obligatorio implementar estrategias de estabilización como votación por mayoría, umbral de confianza o revisión humana obligatoria.
• Riesgo de Benchmarks Tradicionales: Los benchmarks de un solo pase ocultan el riesgo de inconsistencia. Un modelo puede tener una alta precisión promedio pero ser inseguro debido a su inestabilidad.
• Selección de Modelos: Los practicantes no deben confiar ciegamente en el "branding" clínico de un modelo. La especialización de dominio en modelos pequeños no compensa la falta de capacidad de parámetros. Se recomienda comparar modelos de tamaño similar para aislar el efecto del fine-tuning.
• Herramienta Práctica: El framework abierto democratiza la evaluación de LLMs clínicos, permitiendo que equipos con hardware comercial realicen evaluaciones rigurosas que incluyen la dimensión de reproducibilidad, algo que antes requería infraestructuras masivas o se ignoraba.

En conclusión, el artículo establece que la estabilidad de la salida es tan crítica como la precisión en la IA médica y proporciona las herramientas y la evidencia empírica para integrar esta métrica en los flujos de trabajo de selección de modelos.