MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

El artículo presenta MammoWise, un pipeline local y reproducible que utiliza modelos de lenguaje visuales de código abierto, técnicas de prompting avanzado y recuperación aumentada por generación (RAG) para automatizar la generación de informes y la clasificación en mamografías, demostrando que el ajuste fino eficiente de MedGemma mejora significativamente la precisión en la evaluación de BI-RADS, densidad mamaria y calcificaciones.

Lo esencial

Imagina que las mamografías son como fotos de un paisaje muy complejo. Un radiólogo experto es como un guía turístico que debe mirar esas fotos y escribir un reporte detallado para los pacientes: decir si hay nubes (tejido denso), si hay rocas extrañas (masas) o si todo está bien.

Hasta ahora, hacer estos reportes era como escribir un libro entero a mano para cada paciente: lento, cansado y propenso a errores si el guía estaba cansado.

Los científicos han creado una herramienta llamada MammoWise. Aquí te explico cómo funciona usando una analogía sencilla:

1. El Problema: La "Caja Negra" y el "Libro de Texto"

Antes, para que una computadora hiciera esto, tenías que usar sistemas gigantes que vivían en la "nube" (como un servidor gigante en otro país).

• El problema: Era como pedirle a un chef famoso en otro continente que cocinara tu cena. Podía salir bien, pero tardaba, costaba mucho, y no podías ver qué ingredientes usaba (privacidad). Además, si el chef se equivocaba, no sabías por qué.
• La solución MammoWise: Es como tener una cocina modular en tu propia casa. MammoWise es un "kit de herramientas" que puedes instalar en tu propia computadora (local), sin enviar datos sensibles a internet.

2. Los Ingredientes: Los "Cocineros" (Modelos de IA)

MammoWise no es un solo robot, es un jefe de cocina que puede contratar a diferentes "cocineros" (modelos de Inteligencia Artificial de código abierto) para que trabajen.

• Los cocineros son modelos como MedGemma, LLaVA-Med y Qwen2.5-VL.
• Estos cocineros son muy inteligentes, pero si les das una foto de una mamografía sin instrucciones, a veces alucinan (inventan cosas que no existen) o no hablan el idioma médico correcto.

3. Las Tres Estrategias de MammoWise

Para que estos cocineros hagan un buen trabajo, MammoWise les ofrece tres niveles de ayuda:

A. El "Papel de Instrucciones" (Prompting)

Es como darle al cocinero una receta escrita.

• Zero-shot (Sin ejemplos): Le dices: "Eres un radiólogo experto, mira esta foto y escribe el reporte".
• Few-shot (Con ejemplos): Le dices: "Aquí tienes 5 ejemplos de reportes perfectos que ya hicimos, úsalos de guía".
• Chain-of-Thought (Pensamiento en cadena): Le dices: "No solo des la respuesta. Primero piensa: ¿Es denso el tejido? Luego, ¿hay bultos? Luego, ¿es peligroso? Finalmente, escribe el reporte". Esto ayuda a la IA a razonar paso a paso.

B. El "Libro de Casos Antiguos" (RAG - Recuperación Aumentada)

Imagina que el cocinero tiene una duda. En lugar de adivinar, MammoWise va a una biblioteca digital llena de mamografías pasadas y sus reportes correctos.

• Busca casos que se parezcan mucho a la foto actual.
• Le dice al cocinero: "Mira, en este caso parecido, el radiólogo dijo X. Usa eso como referencia".
• Resultado: La IA se vuelve más precisa y menos propensa a inventar cosas, porque se basa en casos reales.

C. El "Entrenamiento Especializado" (Fine-Tuning / QLoRA)

A veces, las instrucciones y los libros no son suficientes para ser un experto en un tema muy específico.

• MammoWise toma a uno de los cocineros (MedGemma) y le da un curso intensivo usando miles de mamografías reales.
• Pero no necesita reescribir todo el cerebro del robot (lo cual costaría millones de dólares en computadoras). Usa una técnica llamada QLoRA, que es como ponerle "gafas de entrenamiento" al robot. Solo ajusta una pequeña parte de su conocimiento para que se especialice en cáncer de mama, sin olvidar lo demás.

4. ¿Qué descubrieron?

Los científicos probaron esto con miles de mamografías y descubrieron:

• Para escribir el reporte (el texto): Las instrucciones simples (Prompting) y la ayuda de la biblioteca (RAG) funcionan muy bien. La IA puede redactar reportes que suenan muy profesionales.
• Para tomar decisiones difíciles (clasificar): Si la IA tiene que decir "esto es benigno" o "esto es canceroso" con total seguridad, las instrucciones no bastan. Aquí es donde el entrenamiento especial (Fine-Tuning) brilla. Con el entrenamiento, la IA acertó mucho más (mejoró su precisión de un 25% a un 75% en algunos casos difíciles).

En resumen

MammoWise es como un taller de reparación de coches que puedes tener en tu garaje.

1. Puedes usarlo con cualquier mecánico (modelo de IA) que tengas.
2. Puedes darle un manual de instrucciones (Prompting).
3. Puedes consultar un archivo de reparaciones anteriores (RAG).
4. Y si necesitas que el mecánico sea un experto en frenos de un modelo específico, le das un curso rápido (Fine-Tuning) sin tener que comprar un taller nuevo.

¿Por qué es importante?
Porque hace que la tecnología médica avanzada sea privada (los datos no salen de tu hospital), barata (no necesitas supercomputadoras en la nube) y confiable, ayudando a los radiólogos a trabajar más rápido y con menos errores.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation" en español:

1. El Problema

La mamografía de cribado es un proceso de alto volumen, sensible al tiempo y con una gran carga de documentación. Los radiólogos deben traducir hallazgos visuales sutiles en evaluaciones estandarizadas (BI-RADS), categorías de densidad mamaria y informes narrativos. Aunque los Modelos de Lenguaje y Visión (VLM) recientes hacen posible la generación de informes, existen dos barreras principales para su adopción clínica:

1. Privacidad y Costos: Muchas demostraciones de alto rendimiento dependen de modelos cerrados alojados en la nube, lo que plantea riesgos de privacidad (salud protegida fuera de las instalaciones), costos operativos altos y dificultades de reproducibilidad.
2. Adaptabilidad: Los VLM de código abierto, cuando se ejecutan localmente "tal cual", a menudo carecen de especialización en mamografía, produciendo detalles clínicamente implausibles o errores (alucinaciones) si no se guían cuidadosamente. Las soluciones existentes suelen ser arquitecturas específicas y difíciles de adaptar a diferentes modelos o flujos de trabajo.

2. Metodología: MammoWise

El artículo presenta MammoWise, una tubería (pipeline) local, modular y multi-modelo diseñada para convertir VLMs de código abierto en generadores de informes clínicos y clasificadores multi-tarea.

• Arquitectura y Componentes:

  • Soporte de Modelos: Utiliza cualquier VLM alojado localmente a través de Ollama. Los modelos evaluados fueron MedGemma (4B), LLaVA-Med (7B) y Qwen2.5-VL (7B).
  • Entrada de Datos: Procesa conjuntos de datos de mamografía (VinDr-Mammo y DMID). Para VinDr-Mammo, fusiona las 4 vistas por paciente (CC y MLO de ambos senos) en una sola imagen compuesta para imitar el flujo de trabajo del radiólogo.
  • Estrategias de Adaptación:
    1. Prompting: Prueba estrategias de Zero-shot, Few-shot y Chain-of-Thought (CoT).
    2. RAG (Generación Aumentada por Recuperación): Implementa un modo opcional que recupera pares imagen-texto relevantes de una base de datos vectorial (ChromaDB) para proporcionar contexto específico al caso, reduciendo alucinaciones.
    3. Ajuste Fino (Fine-Tuning): Aplica QLoRA (Low-Rank Adaptation cuantizada) en el modelo MedGemma para adaptarlo eficientemente a las etiquetas específicas de mamografía sin reentrenar todo el modelo. Se utilizó un subconjunto de datos reequilibrado mediante muestreo y aumento de datos.

• Evaluación:

  • Métricas de Generación: BERTScore y ROUGE-L para evaluar la similitud semántica y léxica con informes reales.
  • Métricas de Clasificación: Precisión, Recall, F1-score (macro) y especificidad para tareas como clasificación BI-RADS (5 clases), densidad mamaria (ACR A-D), y detección de hallazgos (masas, calcificaciones, asimetrías).

3. Contribuciones Clave

1. Pipeline Local Multi-Modelo: MammoWise actúa como un "taller de una sola parada" que permite ejecutar, comparar y evaluar múltiples VLMs de código abierto en un entorno local, preservando la privacidad de los datos.
2. Flujo de Trabajo RAG Multimodal: Introduce un mecanismo de recuperación de ejemplos imagen-texto para mejorar el contexto y la grounding (anclaje) de los informes generados.
3. Comparación Sistemática: Proporciona una evaluación unificada de tres estrategias de adaptación (Prompting, RAG y Fine-tuning) a través de diferentes modelos y conjuntos de datos.
4. Evidencia de Fine-Tuning Eficiente: Demuestra que el ajuste fino ligero (QLoRA) es crucial para estabilizar y mejorar significativamente el rendimiento en tareas de clasificación estructurada, superando las limitaciones del prompting puro.

4. Resultados Principales

• Generación de Informes: La generación de informes narrativos es robusta incluso solo con prompting (especialmente few-shot). La adición de RAG mejora consistentemente la similitud del texto y la coherencia clínica en la mayoría de los casos, aunque en algunos conjuntos de datos pequeños (como DMID) puede introducir ruido si los ejemplos recuperados no encajan perfectamente.
• Clasificación Estructurada (Sin Ajuste Fino): El rendimiento de la clasificación (BI-RADS, densidad) usando solo prompting es altamente variable y sensible a la combinación de modelo, conjunto de datos y tipo de prompt. RAG ofrece mejoras modestas pero no uniformes.
• Impacto del Ajuste Fino (QLoRA):
  • El ajuste fino de MedGemma con QLoRA produjo ganancias sustanciales.
  • Precisión BI-RADS: Aumentó de ~0.29 (mejor prompting) a 0.7545 (ajuste fino single-task).
  • Precisión Densidad: Aumentó de ~0.78 a 0.8840.
  • Precisión Calcificación: Alcanzó 0.9341.
  • Esto confirma una "escalera de fiabilidad": el prompting es suficiente para borradores de informes, pero el ajuste fino es necesario para una precisión de etiquetas confiable.
• Comparación con SOTA: El modelo ajustado de MammoWise superó o igualó a modelos especializados reportados en la literatura (como MammoCLIP y LLaVA-Mammo) en tareas clave de clasificación en el conjunto de datos VinDr-Mammo.

5. Significado e Implicaciones

El estudio establece un paradigma pragmático para la implementación de IA en mamografía:

• Desacoplamiento: MammoWise demuestra que no es necesario crear un modelo único y rígido; se puede utilizar un marco flexible que combine prompting, recuperación de contexto y ajuste fino ligero.
• Privacidad y Accesibilidad: Al operar completamente localmente con hardware de consumo (gracias a la cuantización y QLoRA), hace viable la implementación de herramientas de IA en entornos clínicos sin comprometer la privacidad de los datos del paciente.
• División del Trabajo: Sugiere que para la redacción de informes clínicos, el prompting avanzado con RAG es suficiente, pero para la toma de decisiones críticas basadas en etiquetas estructuradas (como el diagnóstico de cáncer), el ajuste fino ligero es indispensable para alcanzar la fiabilidad clínica necesaria.

En resumen, MammoWise ofrece una hoja de ruta práctica y reproducible para desplegar asistentes de IA locales en la detección del cáncer de mama, cerrando la brecha entre los modelos de lenguaje generales y las necesidades específicas de la radiología mamaria.