A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP

Título: Un enfoque de aprendizaje por transferencia eficiente en parámetros mediante destilación y descomposición de prompts multitarea para NLP Clínico

1. El Problema

Los modelos de lenguaje grandes (LLM) han revolucionado el Procesamiento del Lenguaje Natural (NLP) clínico, pero su implementación en entornos hospitalarios reales enfrenta tres barreras críticas de generalización:

• Falta de transferencia entre tareas: Los modelos entrenados para una tarea (ej. extracción de entidades) no aprovechan el conocimiento de otras (ej. inferencia o resumen).
• Falta de generalización institucional: Los modelos fallan al desplegarse en diferentes hospitales debido a variaciones en la cultura de documentación, sistemas de registros electrónicos (EHR) y vocabularios locales.
• Falta de generalización por dominio de enfermedad: Los sistemas optimizados para oncología no funcionan bien en cardiología debido a diferencias terminológicas.

Actualmente, la solución estándar es desarrollar modelos especializados por subdominio mediante fine-tuning completo, lo cual es computacionalmente prohibitivo y requiere grandes cantidades de datos anotados (escasos en medicina). Las técnicas de ajuste eficiente de parámetros (PEFT) existentes, como LoRA (que actualiza ~2.5% de parámetros) o el Prompt Tuning de una sola tarea (que actualiza <0.1%), tienen limitaciones: LoRA sigue siendo costoso en almacenamiento para múltiples tareas, y el Prompt Tuning de una sola tarea aprende desde cero, sin aprovechar el conocimiento transferible entre tareas relacionadas, lo que resulta en inestabilidad y bajo rendimiento en escenarios de pocos datos (few-shot).

2. Metodología

Los autores proponen un marco de Destilación y Descomposición de Prompts Multitarea (MPT). El objetivo es aprender una única "meta-prompt" compartida a partir de 21 tareas fuente diversas y adaptarla a tareas objetivo no vistas con menos del 0.05% de parámetros entrenables.

El proceso se divide en tres etapas:

1. Entrenamiento de Prompts Maestros (Teacher Prompts): Se unifican los espacios de etiquetas en 5 tipos de tareas clínicas (Reconocimiento de Entidades Nombradas - NER, Extracción de Relaciones - RE, Preguntas y Respuestas - QA, Inferencia de Lenguaje Natural - NLI, y Resumen). Se entrena un prompt suave (soft prompt) independiente y robusto para cada tipo de tarea sobre sus datos combinados.
2. Destilación y Descomposición Multitarea:
   • Se aprende una meta-prompt compartida ($P^*$) que captura el conocimiento clínico transferible.
   • Los prompts maestros se descomponen en esta meta-prompt más actualizaciones de bajo rango específicas de cada tarea.
   • Matemáticamente, el prompt reconstruido para la tarea $k$ es: $P_k = P^* \odot (U_k \times V_k)$, donde $U_k$ y $V_k$ son matrices pequeñas entrenables.
   • Se utiliza una función de pérdida compuesta que incluye: pérdida de tarea, pérdida de destilación de logits (divergencia KL) y pérdida de destilación de estados ocultos (MSE) para alinear las representaciones internas.
3. Adaptación a Tareas Objetivo: Para una nueva tarea objetivo, se inicializa el prompt usando la meta-prompt congelada ($P^*$) y los vectores específicos de la tarea (inicializados desde las tareas fuente correspondientes). Solo se actualizan los vectores específicos ($u, v$), manteniendo $P^*$ y el modelo base congelados.

3. Contribuciones Clave

• Nuevo Marco de Aprendizaje: Presentación de un enfoque de destilación de prompts que permite compartir conocimiento entre tareas heterogéneas dentro del dominio clínico, superando la limitación de los prompts de una sola tarea.
• Benchmarks Clínicos Multitarea: Construcción de un conjunto de datos de evaluación robusto con 21 datasets fuente y 10 datasets objetivo (mantenidos fuera de la prueba) que cubren cinco tipos de tareas, tres escenarios de transferencia (entre instituciones, entre enfermedades y entre dominios) y tres modelos base.
• Evaluación Exhaustiva: Comparación sistemática contra Fine-tuning completo, LoRA y Prompt Tuning de una sola tarea, utilizando modelos de última generación: LLaMA 3.1 8B (general), Meditron3 8B (clínico) y gpt-oss 20B (arquitectura MoE).
• Análisis de Escenarios de Pocos Datos: Evaluación detallada en regímenes zero-shot y few-shot (k=1 a k=20), demostrando la eficacia del método en entornos con datos limitados.

4. Resultados

• Rendimiento Superior con Menos Parámetros: El método MPT supera consistentemente a LoRA en un 1.5% - 1.7% de rendimiento promedio, a pesar de utilizar tres a cuatro órdenes de magnitud menos parámetros entrenables (<0.05% vs ~2.5%).
• Superación del Prompt Tuning Simple: MPT supera al Prompt Tuning de una sola tarea (PT) en un 6.1% - 6.6% en promedio, demostrando que la destilación multitarea captura representaciones clínicas transferibles que el entrenamiento aislado no puede lograr.
• Impacto del Modelo Base:
  • Meditron3 8B (modelo clínico) superó a LLaMA 3.1 8B en todas las tareas, confirmando que el preentrenamiento clínico mejora la calidad de la meta-prompt compartida.
  • gpt-oss 20B obtuvo el mejor rendimiento global, especialmente en tareas de razonamiento clínico (QA), destacando la importancia de la escala del modelo y la arquitectura MoE.
• Eficiencia en Pocos Datos (Few-Shot): En escenarios con solo 1 ejemplo etiquetado (k=1), MPT mostró mejoras del 13.2% sobre LoRA y del 27.1% sobre PT. Además, MPT exhibió una menor varianza en los resultados, indicando mayor estabilidad.
• Generalización: El método demostró una fuerte capacidad de transferencia cruzada entre instituciones (ej. de MIMIC-III a datos de la Universidad de Washington) y entre enfermedades (ej. de oncología a opioides).

5. Significado e Implicaciones

Este estudio demuestra que es posible lograr un rendimiento de NLP clínico comparable o superior al fine-tuning completo utilizando una fracción mínima de parámetros.

• Viabilidad de Despliegue: Permite a los sistemas hospitalarios mantener un único modelo base congelado y una biblioteca ligera de vectores de prompts, eliminando la necesidad de almacenar y servir múltiples variantes de modelos LoRA pesados.
• Adaptabilidad: Ofrece una solución práctica para la adaptación rápida a nuevas instituciones o dominios de enfermedad con muy pocos datos anotados, un requisito crítico en la medicina real donde la anotación experta es costosa.
• Futuro: Establece la transferencia de prompts multitarea como una base fundamental para el despliegue escalable de NLP clínico, aunque se señala la necesidad futura de explorar la destilación de prompts para datos multimodales (imágenes, series temporales).

En conclusión, la destilación y descomposición de prompts multitarea representa un avance principista y práctico para superar las barreras de escalabilidad y generalización en la inteligencia artificial aplicada a la salud.