MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

Resumen Técnico: MADE (Benchmark Vivo para Clasificación Multietiqueta en Eventos Adversos de Dispositivos Médicos)

1. Planteamiento del Problema

La aplicación de modelos de aprendizaje automático (ML) en sectores de alto riesgo como la salud requiere no solo un alto rendimiento predictivo, sino también una cuantificación de la incertidumbre (UQ) fiable para permitir la supervisión humana. La clasificación multietiqueta de texto (MLTC) es fundamental en este dominio (para categorización de pacientes, codificación clínica e informes de incidentes), pero enfrenta desafíos críticos:

• Complejidad Combinatoria: Seleccionar múltiples etiquetas de un conjunto grande genera un problema que escala exponencialmente.
• Desequilibrio de Etiquetas: Los datos reales presentan una distribución de "cola larga" (long-tail), donde pocas condiciones comunes dominan los datos, mientras que las condiciones críticas para la seguridad se encuentran en la cola larga (raras).
• Contaminación de Datos: Los benchmarks existentes están saturados y a menudo contaminados por los corpus de pre-entrenamiento de los Grandes Modelos de Lenguaje (LLM), lo que dificulta distinguir entre razonamiento genuino y memorización.
• Falta de Evaluación de UQ: Existe una escasez de evaluaciones sistemáticas sobre cómo los diferentes paradigmas de aprendizaje (fine-tuning vs. prompting) y arquitecturas manejan la incertidumbre en tareas MLTC complejas.

2. Metodología y Datos

A. El Dataset MADE (Medical Device Adverse Events)
Los autores introducen MADE, un "benchmark vivo" derivado de los informes de eventos adversos de dispositivos médicos de la FDA (Administración de Alimentos y Medicamentos de EE. UU.).

• Características "Vivas": A diferencia de los datasets estáticos, MADE se actualiza continuamente con nuevos informes publicados por la FDA. Esto evita la contaminación de datos de prueba en los modelos futuros, ya que los datos de prueba siempre son posteriores a la fecha de corte de conocimiento de los modelos.
• Estructura Jerárquica: El dataset contiene 1,154 etiquetas interdependientes organizadas en tres niveles jerárquicos (problemas del producto y problemas del paciente), siguiendo la terminología del Foro Internacional de Regulación de Dispositivos Médicos (IMDRF).
• Distribución: Presenta una distribución de cola larga severa.
• División Temporal: Los datos se dividen estrictamente por tiempo (entrenamiento: 2015-2023; validación: 1ª mitad de 2024; prueba: 2ª mitad de 2024 - 2025) para simular escenarios de despliegue real.

B. Configuración Experimental
Se evaluaron más de 20 modelos (codificadores y decodificadores) bajo cuatro paradigmas de aprendizaje:

1. Fine-tuning Discriminativo: Modelos con cabezas de clasificación (ej. Ettin-encoder, Llama-3.1-8B-Base).
2. Fine-tuning Generativo: Modelos generativos ajustados para producir etiquetas como tokens (ej. Llama-3.1-70B, Ettin-decoder).
3. Few-shot Prompting (In-context Learning): Uso de modelos locales y API (Llama, Qwen, DeepSeek-R1, GPT-4.1/5) con ejemplos de contexto.
4. Modelos de Razonamiento: Variantes de modelos con capacidades de "pensamiento" (Thinking/Reasoning).

C. Métodos de Cuantificación de Incertidumbre (UQ)
Se evaluaron tres enfoques principales:

• Basados en Información ($U_{info}$): Entropía, perplejidad, log-probabilidad promedio/máxima de los tokens.
• Basados en Consistencia ($U_{cons}$): Variabilidad de la salida a través de múltiples pasadas estocásticas (suma de valores propios del Laplaciano del grafo).
• Auto-verbalizados ($U_{self}$): El modelo genera explícitamente un puntaje de confianza.

Métricas de Evaluación:

• Rendimiento Predictivo: Macro F1, Jaccard (J).
• Calidad de UQ: Tasa de Rechazo de Predicción (PRR), Correlación de Spearman ($\rho$) entre incertidumbre y corrección, y Error de Calibración Esperado para la clase positiva (ECE+).

3. Contribuciones Clave

1. Creación de MADE: Un benchmark reproducible, libre de contaminación y "vivo" para MLTC en el dominio médico, diseñado específicamente para probar los límites de generalización de los LLMs.
2. Establecimiento de Baselines Sólidas: Evaluación comparativa exhaustiva de más de 20 modelos bajo diferentes configuraciones (fine-tuning vs. prompting, discriminativo vs. generativo).
3. Análisis Sistemático de UQ: Determinación de qué métodos de incertidumbre son fiables para la selección de muestras (routing) y la intervención humana en tareas de clasificación multietiqueta.

4. Resultados Principales

A. Rendimiento Predictivo

• Fine-tuning Discriminativo: Logró el mejor equilibrio general entre precisión en clases frecuentes (cabeza) y raras (cola). El modelo Llama-3.1-8B-Base (fine-tuning discriminativo) obtuvo el Macro F1 más alto (0.54).
• Fine-tuning Generativo: Ofreció mejoras modestas en clases subrepresentadas pero superó al discriminativo en la cuantificación de incertidumbre.
• Modelos de Razonamiento (Thinking): Modelos como GPT-5 y Qwen3-235B-Thinking mostraron un rendimiento superior en la cola extrema (clases muy raras), superando a los modelos instructivos estándar. Sin embargo, su rendimiento en clases frecuentes fue inferior al de los modelos fine-tuned.
• Prompting: Los modelos de prompting (instruct) mostraron un rendimiento variable y generalmente inferior al fine-tuning, excepto en la cola extrema donde los modelos de razonamiento destacan.

B. Cuantificación de Incertidumbre (UQ)

• Mejor UQ: El fine-tuning generativo proporcionó la UQ más fiable (mejor PRR y $\rho$).
• Rendimiento de Modelos de Razonamiento: A pesar de su alta precisión en clases raras, los modelos de razonamiento exhibieron una UQ sorprendentemente débil. Sus puntuaciones de incertidumbre no se correlacionaron bien con la corrección de la predicción, lo que los hace poco fiables para la selección de muestras sin una calibración adicional.
• Incertidumbre Auto-verbalizada: Se demostró que no es un proxy fiable para la incertidumbre real. Los modelos tienden a ser sistemáticamente subconfiados (low confidence), lo que podría llevar a un exceso de revisiones manuales.
• Método Recomendado: La entropía basada en tokens ($U_{info}$) resultó ser el método más efectivo y eficiente, superando a las métricas de consistencia y auto-verbalización.

C. Compensaciones (Trade-offs)
Existe una compensación clara entre el rendimiento en la cabeza (frecuente) y la cola (raro). Los modelos fine-tuned discriminativos son los más consistentes, mientras que los modelos de prompting ofrecen flexibilidad pero con alta variabilidad en la UQ.

5. Significado e Impacto

• Mitigación de la Saturación de Benchmarks: MADE aborda el problema crítico de la contaminación de datos en la evaluación de LLMs, proporcionando un estándar continuo y limpio para la comunidad.
• Guía para Despliegue en Salud: Los resultados indican que, para sistemas de alto riesgo que requieren intervención humana selectiva, los modelos fine-tuned (especialmente generativos o discriminativos pequeños) son preferibles sobre los modelos de prompting o razonamiento puro, debido a su UQ más fiable y consistente.
• Direcciones Futuras: El trabajo sugiere investigar por qué el fine-tuning generativo mejora la UQ y cómo calibrar los modelos de razonamiento para que sean útiles en la selección de muestras. También destaca la necesidad de mejorar el rendimiento en clases de cola extrema para modelos más pequeños y eficientes.

En conclusión, el artículo establece que, aunque los modelos de razonamiento avanzan en la detección de casos raros, la fiabilidad de la incertidumbre sigue siendo un cuello de botella crítico, y el fine-tuning sigue siendo el paradigma más robusto para aplicaciones de MLTC en entornos médicos de alto riesgo.