L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification

Resumen Técnico: L2D-Clinical

1. Planteamiento del Problema

La clasificación de texto clínico es fundamental para aplicaciones de PLN en salud, como la detección de eventos adversos a medicamentos (ADE) y la extracción de resultados de tratamientos. Sin embargo, existe un dilema en la selección de modelos:

• Modelos especializados (BERT): Variantes como BioBERT o ClinicalBERT, ajustadas finamente en dominios específicos, suelen tener un rendimiento superior en tareas de reconocimiento de patrones léxicos y preentrenamiento in-domain.
• Modelos de Lenguaje Grandes (LLM): Ofrecen capacidades de razonamiento contextual y aprendizaje few-shot, pero su rendimiento es variable, su costo es alto y su latencia puede ser un obstáculo.

Ningún modelo domina universalmente en todas las instancias. Los enfoques anteriores de "Learning to Defer" (Aprender a Diferir) asumen que el experto al que se delega (generalmente un humano) es siempre superior. Este trabajo aborda un escenario más complejo: ¿Cómo decidir cuándo un modelo BERT debe delegar la decisión a un LLM, cuando el LLM puede ser globalmente inferior al BERT en ciertas tareas?

2. Metodología: L2D-Clinical

El autores proponen L2D-Clinical, un marco que aprende a predecir cuándo un clasificador BERT es propenso a cometer errores y, por lo tanto, debe "diferir" la decisión a un LLM.

• Formulación del Problema:

  • Se entrena una función de deferencia $d(x)$ que toma como entrada las características del texto $x$ y las probabilidades de salida del clasificador BERT $f_B(x)$.
  • La función predice la probabilidad de que BERT falle. Si $d(x) \geq \tau$ (umbral), se consulta al LLM; de lo contrario, se usa la predicción de BERT.
  • A diferencia de los umbrales de confianza fijos, este modelo aprende de múltiples señales.

• Características de Entrada (Feature Engineering):
  El modelo de deferencia (una regresión logística) utiliza 18 características divididas en dos categorías:

  1. Características de Incertidumbre: Derivadas de la distribución de softmax de BERT:
     • Confianza: Probabilidad máxima.
     • Entropía: Medida de incertidumbre global.
     • Margen: Diferencia entre las dos clases más probables.
  2. Características de Texto: Indicadores lingüísticos específicos de la tarea:
     • Para ADE: Presencia de lenguaje causal ("caused by", "induced"), términos de severidad y terminología de ADE.
     • Para Resultados de Tratamiento: Palabras clave de resultado ("discontinued", "improved").

• Entrenamiento:
  Se entrena para minimizar la entropía cruzada binaria, prediciendo si BERT cometió un error en un conjunto de validación. Se utiliza regresión logística con pesos de clase balanceados para manejar la baja tasa de error de BERT y asegurar la interpretabilidad.

3. Contribuciones Clave

1. Delegación de IA a IA: A diferencia de la literatura previa que delega a humanos, este trabajo estudia la delegación entre sistemas de IA (BERT $\to$ LLM), donde el "experto" (LLM) no es universalmente superior.
2. Comportamiento de Delegación Adaptativa: El sistema aprende dinámicamente cuándo delegar. Mejora la precisión tanto cuando el LLM es más fuerte que BERT como cuando es más débil, ajustando la tasa de delegación según las fortalezas relativas.
3. Verdad Terrena por Consenso (MIMIC): Introducen una metodología novedosa para generar etiquetas de verdad terrena en MIMIC-IV mediante el consenso de múltiples LLMs (GPT-5.2 y Claude 4.5), validado por expertos humanos, superando la anotación de un solo modelo.
4. Eficiencia y Escalabilidad: Demuestran que se pueden lograr mejoras significativas en F1 reduciendo el uso de LLMs en un 83-93%, minimizando costos de API y latencia.
5. Interpretabilidad: El uso de regresión logística permite identificar qué características (ej. alta entropía, lenguaje hedging) impulsan la decisión de delegar, facilitando la validación clínica.

4. Resultados Experimentales

El marco se evaluó en dos tareas clínicas con dinámicas opuestas:

• Tarea 1: Detección de ADE (ADE Corpus V2)

  • Contexto: BioBERT (F1=0.911) supera al LLM (F1=0.765).
  • Resultado: L2D-Clinical logra un F1 de 0.928 (+1.7 puntos sobre BERT).
  • Mecanismo: Delega solo el 7% de las instancias. El LLM, aunque globalmente peor, tiene una alta sensibilidad (recall) en casos con lenguaje implícito o "hedging" que BERT pierde. L2D identifica estos casos y delega, compensando las omisiones de BERT.

• Tarea 2: Clasificación de Resultados de Tratamiento (MIMIC-IV)

  • Contexto: GPT-5-nano (F1=0.967) supera a ClinicalBERT (F1=0.887).
  • Resultado: L2D-Clinical logra un F1 de 0.980 (+9.3 puntos sobre BERT).
  • Mecanismo: Delega el 16.8% de los casos. Aprende a confiar en BERT para casos explícitos y a delegar al LLM para casos ambiguos donde el razonamiento semántico es crucial. Supera a un umbral fijo de confianza (que requería un 26.2% de delegación para un rendimiento inferior).

• Análisis de Costos:
  El enfoque reduce los costos de API de LLM en un 81-93% en comparación con el uso exclusivo de LLM, manteniendo o mejorando la precisión. La latencia promedio se reduce drásticamente (de ~850ms a ~71-153ms por muestra).

5. Significado e Implicaciones

• Validación de la Complementariedad: El trabajo demuestra que incluso un modelo "más débil" globalmente puede ser un experto valioso en subconjuntos específicos de datos. La clave no es elegir un modelo, sino aprender a combinar sus fortalezas a nivel de instancia.
• Viabilidad Clínica: La interpretabilidad del modelo de deferencia es crucial para la adopción clínica, ya que permite a los profesionales de la salud entender por qué un caso fue enviado a un LLM (ej. "alta incertidumbre" o "lenguaje ambiguo").
• Robustez: El sistema es agnóstico al modelo; se adapta automáticamente si las fortalezas relativas de los modelos cambian con el tiempo o si se utilizan diferentes arquitecturas.
• Desafíos Futuros: Se identifican limitaciones como la necesidad de datos de validación etiquetados para el entrenamiento inicial (problema de arranque en frío), el riesgo de sesgo en la verdad terrena generada por LLMs y la necesidad de considerar la privacidad de los datos (PHI) al enviar información a APIs externas.

En conclusión, L2D-Clinical establece un marco principista para la selección adaptativa de modelos en PLN clínico, logrando un equilibrio óptimo entre precisión, costo computacional y transparencia, superando las limitaciones de los enfoques estáticos o de delegación ciega.