Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

Resumen Técnico: Extracción de Relaciones Biomédicas con Pocos Ejemplos mediante Grandes Modelos de Lenguaje

Planteamiento del Problema
La extracción de relaciones biomédicas (BioRE, por sus siglas en inglés) es crítica para convertir la literatura no estructurada en grafos de conocimiento estructurados. Sin embargo, los enfoques actuales dependen predominantemente del aprendizaje supervisado, lo que exige conjuntos de datos costosos y anotados por expertos, y a menudo tiene dificultades para generalizar a tipos de relaciones poco comunes o nuevos dominios. Si bien los Grandes Modelos de Lenguaje (LLM) ofrecen una solución potencial para entornos de bajos recursos mediante el aprendizaje basado en prompts, su rendimiento en BioRE ha sido inconsistente, con resultados reportados que varían desde un subrendimiento sustancial hasta la competitividad con las líneas base supervisadas. Además, ha faltado una comparación sistemática de las diferentes formulaciones de tareas (clasificación por pares frente a generación conjunta) y sus compensaciones entre la calidad de la extracción y la eficiencia computacional.

Metodología
Los autores investigan la BioRE con pocos ejemplos (few-shot) utilizando el aprendizaje basado en prompts con modelos de lenguaje de pesos abiertos recientes (familias Gemma-4 y Qwen-3.5, específicamente variantes de 25–35 mil millones de parámetros). El estudio se lleva a cabo en el conjunto de datos BioREDirect, que contiene resúmenes de PubMed anotados con seis tipos de entidades y ocho tipos de relaciones. La evaluación se centra en la extracción a nivel de documento, un entorno más desafiante que la extracción a nivel de oración debido a las dependencias de largo alcance.

El estudio compara dos formulaciones de tarea principales:

1. Clasificación por Pares (Pairwise Classification): El modelo procesa el texto con un único par de entidades anotadas y predice el tipo de relación (o "Ninguna"). Esto requiere una llamada al modelo por cada par candidato.
2. Generación Conjunta (Joint Generation): El modelo procesa el texto con múltiples entidades anotadas y genera todas las tripletas soportadas (cabecera, cola, relación) en una sola llamada.
   • Para analizar la compensación entre precisión y exhaustividad (precision-recall), los autores introducen una configuración de generación con restricción $k$. Aquí, las entidades se dividen en subconjuntos superpuestos de tamaño $k$ (donde $k < N$, el número total de entidades). Las predicciones de los subconjuntos superpuestos se agregan mediante votación por mayoría.

Los experimentos utilizan decodificación determinista y evalúan el rendimiento con y sin capacidades de razonamiento (pasos de razonamiento intermedio). Las métricas incluyen Precisión, Exhaustividad (Recall), Micro-F1 y Macro-F1 (para dar cuenta del desequilibrio de clases), junto con una métrica de costo de tokens ponderada para medir la eficiencia computacional.

Resultos Clave

• Rendimiento vs. Líneas Base Supervisadas: El modelo con mejor rendimiento en la modalidad de pocos ejemplos (Qwen3.5-27B en clasificación por pares) alcanzó una puntuación Micro-F1 de 0.44, superando sustancialmente los resultados previos de pocos ejemplos (0.34) pero permaneciendo por debajo de la línea base supervisada de PubMedBERT (0.56).
• El Efecto de la Clase "Asociación": La brecha de rendimiento con los modelos supervisados se atribuye en gran medida al tipo de relación "Asociación", que está definido de manera ambigua y sirve como una etiqueta de respaldo en el conjunto de datos. Cuando se evalúa utilizando Macro-F1 (que captura mejor el rendimiento en clases desequilibradas), los enfoques basados en prompts superaron a la línea base supervisada (0.45 vs. 0.38), particularmente en tipos de relaciones poco comunes como Bind, Comparison y Cotreatment.
• Compensaciones de la Formulación de la Tarea:
  • La Clasificación por Pares logró consistentemente una mayor exhaustividad (recall), lo que la hace adecuada para aplicaciones que requieren la máxima cobertura de relaciones.
  • La Generación Conjunta produjo una mayor precisión (precision) pero una menor exhaustividad, probablemente debido a la naturaleza autorregresiva de la generación que omite relaciones inciertas.
  • La generación con restricción $k$ ofreció un punto medio ajustable, permitiendo a los profesionales equilibrar la precisión, la exhaustividad y el costo.
• Eficiencia Computacional: La generación conjunta fue significativamente más eficiente, reduciendo los costos computacionales hasta en un 25× en comparación con la clasificación por pares. Si bien habilitar el razonamiento mejoró el rendimiento (especialmente para los modelos de Mezcla de Expertos o MoE), incurrió en costos computacionales sustanciales debido al aumento de la generación de tokens de salida. Las arquitecturas de Mezcla de Expertos (MoE) resultaron ser más eficientes en costos que los modelos densos.

Significancia y Reivindicaciones
El artículo afirma que los LLM con pocos ejemplos representan una alternativa viable al aprendizaje supervisado para BioRE, particularmente en entornos de bajos recursos o cuando se trata de tipos de relaciones bien definidos y específicos. Los autores argumentan que el subrendimiento percibido de los LLM en relación con los modelos supervisados es a menudo un artefacto del desequilibrio del conjunto de datos y la ambigüedad de la anotación (específicamente la clase "Asociación") más que una limitación fundamental de los modelos.

El estudio destaca que:

1. El Macro-F1 es una métrica crítica para evaluar la BioRE en entornos desequilibrados, donde los LLM demuestran una capacidad de generalización superior para las relaciones raras en comparación con las líneas base supervisadas.
2. La formulación de la tarea importa: La elección entre clasificación por pares y generación conjunta debe ser impulsada por las necesidades específicas de la aplicación (exhaustividad vs. precisión/costo) en lugar de un único indicador "mejor".
3. Los esquemas bien definidos son esenciales: El rendimiento de los LLM impulsados por instrucciones depende altamente de las definiciones claras de las relaciones; la ambigüedad en los esquemas de anotación afecta desproporcionadamente a los LLM en comparación con los modelos entrenados directamente sobre los datos ruidosos.

Los autores concluyen que, si bien los LLM aún no superan plenamente a las líneas base supervisadas en Micro-F1 bruto, su flexibilidad, capacidad de generalización a clases raras y eficiencia computacional (vía generación conjunta) los convierten en una opción convincente para la extracción de conocimiento biomédico.