Resumen Técnico: SciDef – Conjuntos de Datos y Herramientas para la Extracción Automatizada de Definiciones de la Literatura Científica con LLMs

Planteamiento del Problema

Los conceptos científicos se definen frecuentemente de manera inconsistente en diversos artículos académicos, lo que crea barreras para comparar hallazgos, reutilizar terminología y construir recursos fiables para procesos posteriores. A medida que el volumen de publicaciones aumenta, la identificación y consolidación manual de definiciones para palabras clave específicas se vuelve inviable. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) muestran potencial para reconocer enunciados definicionales más allá de los patrones superficiales de palabras clave, la investigación reproducible en este dominio se ve obstaculizada por la falta de referentes (benchmarks) públicos para las definiciones extraídas, conjuntos de datos dedicados para evaluar la similitud de las definiciones y una infraestructura reutilizable para comparar los procesos de extracción (pipelines) y las estrategias de prompting.

Metodología

Los autores presentan SciDef, un conjunto integral de recursos que comprende dos conjuntos de datos y un pipeline de código abierto basado en LLMs. La metodología se estructura en torno a tres componentes principales:

1. Construcción de Conjuntos de Datos

• DefExtra (Benchmark de Extracción): Un conjunto de datos de 268 definiciones validadas por humanos y declaradas por autores, extraídas de 75 artículos académicos curados (publicados entre 1987 y 2025), centrados principalmente en el dominio del sesgo mediático. El conjunto de datos incluye metadatos de la fuente, fragmentos de contexto y etiquetas que distinguen entre definiciones explícitas (citas directas) e implícitas (reformuladas pero claras). También señala artículos fuera del dominio para probar la robustez del modelo. La construcción implicó un proceso de varias etapas: recuperación inicial y anotación basada en el esfuerzo de TaxoMatic, seguida de un estricto filtrado manual por parte de dos autores para retener solo definiciones verificables y declaradas por el autor, y finalmente la extensión con artículos adicionales anotados por un grupo separado de 11 anotadores.
• DefSim (Benchmark de Similitud): Un recurso de validación que contiene 60 pares de definiciones con etiquetas de similitud semántica humana (calificadas del 1 al 5). Los pares incluyen combinaciones de oro-predicción (gold-prediction), oro-oro (gold-gold) y predicción-predicción para cubrir casos exactos, parciales y de no coincidencia. Este conjunto de datos está diseñado para validar métricas de coincidencia semántica en lugar de ajustarlas.

2. El Pipeline SciDef

SciDef es un pipeline modular y reproducible para el preprocesamiento de PDF, fragmentación (chunking), extracción de definiciones, optimización de prompts y evaluación.

• Preprocesamiento: Los PDFs se procesan utilizando GROBID.
• Fragmentación (Chunking): Se evalúan cuatro estrategias: a nivel de sección, a nivel de párrafo, a nivel de oración y una ventana deslizante de tres oraciones.
• Estrategias de Extracción: El pipeline compara varios enfoques de prompting:
  • OneStep: Extrae directamente las definiciones de un fragmento.
  • MultiStep: Primero determina si un fragmento contiene una definición antes de extraerla.
  • Variantes de Few-Shot: Incluye ejemplos de entrenamiento (OneStep-FS, MultiStep-FS).
  • Optimización con DSPy: Implementa y optimiza prompts utilizando BootstrapFewShot, BootstrapFewShotWithRandomSearch y MIPROv2. Durante la optimización, los modelos predicen fragmentos de contexto local como una señal de fundamentación auxiliar.
• Protocolo de Evaluación: El pipeline evalúa 16 LLMs (abiertos y propietarios) frente a DefExtra. Dado que la coincidencia exacta de cadenas es insuficiente para definiciones parafraseadas, los autores seleccionan una métrica de par basada en benchmarks de similitud semántica general (STS3k, SICK, MSRP, QQP). Identifican la Inferencia de Lenguaje Natural (NLI) como la métrica superior y utilizan DefSim para validar su alineación con los juicios humanos.
• Puntuación: Se calcula una puntuación de mejor coincidencia bidireccional. Mide la cobertura de las anotaciones humanas (recall) penalizando la sobregeneración (precision) mediante la combinación de la similitud semántica (vía la métrica NLI) con el acuerdo de tipo explícito/implícito.

Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. DefExtra: Un benchmark de 268 definiciones extraídas por humanos con metadatos enriquecidos, incluyendo etiquetas de tipo de definición e indicadores fuera del dominio.
2. DefSim: Un recurso de validación específico de la tarea con 60 juicios de similitud de pares de definiciones para evaluar métricas de coincidencia semántica.
3. SciDef: Un pipeline de LLM abierto, documentado y versionado que soporta el preprocesamiento de PDF, la fragmentación, la extracción de definiciones, la optimación de prompts y la evaluación.
4. Experimentos de Validación: Un benchmarking exhaustivo de 16 LLMs a través de múltiples estrategias de prompting y esquemas de fragmentación, demostrando la utilidad de los recursos liberados para comparar el rendimiento de la extracción.

Resultados

Los autores validaron los recursos utilizando el sesgo mediático como un caso de estudio desafiante debido a sus definiciones inconsistentes entre disciplinas.

• Validación de Métricas: Las métricas basadas en NLI superaron la similitud de coseno de embeddings y la puntuación de LLM-as-a-Judge en benchmarks de similitud semántica general. En DefSim, la métrica NLI mostró una fuerte correlación de Pearson ($\rho = 0.937$) con los juicios de similitud humana, y los anotadores humanos mostraron un alto acuerdo ($\alpha = 0.924$).
• Rendimiento de Extracción:
  • La configuración de conjunto más fuerte (un extractor optimizado con DSPy usando un modelo de la familia Qwen con fragmentación a nivel de sección) alcanzó una puntuación de 0.397.
  • La configuración de mayor cobertura (un extractor de un solo paso con few-shot) coincidió con al menos una predicción en el 86.4% de las definiciones de oro. Sin embargo, esta configuración sobregeneró significativamente definiciones candidatas (promedio de 39.13 predicciones por artículo), resultando en una puntuación general más baja.
  • Los extractores con mejor puntuación (principalmente basados en DSPy) demostraron un mejor equilibrio entre cobertura y especificidad, con conteos de predicciones promedio de alrededor de 5 a 12 por artículo.
• Hallazgo Clave: Si bien los LLMs pueden recuperar un alto porcentaje de definiciones científicas, una alta recuperación (recall) suele tener a cambio el costo de la relevancia. El benchmark distingue eficazmente entre modelos que encuentran muchos candidatos plausibles y aquellos que identifican las definiciones específicas y relevantes.

Significado y Reivindicaciones

El artículo posiciona a SciDef como un benchmark reutilizable y una capa de herramientas para el análisis de literatura centrado en definiciones. Los autores afirman que sus recursos permiten a los investigadores:

• Comparar nuevos extractores de definiciones contra un benchmark estandarizado y validado por humanos.
• Validar métricas de coincidencia de definiciones utilizando juicios humanos específicos de la tarea.
• Recopilar definiciones candidatas para tareas posteriores como revisiones de literatura, construcción de taxonomías, ingeniería de ontologías y mapeo de dominios.

Los autores concluyen modestamente que los LLMs actuales sirven efectivamente como herramientas de descubrimiento de definiciones de alta recuperación (high-recall), pero aún no deben tratarse como selectores de definiciones totalmente automáticos. El principal cuello de botella para la extracción totalmente automática sigue siendo el filtrado consciente de la relevancia, ya que los modelos recuperan con frecuencia muchos candidatos plausibles pero irrelevantes. Por consiguiente, la validación humana sigue siendo necesaria para aplicaciones de alto riesgo. El trabajo destaca la necesidad de un desarrollo continuo en los mecanismos de filtrado para cerrar la brecha entre la alta recuperación y la alta precisión en la extracción de definiciones científicas.