Resumen Técnico: Descubrimiento de Conocimiento Científico en la Era de los Grandes Modelos de Lenguaje

Declaración del Problema

La rápida expansión de la literatura científica ha hecho que los flujos de trabajo tradicionales de búsqueda y revisión sean cada vez más ineficientes. Los sistemas convencionales dependen en gran medida de la coincidencia de palabras clave, la clasificación basada en citas y el cribado manual laborioso, lo que conlleva riesgos de pasar por alto trabajos relevantes, duplicar esfuerzos y retrasar la síntesis de evidencia. Aunque existen herramientas semiautomáticas, estas se centran principalmente en la priorización en lugar de reemplazar la evaluación humana. Los autores identifican la necesidad crítica de métodos más flexibles capaces de interpretar el lenguaje natural, capturar relaciones semánticas y producir juicios estructurados para apoyar el descubrimiento de conocimiento científico, enfocándose específicamente en dos tareas principales:

1. Recuperación de Literatura (Literature Retrieval): Identificar, clasificar o recomendar publicaciones relevantes para una consulta, un artículo semilla o un perfil de usuario.
2. Cribado de Literatura (Literature Screening): Evaluar las publicaciones candidatas frente a criterios de elegibilidad predefinidos, típicamente dentro de los flujos de trabajo de revisiones sistemáticas y síntesis de evidencia.

Metodología

Este capítulo presenta una encuesta sistemática de 34 artículos revisados por pares publicados entre 2024 y 2026 que aplican Modelos de Lenguaje de Gran Tamaño (LLM) generativos a estas tareas.

• Estrategia de Búsqueda: Los autores utilizaron BIP! Finder, un motor de búsqueda académica que indexa más de 250 millones de publicaciones a través del OpenAIRE Graph. Se realizó una búsqueda booleana en mayo de 2026 utilizando términos relacionados con "large language model" combinados con palabras clave específicas de recuperación y cribado.
• Criterios de Selección: De un conjunto inicial de 1,589 registros, se incluyeron estudios si: (i) abordaban la recuperación o el cribado; (ii) utilizaban un LLM generativo como componente principal; (iii) reportaban suficiente detalle metodológico para la comparación; y (iv) estaban escritos en inglés. Se excluyeron los resúmenes extendidos, los preprints (a menos que se encontrara una versión revisada por pares) y los estudios centrados en tareas fuera del alcance (por ejemplo, la sumarización).
• Características del Corpus: El corpus final de 34 artículos muestra un crecimiento rápido (9 en 2024, 24 en 2025, 1 a principios de 2026). La literatura está fuertemente concentrada en los dominios biomédicos y clínicos, siendo "Minería de Texto Biomédico y Ontologías" y "Modelado de Temas" los temas de investigación más frecuentes.
• Marco de Análisis: La encuesta categoriza los trabajos en dos áreas temáticas (Recuperación y Cribado) y los subgrupos según su enfoque técnico. Cada grupo se analiza basándose en:
  • Modelos Utilizados: LLMs específicos, métodos de acceso (API, local, Web UI) y estrategias de adaptación (ajuste fino [fine-tuning] vs. prompting).
  • Tendencias de Evaluación: Fuentes de verdad fundamental (benchmarks existentes vs. construidos por el autor) y métricas (métricas de clasificación, precisión diagnóstica, eficiencia).

Principales Contribuciones y Hallazgos

1. LLMs para la Recuperación de Literatura

La encuesta identifica dos modos primarios de aplicación de la recuperación:

• Búsqueda Central y Recomendación: Esta es el área más diversa, que abarca cinco vertientes de investigación:

  • Búsqueda Semántica: Uso de LLMs para extraer conceptos multigranulares (p. ej., SemRank) o reponderar embeddings para penalizar la redundancia (p. ej., Zheng et al.).
  • Búsqueda Agéntica (Agentic Search): Sistemas donde los LLMs planifican, enrutan y refinan la recuperación (p. ej., LitChat, LITERAS). Estos suelen emplear arquitectías multi-agente para la generación de consultas, búsqueda, validación y refinamiento.
  • Anclaje de Conocimiento Estructurado (Structured Knowledge Grounding): Recuperación anclada en grafos de conocimiento (p. ej., GPTscholar generando consultas SPARQL; Liu et al. generando consultas Cypher) para reducir las alucinaciones.
  • Auditoría de Citas: Estudios controlados que examinan la capacidad de los LLMs para reproducir listas de referencias desde la memoria sin anclaje en bases de datos (p. ej., Chelli et al.).
  • Recomendación Basada en Perfil: Uso de LLMs para refinar las señales de similitud para recomendadores basados en grafos (p. ej., MCAP).
  • Modelos y Evaluación: La mayoría de los sistemas utilizan modelos comerciales (GPT-4, Claude, Gemini) vía API sin realizar ajuste fino. La evaluación suele depender de métricas clásicas de IR (Recall, Precision, nDCG) contra benchmarks existentes. Sin embargo, la evaluación enfocada del componente de recuperación suele estar ausente, ya que la recuperación se trata frecuentemente como un paso de apoyo para tareas posteriores.

• Recuperación Estilo RAG para Tareas Posteriores (Downstream Tasks):

  • Estos sistemas integran la recuperación en procesos para la revisión por pares automatizada, el soporte de decisiones clínicas o la generación de encuestas.
  • La recuperación se utiliza para contextualizar la novedad, fundamentar limitaciones o apoyar decisiones basadas en evidencia.
  • Brecha de Evaluación: En estos estudios, la calidad de la recuperación rara vez se evalúa contra una verdad fundamental dedicada. La evaluación se centra en el resultado posterior (p. ej., la calidad de una revisión o un plan de tratamiento), utilizando señales indirectas como proxies de citación o estudios de ablación.

2. LLMs para el Cribado de Literatura

Los enfoques de cribado se dividen en dos patrones arquitectónicos:

• Cribado de Paso Único (Single-Pass Screening):

  • Trata el cribado como una única llamada al modelo por cada artículo.
  • La variación técnica reside en el diseño de prompts (prompt engineering): criterios estáticos, ejemplos de pocos disparos (few-shot), Cadena de Pensamiento (CoT) y optimización iterativa de prompts (p. ej., Tao et al., Ruan et al.).
  • Evaluación: Altamente rigurosa, utilizando métricas estándar de precisión diagnóstica (Precisión, Recall, Especificidad, F1, MCC) frente a revisiones sistemáticas existentes o verdad fundamental construida por el autor.
  • Modelos: Una mezcla de modelos comerciales (GPT, Claude, Gemini) y modelos de pesos abiertos (Llama, Mistral, Gemma). Notablemente, Delgado-Chaves et al. realizó la comparación más amplia de 18 modelos. No se observó ajuste fino de los pesos del modelo; la adaptación se limitó al prompting.

• Pipelines de Múltiples Componentes Diseñados:

  • Diseñados para imitar equipos de revisión humanos mediante pre-filtrado, arbitraje entre modelos o cribado aumentado por recuperación.
  • Arbitraje: Múltiples modelos realizan el cribado de forma independiente, con un tercer modelo o un experto humano resolviendo los desacuerdos (p. ej., Dai et al., Pan et al.).
  • Aumentado por Recuperación: Los sistemas recuperan pasajes de texto completo para responder preguntas de elegibilidad (p. ej., Trad et al.).
  • Agéntico/Iterativo: Sistemas multi-agente que refinan los prompts basados en retroalimentación o aplican umbrales de reducción de carga de trabajo (p. ej., GREP-Agent).
  • Evaluación: Utiliza métricas diagnósticas estándar junto con estadísticas de acuerdo (Kappa de Cohen, PABAK) y métricas de eficiencia (reducción de carga de trabajo, costo). La verdad fundamental se deriva típicamente de revisiones sistemáticas existentes o subconjuntos etiquetados por expertos.

Significancia y Reivindicaciones

El artículo afirma proporcionar una visión exhaustiva del panorama en rápida evolución del descubrimiento de conocimiento científico asistido por LLM. Su principal significancia radica en:

1. Mapear el Paisaje: Caracteriza el cambio de llamadas de un solo modelo hacia sistemas compuestos, a menudo agénticos y de múltiples componentes, tanto para la recuperación como para el cribado.
2. Identificar la Divergencia Metodológica:
   • La recuperación es técnicamente diversa pero metodológicamente fragmentada, con una falta de evaluación estandarizada para el componente de recuperación en sí mismo.
   • El cribado es metodológicamente más estandarizado, utilizando benchmarks de precisión diagnóstica rigurosos y moviéndose hacia herramientas utilizables en producción mediante el consenso multi-modelo.
3. Concentración de Dominio: La encuesta destaca que los avances actuales están fuertemente concentrados en aplicaciones biomédicas y clínicas. Esto se atribuye a la madurez de las metodologías de revisión sistemática en biomedicina, que proporcionan una verdad fundamental establecida y convenciones de evaluación claras.
4. Tendencias de Adopción: El campo observa un aumento de los modelos de pesos abiertos (a menudo por privacidad y control de costos) junto con los modelos de API cerrados dominantes. Sin embargo, el ajuste fino específico de dominio sigue siendo raro, con la adaptación ocurriendo principalmente a nivel de prompt.

Los autores concluyen que, si bien la recuperación y el cribado asistidos por LLM se están moviendo de demostraciones aisladas hacia una práctica establecida, el campo permanece vinculado al dominio. La transferibilidad de estos enfoques a dominios no biomédicos es actualmente incierta debido a la falta de benchmarks comparables y convenciones de revisión fuera de la biomedicina.