Chained Prompting for Better Systematic Review Search Strategies

Resumen Técnico: Encadenamiento de Prompts para Mejores Estrategias de Búsqueda en Revisiones Sistemáticas

Planteamiento del Problema
Las revisiones sistemáticas (RS) son la piedra angular de la investigación basada en la evidencia; sin embargo, su validez depende en gran medida del rigor de la búsqueda bibliográfica (LB) subyacente. Las estrategias de búsqueda manuales tradicionales, aunque metodológicamente sólidas, consumen muchos recursos, requieren mucho tiempo y son susceptibles a la subjetividad. Por el contrario, los enfoques automatizados y heurísticos existentes suelen tener dificultades con la recuperación (la capacidad de recuperar todos los estudios relevantes), a menos que se complementen fuertemente con la intervención de expertos. Las aplicaciones actuales de Modelos de Lenguaje de Gran Escala (LLM) en este dominio dependen frecuentemente de enfoques de un solo prompt que producen resultados amplios e imprecisos, o de métodos de ensamble que requieren generar y agregar múltiples consultas para lograr un rendimiento aceptable. Existe la necesidad de un marco automatizado que replique la lógica estructurada y de múltiples pasos del diseño de búsqueda manual, aprovechando las capacidades de los LLM para garantizar una alta recuperación y reproducibilidad sin una intervención humana extensiva.

Metodología
Los autores proponen un pipeline de ingeniería de prompts encadenados basado en el modelo GPT-4o-mini. A diferencia de los métodos de un solo prompt, este marco descompone la construcción de la estrategia de búsqueda en cuatro etapas secuenciales e interdependientes, que reflejan la estructura procedimental de las búsquedas manuales dirigidas por bibliotecarios:

1. Extracción PICO: El modelo descompone el objetivo de la investigación (o el título/resumen) en elementos PICO estructurados (Población, Intervención, Comparación, Resultado). Los autores señalan que el diseño de su prompt específico para este paso produce elementos PICO más precisos y estructurados que los métodos base.
2. Identificación de Conceptos: Los componentes PICO extraídos se expanden en categorías conceptuales precisas y específicas del dominio, aclarando el alcance informativo.
3. Generación de Palabras Clave: Para cada concepto identificado, el modelo genera un conjunto exhaustivo de palabras clave, incluyendo sinónimos, variantes de ortografía y terminologías relacionadas para maximizar el espacio de recuperación.
4. Construcción de Consultas: Los conceptos y palabras clave acumulados se integran en una estrategia de búsqueda booleana final. El modelo aplica conectores lógicos (AND, OR) y sintaxis de proximidad consistentes con las directrices de las revisiones sistemáticas para formar la consulta ejecutable.

El pipeline fue evaluado utilizando un subconjunto del dataset LEADSInstruct, que comprende 81 revisiones sistemáticas de alta calidad indexadas en PubMed publicadas entre 2012 y 2016. La evaluación se centró principalmente en la recuperación (recall), definida como la proporción de artículos objetivo (aquellos incluidos en la revisión original) recuperados con éxito por la estrategia generada.

Resultados Clave
La evaluación demostró que el enfoque de prompting encadenado supera significativamente a los métodos existentes:

• Comparación con la Línea Base: Un enfoque de prompting directo utilizando GPT-4o logró una recuperación promedio de solo 0.10. El modelo LEADS existente logró 0.24.
• Rendimiento del Pipeline Encadenado:
  • Cuando el pipeline comenzó con los elementos PICO proporcionados por los autores de LEADS, la recuperación promedio fue de 0.62 (ascendiendo a 0.80 al excluir las estrategias con una recuperación <0.2).
  • Cuando se utilizó el pipeline completo (incluyendo el propio prompt de los autores para reformular objetivos estructurados a partir de títulos/resúmenes antes de la extracción PICO), la recuperación promedio alcanzó el 0.87 en todas las 81 revisiones.
  • Al excluir las estrategias con una recuperación <0.2, el pipeline completo logró una recuperación promedio de 0.90.
• Ganancias Comparativas: El pipeline completo representa una mejora relativa del 362% sobre el modelo LEADS (0.24 a 0.87) y una ganancia del 8% sobre el método de ensamble de LEADS (0.82 a 0.90) bajo condiciones de filtrado comparables.
• Distribución: El pipeline completo resultó en que 62 de las 81 estrategias lograran una recuperación perfecta (1.0), con solo 3 estrategias resultando en cero recuperación.

Análisis de Errores
Un análisis de las estrategias con baja recuperación (<0.5) identificó tres modos principales de falla:

1. Discrepancia de Terminología: Discrepancias entre la terminología médica estándar y la fraseología específica utilizada en los artículos (por ejemplo, "trabajadores" frente a "adultos").
2. Ruido en el Dataset: Inclusión de revisiones que no son sistemáticas en el conjunto de evaluación.
3. Erro errores de Formulación de Objetivos: Captura de alcance insuficiente al derivar objetivos únicamente a partir de títulos y resúmenes.
   Crucialmente, los autores encontraron que reemplazar manualmente los objetivos mal formulados con aquellos derivados de protocolos de revisión sistemática restauró la recuperación a 1.0 en estos casos, lo que destaca que el rendimiento del pipeline depende altamente de la precisión del objetivo de entrada.

Significancia y Reivindicaciones
El artículo afirma que este trabajo demuestra la capacidad de los pipelines basados en LLM para generar estrategias de búsqueda transparentes, reproducibles y de alto rendimiento. Al adherirse a una estructura de prompting encadenado, el sistema logra una recuperación superior tanto en comparación con el prompting directo como con los métodos basados en ensamble, sin requerir la generación de múltiples consultas o una intervención humana extensiva.

Los autores enfatizan que la calidad de la estrategia de búsqueda está fundamentalmente ligada a la calidad de la extracción PICO y la especificación del objetivo. Sus resultados sugieren que la mejora del prompt engineering para estos pasos iniciales crea una base más sólida para la expansión de palabras clave y la síntesis de consultas. El marco se presenta como un instrumento escalable para apoyar la síntesis de evidencia, reduciendo potencialmente la dependencia de la experiencia manual mientras se mantiene el rigor metodológico requerido para revisiones sistemáticas de alta calidad. Se señala que el trabajo futuro se centrará en extender el enfoque a otras bases de datos bibliográficas y en refinar las estrategias de reformulación de consultas.