Chained Prompting for Better Systematic Review Search Strategies

Technische Samenvatting: Chained Prompting voor Betere Strategieën voor Systematic Reviews

Probleemstelling
Systematic reviews (SRs) vormen de hoeksteen van evidence-based onderzoek, maar hun validiteit hangt sterk af van de grondigheid van de onderliggende literatuurzoekstrategie (LS). Traditionele handmatige zoekstrategieën zijn weliswaar methodologisch solide, maar ze zijn arbeidsintensief, tijdrovend en gevoelig voor subjectiviteit. Daartegenover staan bestaande geautomatiseerde en heuristische benaderingen die vaak moeite hebben met recall (het vermogen om alle relevante studies te achterhalen), tenzij ze zwaar worden aangevuld met deskundige input. Huidige toepassingen van Large Language Models (LLMs) in dit domein vertrouwen vaak op single-prompt benaderingen die brede, onnauwkeurige resultaten opleveren, of op ensemble-methoden die het genereren en aggregeren van meerdere queries vereisen om een acceptabele prestatie te behalen. Er is behoefte aan een geautomatiseerd framework dat de gestructureerde, meerstaps logica van handmatige zoekstrategie-ontwerpen repliceert, terwijl het gebruikmaakt van de mogelijkheden van LLM's om een hoge recall en reproduceerbaarheid te garanderen zonder uitgebreide menselijke interventie.

Methodologie
De auteurs stellen een chained prompt engineering pipeline voor, gebouwd op het GPT-4o-mini model. In tegen tegenstelling tot single-prompt methoden, deelt dit framework de constructie van de zoekstrategie op in vier opeenvolgende, onderling afhankelijke fasen, die de procedurele structuur van door bibliothecarissen geleide handmatige zoekopdrachten weerspiegelen:

1. PICO Extractie: Het model deelt het onderzoeksdoel (of titel/abstract) op in gestructureerde PICO-elementen (Population, Intervention, Comparison, Outcome). De auteurs merken op dat hun specifieke prompt-ontwerp voor deze stap nauwkeurigere en meer gestructureerde PICO-elementen oplevert dan baseline-methoden.
2. Concept Identificatie: De geëxtraheerde PICO-componenten worden uitgebreid naar precieze, domeinspecifieke conceptuele categorieën, wat de informatieve reikwijdte verheldert.
3. Keyword Generatie: Voor elk geïdentificeerd concept genereert het model een uitgebreide set trefwoorden, inclus_ief synoniemen, spellingvarianten en gerelateerde terminologie om de retrieval-ruimte te maximaliseren.
4. Query Constructie: De geaccumuleerde concepten en trefwoorden worden geïntegreerd in een definitieve Boolean zoekstrategie. Het model past logische connectoren (AND, OR) en nabijheidssyntax toe die consistent zijn met de richtlijnen voor systematic reviews om de uitvoerbare query te vormen.

De pipeline werd geëvalueerd met een subset van de LEADSInstruct dataset, bestaande uit 81 hoogwaardige, door PubMed geïndexeerde systematic reviews gepubliceerd tussen 2012 en 2016. De evaluatie richtte zich primair op recall, gedefinieerd als het aandeel doelartikelen (die zijn opgenomen in de oorspronkelijke review) die succesvol zijn opgehaald door de gegenereerde strategie.

Belangrijkste Resultaten
De evaluatie toonde aan dat de chained prompting benadering de bestaande methoden significant overtreft:

• Baseline Vergelijking: Een directe prompting-benadering met GPT-4o behaalde een gemiddelde recall van slechts 0,10. Het bestaande LEADS-model behaalde 0,24.
• Prestaties van de Chained Pipeline:
  • Wanneer de pipeline begon met PICO-elementen die door de LEADS-auteurs waren verstrekt, was de gemiddelde recall 0,62 (stijgend naar 0,80 wanneer strategieën met een recall <0,2 werden uitgesloten).
  • Wanneer de volledige pipeline werd gebruikt (inclusief de eigen prompt van de auteurs voor het herformuleren van gestructureerde doelstellingen vanuit titels/abstracts vóór de PICO-extractie), bereikte de gemiddelde recall 0,87 over alle 81 reviews.
  • Wanneer strategieën met een recall <0,2 werden uitgesloten, behaalde de volledige pipeline een gemiddelde recall van 0,90.
• Vergelijkbare Winsten: De volledige pipeline vertegenwoordigt een relatieve verbetering van 362% ten opzichte van het LEADS-model (0,24 naar 0,87) en een winst van 8% ten opzichte van de LEADS+ensemble-methode (0,82 naar 0,90) onder vergelijkbare filtercondities.
• Distributie: De volledige pipeline resulteerde in 62 van de 81 strategieën met een perfecte recall (1,0), waarbij slechts 3 strategieën tot nul recall leidden.

Foutanalyse
Een analyse van strategieën met een lage recall (<0,5) identificeerde drie primaire faalmodi:

1. Terminologie Mismatch: Discrepanties tussen standaard medische terminologie en de specifieke formulering die in artikelen wordt gebruikt (bijv. "workers" versus "adults").
2. Dataset Ruis: Inclusie van niet-systematic reviews in de evaluatieset.
3. Doelstelling Formulering Fouten: Onvoldoende vastlegging van de scope bij het afleiden van doelstellingen uitsluitend uit titels en abstracts.
   Cruciaal was dat de auteurs vonden dat het handmatig vervangen van slecht geformuleerde doelstellingen door doelstellingen die zijn afgeleid van systematic review-protocollen, de recall in deze gevallen herstelde naar 1,0. Dit onderstreept dat de prestaties van de pipeline sterk afhankelijk zijn van de precisie van de input-doelstelling.

Betekenis en Claims
Het artikel claimt dat dit werk aantoont dat LLM-gebaseerde pipelines in staat zijn om transparante, reproduceerbare en hoogpresterende zoekstrategieën te genereren. Door een chained prompting-structuur te hanteren, bereikt het systeem een superieure recall vergeleken met zowel directe prompting als ensemble-gebaseerde methoden, zonder dat het genereren van meerdere queries of uitgebreide menselijke interventie nodig is.

De auteurs benadrukken dat de kwaliteit van de zoekstrategie fundamenteel verbonden is met de kwaliteit van de PICO-extractie en de specificatie van de doelstelling. Hun resultaten suggereren dat verbeterde prompt engineering voor deze initiële stappen een sterkere basis creëert voor downstream keyword expansie en query-synthese. Het framework wordt gepresenteerd als een schaalbaar instrument voor het ondersteunen van evidence synthesis, wat potentieel de afhankelijkheid van handmatige expertise kan verminderen terwijl de methodologische strengheid die vereist is voor hoogwaardige systematic reviews behouden blijft. Er wordt opgemerkt dat toekomstig werk zich zal richten op het uitbreiden van de aanpak naar andere bibliografische databases en het verfijnen van query-herformuleringstrategieën.