Collaborative large language models (LLMs) are all you need for screening in systematic reviews

Deze studie toont aan dat het gebruik van samenwerkende grote taalmodellen (LLMs) de screening van systematische reviews aanzienlijk efficiënter en nauwkeuriger maakt dan het gebruik van individuele modellen.

De kern

Stel je voor dat je een enorme berg boeken moet sorteren om de één perfecte gids te vinden voor een heel specifiek onderwerp. Dit is wat onderzoekers doen bij een "systematisch overzicht" (systematic review): ze moeten duizenden wetenschappelijke artikelen doorzoeken om te bepalen welke bruikbaar zijn en welke weggegooid kunnen worden. Normaal gesproken doen twee mensen dit werk, wat extreem saai en tijdrovend is.

Deze paper vertelt het verhaal van hoe kunstmatige intelligentie (AI) dit werk kan overnemen, maar dan op een slimme manier: door samen te werken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Berg Papier

Stel je voor dat je een bibliotheek hebt met 11.300 boeken. Je moet eruit halen welke boeken over "kanker" gaan en welke over "tuinieren". Als je dit alleen doet, duurt het eeuwen. Als je twee vrienden vraagt om het samen te doen, gaat het sneller, maar ze kunnen nog steeds fouten maken of het saai vinden.

2. De Oplossing: Een Team van Superlezers

De onderzoekers hebben drie verschillende AI's (GPT-4, Claude-3 en Gemini) ingezet. Je kunt deze AI's zien als drie super-snelle lezers die in een seconde duizenden pagina's kunnen scannen.

• Hoe werkt het? In plaats dat één AI alles beslist, hebben ze gekeken wat er gebeurt als deze AI's samenwerken.
• De strategieën:
  • Situatie A: Als AI 1 en AI 2 het oneens zijn, geven ze het voordeel van de twijfel aan de "ja"-stem (beter veilig dan spijtig).
  • Situatie B: Ze laten een derde AI als "rechter" beslissen wie er gelijk heeft (meerderheidsstem).
  • Situatie C: De derde AI kijkt naar het geschil en maakt een weloverwogen keuze.

3. Het Resultaat: Een Perfect Team

Wat bleek eruit?

• Individueel: Als je één AI alleen laat werken, is hij al heel goed. Hij gooit bijna nooit een goed boek weg (hij is extreem voorzichtig). Maar soms mist hij een paar goede boeken.
• Samenwerken: Toen ze de twee beste AI's (GPT-4 en Claude) samen lieten werken, werd het team beter dan de som der delen.
  • Ze gooiden 99,9% van de verkeerde boeken correct weg (zeer nauwkeurig).
  • Ze vonden 98,5% van de juiste boeken (zeer compleet).

Het is alsof je twee detectives hebt die elk een eigen spoor volgen. Als ze hun bevindingen samenvoegen, vinden ze bijna elke verdachte, en laten ze bijna geen onschuldige mensen zitten.

4. De Besparing: Tijd voor de Mensen

Het belangrijkste gevolg is de tijdbesparing.

• Als de AI's alleen werken, kunnen mensen ongeveer 45% van het werk overslaan.
• Met het samenwerkende team kunnen mensen 63,5% van het werk overslaan!

De metafoor: Stel je voor dat je een muur moet bouwen. Normaal gesproken moeten twee mensen elke steen handmatig dragen. Met dit nieuwe systeem kunnen de AI's de zware stenen al voor je sorteren en de slechte stenen wegdoen. De mensen hoeven dan alleen nog maar de laatste controle te doen op de beste stenen. Dat scheelt enorm veel zweet en tijd.

5. De Kijk in de Kristallen Bol (Beperkingen)

Er is één klein nadeel: de onderzoekers hebben alleen gekeken naar boeken over kanker (oncologie) en ze gebruikten AI's die eigendom zijn van grote bedrijven (je kunt ze niet zelf op je eigen computer draaien). Het is dus nog niet zeker of dit voor elk onderwerp werkt, maar het ziet er veelbelovend uit.

Conclusie

Deze studie zegt eigenlijk: "Waarom doen we het werk van twee mensen als we een team van slimme robots kunnen hebben dat samenwerkt?"

Door AI's samen te laten werken, kunnen we wetenschappelijk onderzoek veel sneller en nauwkeuriger doen. Dit betekent dat artsen en patiënten sneller toegang krijgen tot de nieuwste, beste informatie, zonder dat mensen jarenlang hoeven te zitten met stapels papier. Het is een stap richting een toekomst waar de menselijke intelligentie zich kan richten op het begrijpen van de resultaten, in plaats van het zoeken naar ze.

Technische samenvatting

Technische Samenvatting: Collaboratieve Large Language Models voor Screening in Systematische Reviews

1. Het Probleem
Systematische reviews (SR) zijn essentieel voor evidence-based medicine, maar het proces van het screenen van titels en abstracts om relevante studies te selecteren is tijdrovend en arbeidsintensief. Hoewel Large Language Models (LLM's) potentie hebben om dit proces te automatiseren, is de capaciteit van deze modellen om collaboratief te werken om de screening te optimaliseren, tot nu toe onderbelicht. De uitdaging ligt in het vinden van een balans tussen hoge precisie (het correct uitsluiten van irrelevante studies) en hoge recall (het niet missen van relevante studies) zonder menselijke inspanning te verhogen.

2. Methodologie
De studie is een observationeel onderzoek dat gebruikmaakte van gelabelde datasets (titels en abstracts) van vijf verschillende systematische reviews, met in totaal 11.300 artikelen.

• Referentie: De oorspronkelijke screening werd uitgevoerd door twee menselijke reviewers onafhankelijk, met een derde reviewer voor kwaliteitsborging.
• Modellen: Er werden drie state-of-the-art LLM's getest: GPT-4, Claude-3-Sonnet en Gemini-Pro-1.0.
• Prompting-strategie: De modellen werden ingezet met een zero-shot chain-of-thought prompting-methode.
• Collaboratieve Benaderingen: Om de prestaties te verbeteren, werden drie strategieën voor samenwerking tussen de modellen onderzocht:
  1. Conflictresolutie met "benefit of the doubt": Bij onenigheid wordt de studie als relevant beschouwd.
  2. Meerderheidsstemming: Een onafhankelijke derde LLM beslist bij conflicten tussen de eerste twee.
  3. Geïnformeerde conflictresolutie: Een derde LPM lost conflicten op op basis van de argumenten van de eerdere modellen.
• Evaluatiemetrics: De prestaties werden gemeten aan de hand van nauwkeurigheid (accuracy), precisie voor uitsluiting en recall voor inclusie. Daarnaast werd de Work Saved over Sampling (WSS) berekend om de reductie in menselijke inspanning te kwantificeren.

3. Belangrijkste Resultaten

• Individuele Prestaties: Alle individuele modellen vertoonden een zeer hoge precisie bij het uitsluiten van studies (99,7% voor GPT-4 en Claude-3, 99,2% voor Gemini-Pro). De recall varieerde echter meer: GPT-4 (95,5%), Claude-3 (96,6%) en Gemini-Pro (85,7%).
• Collaboratieve Prestaties: De samenwerking tussen de twee best presterende modellen (GPT-4 en Claude-3S) leverde significante verbeteringen op:
  • Gemiddelde Precisie: 99,9% (bijna perfecte selectie van irrelevante studies).
  • Gemiddelde Recall: 98,5% (zeer hoog percentage relevante studies gevonden).
• Efficiëntie (WSS): Het collaboratieve model resulteerde in een gemiddelde WSS van 63,5%, wat betekent dat 63,5% minder handmatig werk nodig was vergeleken met de traditionele methode. Dit is een aanzienlijke verbetering ten opzichte van de 45,2% WSS die werd bereikt door individuele modellen.
• Consistentie: De resultaten waren consistent over verschillende conversatiestijlen en datasets.

4. Belangrijkste Bijdragen

• Validatie van Collaboratie: Het onderzoek toont aan dat het combineren van meerdere LLM's via specifieke conflictresolutiestrategieën superieur is aan het gebruik van een enkel model voor de screening van systematische reviews.
• Hoge Efficiëntie: De studie demonstreert dat een collaboratieve LLM-architectie de menselijke workload met meer dan 60% kan reduceren zonder in te boeten aan de kwaliteit van de selectie.
• Reproduceerbaarheid: Het gebruik van zero-shot prompting maakt de methode toepasbaar zonder complexe training of fine-tuning op specifieke datasets.

5. Beperkingen en Betekenis

• Beperkingen: De studie is beperkt tot proprietaire modellen (waar de interne werking niet volledig openbaar is) en de validatie vond plaats op datasets binnen de oncologie, wat de generaliseerbaarheid naar andere medische domeinen nog verder onderzoek vereist.
• Betekenis: De bevindingen ondersteunen de conclusie dat collaboratieve LLM's een krachtig hulpmiddel zijn voor het efficiënt en betrouwbaar screenen van literatuur. Dit stelt onderzoekers in staat om systematische reviews sneller bij te werken en continu bewijs te monitoren, wat essentieel is voor snelle medische vooruitgang.

Financiering: Het onderzoek werd gefinancierd door de NIH (U24CA265879-01-1) en het Carolyn-Ann-Kennedy-Bacon Fund.