Fully Automated Systematic Review Generation via Large Language Models: Quality Assessment and Implications for Scientific Publishing

Deze studie toont aan dat een volledig geautomatiseerde AI-pipeline systematische reviews kan genereren met een hogere kwaliteitsscore dan een menselijk geschreven review, maar waarschuwt voor fundamentele beperkingen zoals herhaling en de noodzaak van nieuwe verificatiestandaarden om de wetenschappelijke integriteit te waarborgen.

De kern

Stel je voor dat je een enorme bibliotheek binnenstapt met als opdracht: "Schrijf een samenvatting van alle boeken over een specifiek onderwerp, citeer elke bron perfect en doe dit in een paar uur." Voor een mens is dit een taak die maanden kost, maar voor een computerprogramma met een "superbrein" (een Large Language Model of LLM) is het nu mogelijk om dit in een handomdraai te doen.

Dit is het verhaal van het onderzoek van Liam, Michael en Cade. Ze hebben een volledig geautomatiseerde machine gebouwd die systematische reviews (wetenschappelijke samenvattingen) schrijft, van begin tot eind, zonder dat er één menselijke hand aan te pas komt.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Machine die Schrijft (De "Robot-Schrijver")

Stel je een zeer slimme, maar soms wat vergeetachtige robot voor die je een opdracht geeft: "Schrijf een artikel over klassieke Hodgkin-lymfoom."

• Zoeken: De robot zoekt zelf op internet (via PubMed) naar duizenden artikelen.
• Selecteren: Hij leest de samenvattingen en beslist zelf welke artikelen goed genoeg zijn en welke hij moet weggooien.
• Samenvatten: Hij vat de inhoud van de goedgekeurde artikelen samen.
• Schrijven: Hij schrijft de inleiding, de resultaten en de conclusie alsof hij een professor is.

Het bijzondere? Ze deden dit met één stukje computercode. Druk op een knop, en na een paar uur ligt er een compleet wetenschappelijk artikel.

2. Het Grote Probleem: De "Hallucinerende" Bibliothecaris

Er is echter een groot nadeel aan deze robot. Als je hem te veel informatie tegelijk geeft (bijvoorbeeld 50 samenvattingen), raakt hij in de war.

• De Analogie: Stel je voor dat je een bibliothecaris vraagt om een verslag te maken van 50 boeken die op één stapel liggen. Als de stapel te hoog is, begint de bibliothecaris te gissen. Hij zegt: "In boek 3 staat dat..." terwijl de informatie eigenlijk uit boek 45 komt. Dit noemen ze hallucinaties of foutieve citaten.
• De Oplossing: De onderzoekers bedachten een slim trucje. Ze gaven de robot niet alle 50 boeken tegelijk, maar slechts de top 10 die het meest relevant leken voor het specifieke hoofdstuk dat hij op dat moment schreef. Hierdoor maakte hij veel minder fouten. Het was alsof je de bibliothecaris een klein, overzichtelijk stapeltje geeft in plaats van een hele berg.

3. De Menselijke Test (De "Blinde Proef")

Om te zien of deze robotartikelen goed genoeg waren, vroegen ze zes echte experts (artsen die gespecialiseerd zijn in bloedziekten) om drie artikelen te beoordelen. Ze wisten niet wie de schrijver was:

1. Een artikel geschreven door een mens.
2. Een artikel geschreven door een mens met hulp van AI (de "Semi-automatische" versie).
3. Een artikel geschreven alleen door de AI (de "Volledig geautomatiseerde" versie).

De verrassende uitkomsten:

• De kwaliteit: De experts vonden de AI-articles (zowel de mens+AI als de pure AI) vaak beter geschreven dan het artikel van de mens. Ze vonden ze vloeiender en logischer.
• De verwarring: Niemand kon zeker weten wie wat had geschreven.
• De grootste verrassing: Het artikel dat door een mens was geschreven, werd door de experts vaker aangezien voor een AI-bericht. Ze dachten: "Dit is wel erg slordig en onconsistent, dat moet wel door een robot zijn." Terwijl ze dachten dat het AI-bericht (dat eigenlijk heel goed was) door een mens was geschreven.
• Conclusie: De experts hadden een vooroordeel. Ze dachten dat AI-schrijven "sloppier" zou zijn, maar in dit geval was het AI-schrijven juist netter.

4. Wat betekent dit voor de toekomst?

Dit onderzoek is een wake-up call voor de wetenschappelijke wereld.

• Het goede nieuws: AI kan ons enorm veel tijd besparen. Het kan duizenden artikelen in minuten lezen en samenvatten. Dit is geweldig voor gebieden waar nu te weinig mensen zijn om dit werk te doen.
• Het slechte nieuws: Als we dit niet goed regelen, kan iemand (een "boze actor") duizenden nep-artikelen laten schrijven die er heel geloofwaardig uitzien, maar vol zitten met fouten of leugens.
• De les: We moeten transparant zijn. Als je AI gebruikt, moet je dat zeggen. En we moeten experts leren om AI beter te herkennen, zodat ze niet denken dat een goed geschreven artikel per se door een mens is gemaakt, of andersom.

Kort samengevat:
We hebben nu een machine die kan schrijven alsof het een professor is. Hij is snel en vaak beter dan wij, maar hij kan soms de bronnen verwarren als we hem te veel informatie geven. De mens moet nog steeds de "chef" blijven die controleert of de robot niet in de war raakt, anders vullen we de bibliotheken met mooie, maar onbetrouwbare verhalen.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) transformeren wetenschappelijke workflows, maar hun toepassing voor rigoureuze bewijssynthese (zoals systematische reviews) blijft onderbelicht. Bestaande studies tonen aan dat LLM's vaak hallucineren en fouten maken bij citaties (soms tot 70% foutpercentage), wat de integriteit van wetenschappelijke publicaties bedreigt. Daarnaast is er een gebrek aan transparantie over hoe AI in publicaties wordt gebruikt. De kernvraag is of een volledig geautomatiseerde pipeline, zonder menselijke tussenkomst, een systematische review kan produceren die accuraat is, van hoge kwaliteit, en niet te onderscheiden is van menselijk geschreven werk, en wat de ethische implicaties hiervan zijn.

Methodologie

De auteurs ontwikkelden een volledig geautomatiseerde pipeline in Python die gebruikmaakt van de Claude API (Anthropic) om een systematische review te genereren, variërend van literatuuroverzicht tot manuscriptvoltooiing.

De Workflow:

1. Zoekopdracht: Op basis van een onderwerp genereert de LLM boolean zoektermen om databases (PubMed/NCBI API) te doorzoeken.
2. Selectie: De LLM evalueert automatisch de relevantie van gevonden papers op basis van vooraf gedefinieerde criteria (inclusie/exclusie).
3. Samenvatting: De geselecteerde papers worden samengevat door de LLM.
4. Structurering: De LLM genereert "resultaat-subsecties" als ankerpunten voor de review.
5. Schrijven (De "Top-10" Strategie): Om hallucinaties en citatiefouten te minimaliseren, rangschikt de LLM de samenvattingen per sectie op relevantie. Bij het schrijven van een specifieke sectie (bijv. Introductie of Resultaten) krijgt de LLM alleen de top 10 meest relevante samenvattingen te zien. Dit beperkt de context ("text glut") om citatiefouten te voorkomen.
6. Generatie: De LLM schrijft de secties (Intro, Resultaten, Discussie, Conclusie, Abstract) iteratief, waarbij de groeiende tekst als referentie dient.
7. Formatteer: Python-scripts genereren de definitieve bibliografie en converteren de tekst naar een professioneel PDF-formaat.

Vergelijkende Studie:
Er werden drie reviews gegenereerd over hetzelfde onderwerp (standaardisatie van Next-Generation Sequencing bij klassieke Hodgkin-lymfomen):

1. Volledig Geautomatiseerd (Fully-Automated): Genereerd via de Claude API (Sonnet 4.0) met volledige autonomie.
2. Semi-Geautomatiseerd (Semi-Automated): Genereerd via de Claude Chatbox (menselijke input voor bronnen, AI voor tekst), gebaseerd op dezelfde bronnen als een menselijke review.
3. Menselijk (Human): Een bestaande, gepubliceerde systematische review door mensen.

Evaluatie:
Een panel van zes geaccrediteerde hematopathologen beoordeelde de drie reviews in een blinde studie. Ze beoordeelden de algehele kwaliteit, wetenschappelijke merites, leesbaarheid en probeerden te raden welke review door AI was geschreven.

Belangrijkste Bijdragen

• Technische Haalbaarheid: Bewijs dat een enkele Python-script een complete systematische review kan genereren zonder menselijke tussenkomst.
• Strategie tegen Hallucinaties: De introductie van een "Top-10" context-beperking (text-restriction) als effectieve methode om citatiefouten drastisch te verlagen bij API-gebruik.
• Kwaliteitsvergelijking: Een empirische vergelijking tussen menselijk, semi-geautomatiseerd en volledig geautomatiseerd schrijven, waarbij experts niet in staat waren om de auteurstype betrouwbaar te onderscheiden.
• Ethische Inzichten: Een analyse van de bias van experts die AI-tekst vaak als "menselijker" en van hogere kwaliteit beoordelen dan menselijk geschreven teksten.

Resultaten

1. Kwaliteit en Beoordeling:

• De Semi-Geautomatiseerde review scoorde het hoogst op kwaliteit (gemiddeld 3,66/5), gevolgd door de Volledig Geautomatiseerde review (3,4/5).
• De Menselijke review scoorde het laagst (2,6/5).
• Experts prezen de leesbaarheid en de "flow" van de AI-gegenereerde teksten, terwijl de menselijke review werd bekritiseerd op inconsistentie en het niet direct beantwoorden van de onderzoeksvraag.

2. Detectie van AI:

• De experts faalden in het betrouwbaar onderscheiden van AI van menselijk auteurschap.
• Opmerkelijke bevinding: De menselijke review werd het vaakst (4 van de 6 experts) ten onrechte geïdentificeerd als "volledig AI-gegenereerd". De Semi-Geautomatiseerde review werd daarentegen het vaakst als "menselijk" bestempeld. Dit suggereert een bias waarbij experts verwachten dat AI-schrijven slordiger is, terwijl de AI hier juist vloeiender schreef.

3. Nauwkeurigheid en Citaties:

• Volledig Geautomatiseerd: Citatiefouten (misattribution) werden teruggebracht tot 4,13% dankzij de Top-10 strategie. Er waren geen hallucinaties (verzonnen resultaten).
• Semi-Geautomatiseerd: Citatiefouten waren 7,06%, met een neiging tot "over-citeren" (8,24% van de claims had onnodige extra citaties) en één geval van hallucinatie.
• Overlapping: De Volledig Geautomatiseerde review deelde 44,4% van de bronnen met de menselijke review (exclusief nieuwere papers), wat aangeeft dat de AI relevante literatuur kon vinden.

4. Beperkingen:

• De Volledig Geautomatiseerde review vertoonde meer herhalingen omdat de context per sectie beperkt was.
• Er was een "blinde vlek" bij het automatisch ophalen van papers: papers zonder volledige tekst (textless) in de database werden automatisch uitgesloten, wat kan leiden tot selectiebias.

Betekenis en Implicaties

• Efficiëntie vs. Breedte: Er is een fundamentele afweging tussen schaal en informatiebreedte. Om fouten te minimaliseren moet de context beperkt worden, wat leidt tot herhaling en minder diepgang per sectie.
• Transparantie en Integriteit: Omdat AI nu reviews kan schrijven die door experts als van hogere kwaliteit worden beschouwd dan menselijk werk, en experts AI niet kunnen detecteren, is strikte transparantie over AI-gebruik cruciaal om misbruik en "flood" van academische publicaties te voorkomen.
• Aanbeveling: De auteurs pleiten voor een hybride model. LLM's zijn uitstekend voor repetitieve taken zoals het screenen van papers, samenvatten en het extraheren van data. Echter, voor het schrijven van de uiteindelijke review is menselijke validatie essentieel om fouten te corrigeren en de context te bewaken.
• Toekomst: Er is een dringende behoefte aan AI-geletterdheid onder medische professionals en duidelijke richtlijnen voor disclosure, zodat de efficiëntiewinsten van AI kunnen worden benut zonder de wetenschappelijke integriteit te ondermijnen.

Conclusie: De studie toont aan dat volledig geautomatiseerde systematische reviews technisch haalbaar zijn en van hoge kwaliteit kunnen zijn, maar dat ze fundamentele beperkingen hebben (herhaling, contextbeperking) en dat de menselijke perceptie van AI-kwaliteit momenteel vertekend is. Een verantwoord gebruik vereist menselijke supervisie en transparantie.