Comparing AI and Human Coding of NIH Grant Abstracts to Identify Innovations in Opioid Addiction Treatment

Deze studie toont aan dat ChatGPT-4.0 NIH-grantabstracts over opioïdenverslaving effectiever codeert dan menselijke onderzoekers, wat resulteert in beschrijvingen met een hogere diepgang en relevantie.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met plannen voor nieuwe medicijnen en behandelingen tegen verslaving aan pijnstillers (opioïden). Deze plannen zijn geschreven in de vorm van korte samenvattingen, de zogenaamde "abstracts". De vraag is: wie kan deze plannen het beste lezen en uitleggen wat het allerbelangrijkste, vernieuwende idee erin is?

In dit onderzoek hebben wetenschappers een race gehouden tussen twee teams:

1. Het Menselijke Team: Een groep echte onderzoekers die de teksten met de hand hebben gelezen en samengevat.
2. Het Robot-Team: Een slimme kunstmatige intelligentie (ChatGPT-4.0) die dezelfde teksten heeft ingelezen en samengevat.

De Proef:
Het doel was om te kijken wie het beste kon vertellen wat het "nieuwe" of "innovatieve" aan elk plan was. Het was alsof je twee kokken vraagt om een gerecht te beschrijven: wie kan het beste uitleggen wat het bijzondere recept is?

Om dit eerlijk te testen, hebben ze een dubbel-blind proef gedaan. Zowel mensen als de robot moesten de samenvattingen maken, en daarna hebben zowel mensen als de robot deze samenvattingen beoordeeld op twee dingen:

• Diepgang: Is het verhaal rijk aan details?
• Volledigheid: Is alles belangrijke informatie erin verwerkt?

De Uitslag:
Het resultaat was verrassend! De robot (ChatGPT) deed het beter dan de mensen.

• De mensen gaven de samenvattingen van de robot een bijna perfecte score (ongeveer 4,5 op een schaal van 5).
• De samenvattingen die door de mensen zelf waren gemaakt, kregen een lagere score (rond de 3,3).

Wat betekent dit in het echt?
Je kunt dit vergelijken met het gebruik van een superkrachtige vergrootglas. Mensen zijn geweldig in veel dingen, maar als je honderden documenten moet lezen, raken ze moe, kunnen ze details missen of worden ze afgeleid. De robot daarentegen is als een onvermoeibare detective die elke zin perfect analyseert, precies volgens de regels die je haar geeft, zonder ooit moe te worden.

De Conclusie:
Dit onderzoek laat zien dat als we slimme instructies geven aan een computer, deze ons kan helpen om onderzoek sneller en beter te doen. Het is niet alsof de computer de mens vervangt, maar meer als een krachtige hulpmethode die ervoor zorgt dat we de beste ideeën voor het bestrijden van verslaving sneller kunnen vinden en begrijpen.

Technische samenvatting

Technische Samenvatting: Vergelijking van AI en Menselijke Coding van NIH Grant Abstracts

1. Het Probleem
Grote taalmodellen (LLM's) worden steeds vaker ingezet voor kwalitatieve analyse binnen het onderzoek naar middelengebruik. Echter, de prestaties van deze modellen in vergelijking met menselijke onderzoekers zijn nog onvoldoende onderzocht, met name wat betreft hun vermogen om kerninnovaties in complexe wetenschappelijke teksten te identificeren en te beschrijven. Er bestaat een behoefte aan empirisch bewijs om te bepalen of AI-systemen menselijke codering kunnen vervangen of versterken zonder in te leveren op kwaliteit.

2. Methodologie
De studie voerde een experimentele vergelijking uit tussen ChatGPT-4.0 en menselijke coders met de volgende kenmerken:

• Dataset: 118 abstracts van NIH-grants (National Institutes of Health) die specifiek gericht waren op het verminderen van opioïde-overdoses, onderdeel van het HEAL-initiatief.
• Opdracht: Zowel de AI als menselijke coders kregen de opdracht om de kerninnovatie van elk abstract onafhankelijk te identificeren en te beschrijven.
• Proces: Identieke instructies werden gebruikt voor alle coderings- en evaluatiefasen om variabiliteit door prompts te minimaliseren.
• Evaluatiemethode: De gegenereerde innovatiebeschrijvingen werden beoordeeld door zowel menselijke beoordelaars als ChatGPT.
• Metingen: De kwaliteit werd gemeten aan de hand van twee dimensies op een 5-punts Likert-schaal:
  1. Diepgang/Detail (Depth/Detail).
  2. Relevantie/Volledigheid (Relevance/Completeness).

3. Belangrijkste Bijdragen

• Empirische Validatie: Het onderzoek biedt een van de eerste kwantitatieve vergelijkingen tussen LLM's en menselijke experts in de context van kwalitatieve analyse van subsidieaanvragen op het gebied van verslavingszorg.
• Methodologische Rigor: Door identieke instructies te gebruiken voor zowel de generatie als de evaluatie, creëert de studie een eerlijk vergelijkingskader om de intrinsieke kwaliteit van de output te meten.
• Efficiëntie-inzicht: Het study toont aan dat LLM's niet alleen snel zijn, maar ook potentieel superieure output kunnen leveren in termen van structuur en volledigheid bij specifieke taken.

4. Resultaten
De resultaten tonen een statistisch significant voordeel voor de AI-generatie:

• ChatGPT-prestaties: De door ChatGPT gegenereerde beschrijvingen werden consequent hoger beoordeeld dan die van menselijke coders.
• Gemiddelde Scores: Menselijke beoordelaars gaven ChatGPT-outputs een gemiddelde score van 4,47 voor zowel diepgang als relevantie.
• Menselijke Scores: Menselijke outputs scoorden aanzienlijk lager, met gemiddelden van 3,33 (diepgang) en 3,24 (relevantie).
• Statistische Significantie: Het verschil was highly significant, met een F-waarde van F(1,176) = 133,9 en een p-waarde van p < 0,001.

5. Betekenis en Implicaties
De bevindingen suggereren dat Large Language Models, wanneer ze zorgvuldig worden geprompt, de efficiëntie en kwaliteit van kwalitatief onderzoek kunnen verbeteren. In plaats van menselijke codering te vervangen, kunnen LLM's fungeren als krachtige hulpmiddelen om de diepgang en volledigheid van analyses te verhogen. Dit opent nieuwe perspectieven voor het schalen van kwalitatieve evaluaties in de gezondheidszorg en verslavingsonderzoek, waarbij AI kan helpen bij het sneller en consistenter identificeren van innovatieve benaderingen in grote datasets van wetenschappelijke literatuur.