Authoring and Management of Transparent Research Integrity Assessments of Randomised Clinical Trial Publications Using LLM-assisted Tools and Provenance Knowledge Graphs
Dit artikel introduceert INSPECT-AI, een door LLM ondersteunde interactieve tool en de bijbehorende RIPE-KG kennisgraaf, ontworpen om de gestroomlijnde en gestandaardiseerde transparante beoordeling van de integriteit van wetenschappelijk onderzoek in publicaties over gerandomiseerde klinische studies te stroomlijnen door gebruik te maken van het INSPECT-SR-framework en de RIPE-O ontologie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van de wetenschap voor als een enorme, bruisende bibliotheek waar onderzoekers constant nieuwe boeken schrijven over hoe ze mensen gezond kunnen houden. Jarenlang hebben artsen en beleidsmakers vertrouwd op een speciale soort "best-of"-collectie genaamd een Systematic Review (systematische review). Denk hierbij aan een superkrachtige bibliothecaris die honderden individuele studies leest, ze controleert op fouten en combineert hun bevindingen om één enkele, betrouwbare gids voor medische zorg te creëren. Maar hier zit de adder onder het gras: soms zijn de oorspronkelijke boeken in de bibliotheek aangepast. Misschien zijn de gegevens vervalst, de experimenten gemanipuleerd, of hebben de auteurs slecht nieuws achtergehouden. Als de superbibliothecaris deze "besmette" boeken per ongeluk opneemt in de definitieve gids, kan het advies dat aan artsen wordt gegeven onjuist zijn, wat potentieel schadelijk kan zijn voor patiënten. Dit is het probleem van Research Integrity (onderzoeksintegriteit): ervoor zorgen dat de grondstoffen van de wetenschap eerlijk en betrouwbaar zijn.
Om dit op te lossen, hebben wetenschappers checklists gemaakt—als het vergrootglas van een detective—om deze rode vlaggen te spotten. Het handmatig controleren van elk boek is echter ontzettend traag en vermoeiend, en verschillende detectives kunnen het oneens zijn over wat een "verdacht" spoor vormt. Onlangs is er een nieuw type digitale hulpeling opgekomen: een Large Language Model (LLM). Je kunt een LLM zien als een supersnelle, supergelezen robot die tekst kan scannen en in enkele seconden patronen kan ontdekken. Maar, net als elke robot, kan hij fouten maken of in de war raken, dus heeft hij een mens nodig om zijn werk te controleren. De grote vraag is: hoe houden we een perfect, onveranderlijk verslag bij van precies hoe een mens en een robot samenwerkten om te beslissen of een studie veilig is om te gebruiken?
Dit is waar het artikel dat je zometeen gaat lezen om in komt. De auteurs, een team van computerwetenschappers en medische experts, hebben een nieuwe digitale tool gebouwd genaamd INSPECT-AI. Het is als een hightech detective-station dat mensen helpt klinische trials te controleren op eerlijkheid. Maar de echte magie zit niet alleen in de tool zelf; het is de "digitale voetafdruk" die het achterlaat. Het team heeft een speciale kaart gemaakt, een Knowledge Graph (een gigantisch, onderling verbonden web van feiten), en een regelboek genaamd een Ontology (een gedeelde taal om te beschrijven hoe beslissingen werden genomen). Ze gebruikten deze om 140 verschillende onderzoeken naar 95 medische studies vast te leggen.
Wat ze ontdekten is fascinerend en een beetje rommelig. De robot (INSPECT-AI) en de menselijke detectives waren het vaak met elkaar eens, maar niet altijd. Sterker nog, ze waren het in ongeveer 13,6% van de specifieke vragen die ze stelden oneens. Soms was de robot te snel met het signaleren van een probleem, en soms moest de mens dieper graven om te zien dat de robot ernaast zat. Het team merkte ook op dat mensen het niet altijd met elkaar eens waren, vooral wanneer ze probeerden uit te zoeken of een studie vóórdat deze begon was geregistreerd (een lastig detail dat diepgaande kennis vereist). Het artikel suggereert dat we de robot niet alles kunnen laten beslissen, maar dat we ook niet alleen op mensen kunnen vertrouwen om het te doen. In plaats daarvan hebben we een systeem nodig dat elke stap van het onderzoek vastlegt—wie naar wat keek, wat de robot raadde, en waarom de mens van gedachten veranderde. Door deze "provenance traces" (de geschiedenis van het onderzoek) in een open, doorzoekbare grafiek te publiceren, hoopt het team het hele proces van het controleren van wetenschap transparanter, sneller en minder foutgevoelig te maken. Ze hebben het probleem van valse wetenschap niet opgelost, maar ze hebben een betere zaklamp en een beter notitieblok gebouwd voor de mensen die proberen het te vinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.