Large language model-assisted discovery of cohorts from scientific literature
Dit artikel presenteert een vraaggestuurd framework dat gebruikmaakt van grote taalmodellen om de extractie van cohortnamen uit wetenschappelijke literatuur te automatiseren, waarbij het zijn vermogen demonstreert om relevante cohorten voor genetica van agressie bij jongeren te identificeren die vaak worden gemist door traditionele cohortcatalogi.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne wetenschap worden onderzoekers vaak geconfronteerd met een probleem dat niet bestaat uit het vinden van nieuwe gegevens, maar uit het vinden van de juiste oude gegevens. Stel je een wetenschapper voor die wil begrijpen waarom sommige kinderen agressief gedrag vertonen. Om een duidelijk antwoord te krijgen, kan deze persoon niet vertrouwen op een enkele groep van enkele honderden mensen; hij moet gegevens combineren van duizenden individuen uit vele verschillende studies. Dit proces, bekend als een multi-studie-analyse, vereist het vinden van specifieke groepen mensen, genaamd cohorten, die over de juiste kenmerken beschikken: de juiste leeftijd, de juiste medische geschiedenis en het juiste type metingen, zoals genetische codes of hersenscans. Decennialang was het vinden van deze groepen een traag, handmatig proces. Wetenschappers moesten vertrouwen op hun eigen geheugen, collega's om aanbevelingen vragen of zoeken in gespecialiseerde lijsten met datasets die mogelijk niet elke mogbare onderzoeksvraag dekken. Deze lijsten zijn nuttig, maar ze zijn vaak georganiseerd op basis van het type gegevens dat ze bevatten in plaats van op basis van de specifieke vragen die wetenschappers willen stellen, waardoor veel nuttige groepen verborgen blijven voor het oog.
Een team van onderzoekers uit Duitsland heeft een nieuwe manier ontwikkeld om dit puzzelstuk op te lossen, door de zoektocht naar deze datagroepen te veranderen in een systematisch, geautomatiseerd proces. In plaats van te wachten tot een mens duizenden wetenschappelijke artikelen één voor één doorleest, hebben zij een digitale workflow gebouwd die een groot taalmodel gebruikt — een type kunstmatige intelligentie dat getraind is op enorme hoeveelheden tekst — om te fungeren als een onvermoeibare onderzoeksassistent. Het systeem begint met een eenvoudige vraag, zoals: "Welke studies hebben genetische gegevens over agressieve kinderen?" De computer vertaalt deze vraag vervolgens naar honderden specifieke zoektermen en doorspit de wetenschappelijke literatuur, waarbij het duizenden titels en samenvattingen van artikelen ophaalt. De kunstmatige intelligentie leest deze samenvattingen en zoekt naar de namen van de specifieke groepen mensen die in de tekst worden genoemd. Het extraheert deze namen, ruimt duplicaten op en organiseert ze in een lijst voor menselijke experts om te beoordelen.
De onderzoekers testten dit systeem op de specifieke uitdaging van het vinden van genetische studies gerelateerd aan jeugdagressie. Ze voerden het systeem een reeks zoektermen in die kinderen, tieners, agressie en genetica beslaan. De computer genereerde meer dan vijfduizend verschillende zoekopdrachten en haalde meer dan vijfduizend unieke wetenschappelijke records op. Uit deze enorme berg tekst identificeerde de kunstmatige intelligentie bijna tweehonderd potentiële groepen mensen. Nadat menselijke experts deze kandidaten zorgvuldig hadden gecontroleerd aan de hand van strikte regels — door te controleren of de groepen groot genoeg waren, kinderen onder de achttien bevatten en de benodigde genetische gegevens hadden — kwam de definitieve lijst uit op vierenveertig in aanmerking komende cohorten. Deze vierenveertig groepen vertegenwoordigden een gecombineerd totaal van bijna negenhonderdduizend deelnemers, een schaal van gegevens die handmatig verzamelen ongelooflijk moeilijk en tijdrovend zou zijn geweest.
Het team wilde ook weten of hun nieuwe methode zaken vond die de oude, gevestigde lijsten misten. Ze vergeleken hun lijst van vierenveertig in aanmerking komende groepen met de resultaten van vier grote, bekende databases waar wetenschappers gewoonlijk op vertrouwen. De gevestigde databases vonden, wanneer ze met dezelfde vraag werden doorzocht, slechts zevenentwintig van de vierenveertig groepen. Echter, ze misten volledig zeventien van de groepen die het nieuwe, op literatuur gebaseerde systeem vond. Deze kloof toonde aan dat de traditionele lijsten geen volledige kaart zijn van de beschikbare gegevens. De nieuwe methode verving de oude lijsten niet; in plaats daarvan fungeerde het als een krachtig aanvullend instrument dat waardevolle bronnen blootlegde die weliswaar in wetenschappelijke artikelen werden gedocumenteerd, maar nog niet in de centrale catalogi waren geïndexeerd.
Om te garanderen dat de kunstmatige intelligentie haar werk correct uitvoerde, vergeleken de onderzoekers de prestaties met die van menselijke experts. Ze vroegen twee menselijke beoordelaars om een willekeurige steekproef van dezelfde wetenschappelijke artikelen te controleren om te zien of deze de juiste groepen bevatten. De beoordelaars waren het niet altijd met elkaar eens, wat gebruikelijk is bij het interpreteren van complexe teksten, maar de prestaties van de kunstmatige intelligentie vielen comfortabel binnen de marge van menselijke overeenstemming. Het systeem was zeer accuraat in het vermijden van valse alarmen, wat betekende dat het zelden beweerde dat een artikel een groep bevatte terwijl dat niet zo was. Hoewel het enkele groepen miste die de mensen wel vonden, maakte het vermogen om duizenden artikelen in een fractie van de tijd te verwerken het een praktische en betrouwbare tool. Het gehele proces, van zoeken tot het extraheren van namen, kostte zeer weinig aan computercapaciteit in vergelijking met de honderden uren aan menselijke arbeid die het verving.
De studie concludeert dat deze aanpak een praktische, flexibele manier biedt om een lijst van datagroepen te maken voor elke specifieke onderzoeksvraag. Door de nieuwsgierigheid van een onderzoeker te vertalen naar een systematische zoektocht in het wetenschappelijke verslag, verandert de methode de uitgestrekte, gefragmenteerde wereld van gepubliceerde artikelen in een bruikbare inventaris van menselijke gegevens. Het vereist geen vooraf bestaande lijst van groepen om te werken; het vindt ze door de verhalen te lezen die wetenschappers al over hun werk hebben verteld. Deze capaciteit is bijzonder waardevol voor niche-onderzoeksgebieden waar geen centrale database bestaat, of voor vragen die zich over verschillende soorten gegevens heen uitstrekken. De onderzoekers hebben hun tools en de resulterende lijst van vierenveertig jeugdagressie-cohorten publiekelijk beschikbaar gesteld, en nodigen anderen uit om deze methode te gebruiken om gegevens voor hun eigen vakgebieden te ontdekken. Het werk demonstreert dat hoewel gecureerde datalijsten essentieel zijn, de wetenschappelijke literatuur zelf een complementaire schatkamer aan informatie bevat die nu met behulp van intelligente, geautomatiseerde tools kan worden ontsloten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.