PaperAtlas: an automatically constructed atlas of computational methods and software from 6.4 million open-access articles
PaperAtlas is een open-source, automatisch geconstrueerde atlas afgeleid van 6,4 miljoen open-access artikelen die computationele methoden en software identificeert en clustert, waarbij wordt onthuld dat een aanzienlijk deel van deze middelen momenteel ontbreekt in bestaande gecureerde registers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
De moderne biologie is veranderd. Het gaat niet langer alleen maar om het kijken door microscopen of het kweken van culturen in een laboratorium; het gaat steeds vaker over het schrijven van code. Wetenschappers gebruiken complexe computerprogramma's om DNA te analyseren, te modelleren hoe ziekten zich verspreiden en te simuleren hoe eiwitten vouwen. Deze hulpmiddelen zijn essentieel, maar ze zijn versnipperd. Ze zitten verborgen in miljoenen wetenschappelijke artikelen, vaak begraven in het midden van de tekst waar de focus ligt op een biologische ontdekking in plaats van op de software zelf. Omdat deze artikelen door mensen voor mensen zijn geschreven, kan hetzelfde hulpmiddel onder verschillende namen worden genoemd, of wordt een programma slechts één keer vermeld zonder een formele link naar een centrale lijst. Dit maakt het voor een onderzoeker ongelooflijk moeilijk om het juiste hulpmiddel voor hun werk te vinden, of voor een curator om bij te houden wat er bestaat. Het resultaat is een enorme, ongeorganiseerde bibliotheek van digitale bronnen die moeilijk te navigeren is.
Om dit op te lossen, heeft een team van onderzoekers een nieuw systeem gebouwd genaamd PaperAtlas. Denk aan een enorme, geautomatiseerde bibliothecaris die miljoenen wetenschappelijke artikelen tegelijkertijd kan lezen om de computerhulpmiddelen te vinden die erin verborgen zitten. De onderzoekers begonnen met een enorme collectie open-access wetenschappelijke artikelen, die meer dan zes miljoen bedroeg. Ze gebruikten geavanceerde computermodellen, wat programma's zijn die getraind zijn om menselijke taal te begrijpen, om de abstracts van deze artikelen te scannen. Het doel was om de artikelen die over biologische experimenten gaan te scheiden van de artikelen waarbij de belangrijkste bijdrage een nieuwe computermethode of software is. Het systeem identificeerde succesvol meer dan één miljoen artikelen die primair over computationele zaken gingen.
Zodra de relevante artikelen waren gevonden, ging het systeem dieper. Het las de tekst van deze artikelen om specifieke details eruit te halen: de naam van de software, welk biologisch probleem het oplost, en wat voor soort hulpmiddel het is, zoals een webserver of een nieuw algoritme. De onderzoekers organiseerden deze bevindingen vervolgens in een gestructureerde kaart. Ze groepeerden vergelijkbare artikelen op basis van hun inhoud, waardoor clusters ontstonden die fungeren als hoofdstukken in een boek. Deze hoofdstukken werden verder georganiseerd in bredere onderwerpen, wat resulteerde in een uiteindelijke collectie van duizend verschillende groepen die de belangrijkste gebieden van de biomedische informatica dekken. Deze kaart stelt iedereen in staat om de literatuur per onderwerp te doorzoeken, waarbij men ziet hoe verschillende hulpmiddelen met elkaar verband houden zonder elk artikel te hoeven lezen.
De onderzoekers testten ook hoe goed hun systeem werkte ten opzichte van bestaande lijsten met software. Ze vergeleken de namen van de hulpmiddelen die ze in de artikelen vonden met vijf belangrijke, handmatig samengestelde registers waar wetenschappers hun software gewoonlijk registreren. De resultaten toonden een aanzienlijke kloof aan. Van de duizenden unieke softwarenamen die het systeem extraheerde, had meer dan zestig procent geen strikte overeenkomst met een van deze officiële registers. Dit suggereert dat een groot deel van de software die in de wetenschap wordt gebruikt, ofwel helemaal niet is geregistreerd, ofwel geregistreerd staat onder een naam die verschilt van hoe deze in het wetenschappelijke artikel verschijnt. Het systeem was in staat om ongeveer zevenenvijftig procent van de vermeldingen uit een belangrijk register genaamd bio.tools te herstellen bij het bekijken van het gehele proces van begin tot eind. Echter, als het artikel dat het hulpmiddel beschrijft daadwerkelijk in de atlas terechtkwam, steeg het herstelpercentage naar meer dan drieentachtig procent. Dit geeft aan dat de grootste uitdaging niet alleen het vinden van de artikelen is, maar het waarborgen dat de namen van de hulpmiddelen perfect overeenkomen tussen de literatuur en de officiële lijsten.
De studie omvatte ook een zorgvuldige controle van het eigen werk. Een menselijke expert beoordeelde een kleine steekproef van de resultaten om te zien of de computer zinvolle zaken maakte. De mens stemde in de meeste gevallen in met de classificatie van de computer of een artikel computationeel was, en de geëxtraheerde namen van de hulpmiddelen waren over het algemeen accuraat. De mens merkte echter ook op dat het koppelen van een hulpmiddelnaam uit een artikel aan een registervermelding de moeilijkste stap was, en vaak faalde wanneer de namen licht van elkaar verschilden. Dit bevestigt dat hoewel het geautomatiseerde systeem krachtig is, de manier waarop wetenschappers hun hulpmiddelen benoemen nog steeds inconsistent is.
PaperAtlas is nu beschikbaar als een gratis, open-source webtool. Het lijst niet alleen artikelen op; het organiseert ze in een navigeerbare structuur die de relaties tussen verschillende methoden benadrukt. Door het landschap van de computationele biologie in kaart te brengen, helpt het onderzoekers de hulpmiddelen te vinden die ze nodig hebben en laat het de wetenschappelijke gemeenschap zien waar de hiaten liggen. Het werk demonstreert dat hoewel we de technologie hebben om de enorme hoeveelheid wetenschappelijke literatuur die wordt geproduceerd te lezen en te organiseren, het menselijke element van het benoemen en registreren van deze hulpmiddelen nog steeds achterloopt. De atlas biedt een duidelijk beeld van deze discrepantie en biedt een fundament voor betere organisatie in de toekomst, zonder te beweren het probleem van inconsistente naamgeving volledig te hebben opgelost.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.