ForcesAtlas: construction of a multi-source, AI-assisted evidence discovery database of Armed Forces research

Het vinden van de juiste informatie in een enorme bibliotheek van wetenschappelijke artikelen is een taak die elke dag moeilijker wordt. Onderzoekers, artsen en beleidsmakers vertrouwen op dit bewijsmateriaal om beslissingen te nemen over gezondheid, veiligheid en de ondersteuning van mensen in uniform. De literatuur over militairen, veteranen en hun families is echter verspreid over veel verschillende digitale schappen. Sommige databases richten zich op geneeskunde, andere op psychologie, en weer andere op sociale kwesties. Bovendien worden de mensen die worden bestudeerd op veel verschillende manieren beschreven—soms als "actief diensthebbend", andere keren als "veteranen", "reservisten" of "echtgenoten van militairen". Deze inconsistentie betekent dat een eenvoudige zoekopdracht naar "soldaten" een cruciale studie over "voormalige militairen" kan missen, terwijl een zoekopdracht naar "militair" per ongeluk artikelen over militaire hardware of strategie kan ophalen die niets te maken hebben met de menselijke gezondheid. De uitdaging is niet alleen het vinden van de artikelen, maar het vinden van de artikelen die er daadwerkelijk toe doen voor de mensen die dienen en die gediend hebben.

Om dit probleem op te lossen, heeft een team van onderzoekers van universiteiten in het Verenigd Koninkrijk en de Verenigde Staten een nieuwe digitale tool gebouwd genaamd ForcesAtlas. Hun doel was om een enkele, constant bijgewerkte collectie te creëren die relevante onderzoeken verzamelt uit de gehele wetenschappelijke wereld, ongeacht het specifieke vakgebied of de woorden die worden gebruikt om de betrokken mensen te beschrijven. In plaats van een gebruiker te dwingen telkens wanneer hij een onderwerp wil onderzoeken een complexe lijst met zoektermen op te stellen, doet ForcesAtlas het zware werk vooraf. Het scant meerdere grote wetenschappelijke databases, identificeert artikelen die waarschijnlijk betrekking hebben op de militaire gemeenschap en organiseert deze in een toegewijde ruimte. Het systeem gebruikt kunstmatige intelligentie om de titels en samenvattingen van miljoenen artikelen te lezen, waarbij het bepaalt welke relevant zijn op basis van de inhoud in plaats van alleen op het matchen van trefwoorden. Dit stelt een onderzoeker in staat om een vraag te stellen over bijvoorbeeld woningstabiliteit of mentale gezondheid, en onmiddellijk een gecureerde lijst te zien van studies die daadwerkelijk over mensen met een militaire achtergrond gaan, zonder dat hij duizenden ongerelateerde resultaten hoeft te filteren.

Het team heeft deze database geconstrueerd door gegevens te halen uit verschillende grote bronnen, waaronder PubMed voor medische literatuur, Europe PMC voor levenswetenschappen en andere brede wetenschappelijke netwerken. Ze hebben een systeem gebouwd dat deze bronnen wekelijks controleert op nieuwe artikelen. Wanneer een nieuw artikel wordt gevonden, vergelijkt het systeem dit met wat het al eerder heeft gezien om te garanderen dat er geen duplicaten zijn. Vervolgens leest een geavanceerd computerprogramma de titel, het publicatiejaar en de abstract van het artikel om de relevantie te beoordelen. Het systeem wijst een score toe van hoog, medium, laag of geen om aan te geven hoe sterk het artikel verbonden is met de militaire gemeenschap. Een hoge score betekent dat het artikel centraal staat bij het onderwerp, terwijl een medium score een directe verbinding suggereert binnen een bredere studie. Om er zeker van te zijn dat de computer geen fouten maakt, controleren menselijke beoordelaars een steekproef van de beslissingen. In een test met 2.000 artikelen stemden de menselijke beoordelaars in meer dan 92 procent van de gevallen overeen met de classificatie van de computer, wat aantoont dat het systeem zeer betrouwbaar is in het onderscheiden van relevant onderzoek van de rest.

Het resultaat is een enorme, doorzoekbare bibliotheek die momenteel meer dan 2,4 miljoen artikelrecords bevat, waarvan er ongeveer 86.000 direct beschikbaar zijn voor gebruik. De collectie is zwaar gewogen richting onderzoek uit de Verenigde Staten, wat weerspiegelt waar een groot deel van de beschikbare literatuur vandaan komt, maar bevat ook aanzienlijk werk uit het Verenigd Koninkrijk, Afghanistan, Irak en andere landen. De meest voorkomende onderwerpen in de database hebben betrekking op veteranen, mentale gezondheid en posttraumatische stress, hoewel de reikwijdte alles omvat van fysieke gezondheid en werkgelegenheid tot gezinsleven en strafrecht. Om te bewijzen dat de database daadwerkelijk werkt, heeft het team van onderzoekers het getoetst aan vijf recente, kwalitatief hoogwaardige reviews die al gepubliceerd waren over specifieke militaire onderwerpen. Ze controleerden of de artikelen die in die reviews werden opgenomen, ook aanwezig waren in ForcesAtlas. De nieuwe database vond bijna 88 procent van de bekende belangrijke artikelen, waarbij sommige specifieke tests lieten zien dat het zelfs álle relevante artikelen vond. Dit suggereert dat de tool effectief is in het vastleggen van het bewijsmateriaal dat experts al gebruiken, terwijl het ook aanvullend materiaal vindt dat anders wellicht gemist zou worden.

ForcesAtlas is ontworpen om bestaande middelen aan te vullen in plaats van te vervangen. Het claimt niet het laatste woord te hebben over elk onderwerp, maar biedt een krachtig startpunt voor iedereen die probeert de ervaringen van militaire gemeenschappen te begrijpen. Door het moeilijke werk van het identificeren van relevante populaties naar het begin van het proces te verplaatsen, stelt de tool onderzoekers in staat zich te concentreren op de feitelijke vragen die ze willen beantwoorden. Of een gebruiker nu een student is die op zoek is naar een onderwerp voor een scriptie, een clinicus die op zoek is naar de nieuwste behandelrichtlijnen, of een beleidsmaker die een nieuw programma evalueert, de database biedt een helder pad door de ruis van de bredere wetenschappelijke wereld. Het staat als een praktisch voorbeeld van hoe moderne technologie kan worden gebruikt om kennis te organiseren, zodat het bewijs dat nodig is om degenen die dienen te ondersteunen, gemakkelijker te vinden, te begrijpen en te gebruiken is.