A Pathway for Assessing Grey Literature: Leveraging AI to Extract Conference Metadata and Organiser Information from Calls for Papers
Dit artikel introduceert COCI, een AI-gebaseerd framework dat Large Language Models gebruikt om de extractie en structurering van granulaire metadata uit ongestructureerde Calls for Papers te automatiseren, waardoor een systematische metascience-analyse van voorheen over het hoofd geziene grijze literatuur mogelijk wordt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap wordt vaak voorgesteld als een verzameling voltooide boeken, netjes opgestapeld op bibliotheekplanken, waar onderzoekers het verleden bestuderen door te lezen wat er al is gepubliceerd. Maar een enorme hoeveelheid belangrijke kennis bestaat buiten deze formele kanalen. Dit wordt "grijze literatuur" genoemd, een term voor rapporten, werkdocumenten en documenten die nooit de standaard wetenschappelijke tijdschriften halen. Onder de meest vitale hiervan zijn "calls for papers", oftewel oproepen tot het indienen van artikelen, die aankondigingen zijn die onderzoekers uitnodigen om hun werk in te dienen voor aanstaande conferenties. Deze documenten zijn het vroege waarschuwingssysteem van de wetenschap; ze onthullen nieuwe trends en opkomende vakgebieden voordat ze ooit zijn uitgewerkt in een definitief artikel. Omdat deze aankondigingen echter verspreid zijn over het web in rommelige, niet-gestandaardiseerde formaten, zijn ze bijna onmogelijk op grote schaal te bestuderen. Traditionele computertools hebben moeite met het lezen ervan, waardoor er een enorme kloof ontstaat in ons begrip van hoe wetenschappelijke gemeenschappen daadwerkelijk worden gevormd en evolueren.
Om deze kloof te overbruggen, heeft een team van onderzoekers een nieuw systeem ontwikkeld genaamd COCI, dat geavanceerde kunstmatige intelligentie gebruikt om deze chaotische aankondigingen te lezen en te organiseren. Het systeem fungeert als een digitale archivaris, die de ruwe, ongestructureerde tekst van een conferentie-uitnodiging omzet in een schone, georganiseerde lijst met feiten. Het identificeert de naam van het evenement, het jaar en de locatie, en het belangrijkste: de mensen die de boel runnen. Het somt niet alleen namen op; het bepaalt wie deze mensen zijn, bij welke instellingen zij horen en welke specifieke rollen zij vervullen, zoals het organiseren van een workshop of het beheren van de publieksbereikzaamheid. Door dit te doen, transformeert het systeem een brij van tekst in een gestructureerde database die wetenschappers daadwerkelijk kunnen gebruiken om het landschap van het onderzoek te analyseren.
De onderzoekers testten dit systeem door er veertig verschillende conferentie-aankondigingen in te voeren uit een breed scala aan disciplines, variërend van informatica en techniek tot tandheelkunde en archeologie. Het doel was om te zien of het systeem de rommelige realiteit van het internet aan kon, waarbij de ene conferentie de organisatoren in een eenvoudige paragraaf vermeldt en een andere de informatie in een complexe tabel verstopt. Het systeem slaagde erin de belangrijkste details uit alle veertig documenten te extraheren. Het identificeerde de conferentiereeks, de specifieke editie en de geografische locatie. Het haalde ook de namen van elk lid van de organiserende commissie naar voren en koppelde deze aan publieke wetenschappelijke registers om hun identiteiten en affiliaties te verifiëren. Dit proces stelt het systeem in staat om onderscheid te maken tussen verschillende personen die dezelfde naam delen en om te bevestigen welke universiteit of organisatie zij momenteel vertegenwoordigen.
Een van de meest significante prestaties van het systeem is het vermogen om betekenis te geven aan de onderwerpen die deze conferenties behandelen. Wanneer een conferentie-aankondiging de gebieden van interesse vermeldt, gebruikt deze vaak informele taal of unieke termen. Het systeem vertaalt deze naar standaard wetenschappelijke concepten, waardoor een brug wordt geslagen tussen de informele taal van de aankondiging en het formele vocabulaire dat wereldwijd door onderzoekers wordt gebruikt. Het koppelt de naam van de conferentie ook aan bestaande wereldwijde databases, wat ervoor zorgt dat het evenement correct wordt geïdentificeerd, zelfs als de naam enigszins afwijkt of als de conferentie door de jaren heen onder verschillende titels is gehouden. Dit creëert een betrouwbare kaart van het evenement binnen de bredere wereld van de wetenschap.
De onderzoekers merkten echter zorgvuldig op dat het systeem niet perfect is en menselijk toezicht vereist om fouten te corrigeren. In één testgeval nam het systeem onterecht aan dat elk lid van een organiserende commissie bij dezelfde universiteit hoorde, omdat de oorspronkelijke tekst hun individuele affiliaties niet specificeerde. De onderzoekers bouwden een veiligheidscontrole in het systeem in om dit soort fouten op te vangen, in het besef dat het zeer onwaarschijnlijk is dat een hele commissie van een enkele instelling afkomstig is. In een ander geval koppelde het systeem een onderzoeker aan de verkeerde persoon in een publieke database omdat de database zelf tegenstrijdige informatie bevatte. Deze voorbeelden laten zien dat, hoewel het hulpmiddel krachtig is, het nog steeds afhankelijk is van de kwaliteit van de gegevens waartoe het toegang heeft en de logica van de regels die het volgt.
Het uiteindelijke doel van dit werk is om de focus van de wetenschappelijke analyse te verschuiven naar deze niet-traditionele evenementen. Door het systematisch bestuderen van oproepen tot het indienen van artikelen mogelijk te maken, opent het systeem de deur naar het begrijpen van hoe onderzoeksgemeenschappen vanaf de grond af aan worden opgebouwd. Het maakt het mogelijk om opkomende trends te volgen voordat ze in formele tijdschriften verschijnen en biedt een manier om de bijdragen te erkennen van de vele mensen die deze evenementen organiseren en vormgeven, maar die vaak onopgemerkt blijven in traditionele statistieken. De onderzoekers hebben hun instrument als open-source project beschikbaar gesteld aan het publiek, met de uitnodiging aan anderen om het te gebruiken en te verbeteren. Deze aanpak suggereert een toekomst waarin het volledige, diverse beeld van wetenschappelijke activiteit zichtbaar kan worden: niet alleen de gepolijste eindresultaten, maar het dynamische, evoluerende proces van ontdekking zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.