A Pathway for Assessing Grey Literature: Leveraging AI to Extract Conference Metadata and Organiser Information from Calls for Papers
Dieses Paper stellt COCI vor, ein KI-basiertes Framework, das Large Language Models nutzt, um die Extraktion und Strukturierung granularer Metadaten aus unstrukturierten Calls for Papers zu automatisieren und dadurch eine systematische Metawissenschaftsanalyse bisher vernachlässigter Grauer Literatur zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wissenschaft wird oft als eine Sammlung fertiger Bücher vorgestellt, die ordentlich gestapelt auf Bibliotheksregalen stehen, wobei Forscher die Vergangenheit studieren, indem sie lesen, was bereits veröffentlicht wurde. Doch ein großer Teil des wichtigen Wissens existiert außerhalb dieser formalen Kanäle. Dies wird als „Graue Literatur“ bezeichnet, ein Begriff für Berichte, Arbeitspapiere und Dokumente, die es nie in die Standardzeitschriften schaffen. Zu den wichtigsten dieser Dokumente gehören „Calls for Papers“, also Bekanntmachungen, die Forscher dazu einladen, ihre Arbeit für kommende Konferenzen einzureichen. Diese Dokumente sind das Frühwarnsystem der Wissenschaft; sie offenbaren neue Trends und aufstrebende Felder, noch bevor sie jemals in einem fertigen Artikel niedergeschrieben wurden. Da diese Bekanntmachungen jedoch über das Internet verstreut in ungeordneten, nicht standardisierten Formaten existieren, war es nahezu unmöglich, sie in großem Maßstab zu untersuchen. Traditionelle Computertools haben Schwierigkeiten, sie zu lesen, was eine große Lücke in unserem Verständnis darüber hinterlässt, wie sich wissenschaftliche Gemeinschaften tatsächlich bilden und entwickeln.
Um diese Lücke zu schließen, hat ein Team von Forschern ein neues System namens COCI entwickelt, das fortschrittliche künstliche Intelligenz nutzt, um diese chaotischen Bekanntmachungen zu lesen und zu organisieren. Das System fungiert als digitaler Archivar, der den rohen, unstrukturierten Text einer Konferenzankündigung nimmt und ihn in eine saubere, organisierte Liste von Fakten verwandelt. Es identifiziert den Namen der Veranstaltung, das Jahr und den Ort und – was am wichtigsten ist – die Menschen, die das Ganze leiten. Es listet nicht nur Namen auf; es findet heraus, wer diese Personen sind, welchen Institutionen sie angehören und welche spezifischen Rollen sie spielen, wie etwa das Organisieren eines Workshops oder die Verwaltung der Öffentlichkeitsarbeit. Auf diese Weise verwandelt das System ein Durcheinander von Text in eine strukturierte Datenbank, die Wissenschaftler tatsächlich nutzen können, um die Forschungslandschaft zu analysieren.
Die Forscher testeten dieses System, indem sie es mit vierzig verschiedenen Konferenzankündigungen aus einer Vielzahl von Fachgebieten fütterten, die von Informatik und Ingenieurwesen bis hin zu Zahnmedizin und Archäologie reichten. Das Ziel war es zu sehen, ob das System mit der chaotischen Realität des Internets zurechtkommt, wo eine Konferenz ihre Organisatoren vielleicht in einem einfachen Absatz auflistet und eine andere die Informationen in einer komplexen Tabelle verbirgt. Das System extrahierte erfolgreich die wichtigsten Details aus allen vierzig Dokumenten. Es identifizierte die Konferenzreihe, die spezifische Ausgabe und den geografischen Standort. Es zog zudem die Namen jeder Person im Organisationskomitee heraus und verknüpfte sie mit öffentlichen wissenschaftlichen Datensätzen, um deren Identitäten und Zugehörigkeiten zu verifizieren. Dieser Prozess ermöglicht es dem System, zwischen verschiedenen Personen zu unterscheiden, die denselben Namen tragen, und zu bestätigen, welche Universität oder Organisation sie derzeit repräsentieren.
Eine der bedeutendsten Leistungen des Systems ist seine Fähigkeit, die Themen zu erfassen, die diese Konferenzen behandeln. Wenn eine Konferenzankündigung ihre Interessengebiete auflistet, verwendet sie oft eine informelle Sprache oder einzigartige Phrasen. Das System übersetzt diese in standardisierte wissenschaftliche Konzepte und schlägt so eine Brücke zwischen der lockeren Sprache der Ankündigung und dem formalen Vokabular, das Forscher weltweit verwenden. Es gleicht zudem den Konferenznamen mit bestehenden globalen Datenbanken ab und stellt so sicher, dass die Veranstaltung korrekt identifiziert wird, selbst wenn der Name leicht abweicht oder die Konferenz im Laufe der Jahre unter verschiedenen Titeln stattgefunden hat. Dies schafft eine zuverlässige Karte der Veranstaltung innerhalb der breiteren Welt der Wissenschaft.
Dennoch waren die Forscher sorgfältig darauf bedacht festzuhalten, dass das System nicht perfekt ist und menschliche Aufsicht erfordert, um seine Fehler zu korrigieren. In einem Testfall nahm das System fälschlicherweise an, dass jedes Mitglied eines Organisationskomitees derselben Universität angehört, weil der Originaltext deren individuelle Zugehörigkeiten nicht spezifizierte. Die Forscher bauten eine Sicherheitsprüfung in das System ein, um diese Art von Fehler abzufangen, da sie erkannten, dass es höchst unwahrscheinlich ist, dass ein gesamtes Komitee von einer einzigen Institution stammt. In einem anderen Fall ordnete das System einen Forscher der falschen Person in einer öffentlichen Datenbank zu, weil die Datenbank selbst widersprüchliche Informationen enthielt. Diese Beispiele zeigen, dass das Werkzeug zwar leistungsstark ist, aber dennoch von der Qualität der Daten abhängt, auf die es zugreift, und von der Logik der Regeln, denen es folgt.
Das ultimative Ziel dieser Arbeit ist es, den Fokus der wissenschaftlichen Analyse auf diese nicht-traditionellen Ereignisse zu verlagern. Indem es möglich gemacht wird, „Calls for Papers“ systematisch zu untersuchen, öffnet das System die Tür zum Verständnis darüber, wie Forschungsgemeinschaften von Grund auf neu aufgebaut werden. Es ermöglicht die Verfolgung aufstrebender Trends, bevor sie in formalen Journalen erscheinen, und bietet eine Möglichkeit, die Beiträge der vielen Menschen zu erkennen, die diese Veranstaltungen organisieren und gestalten, aber in traditionellen Metriken oft unbemerkt bleiben. Die Forscher haben ihr Werkzeug als Open-Source-Projekt der Öffentlichkeit zur Verfügung gestellt und laden andere ein, es zu nutzen und zu verbessern. Dieser Ansatz deutet auf eine Zukunft hin, in der das volle, vielfältige Bild wissenschaftlicher Aktivität sichtbar werden kann – nicht nur die polierten Endergebnisse, sondern der dynamische, sich entwickelnde Prozess der Entdeckung selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.