Research Entity Extraction and Topic Detection from UKRI Grant Proposals
Dieses Paper präsentiert vorläufige Ergebnisse des Projekts „Tracking Stars and Unicorns“, welches zeigt, dass ein auf Mistral basierender Ansatz sowohl GPT-4o als auch einen maßgeschneiderten DSIT-Taxonomien-Algorithmus bei der präzisen Extraktion von Forschungsentitäten und der Klassifizierung von Themen innerhalb von UKRI-Förderanträgen übertrifft und somit eine sichere sowie effiziente Lösung zur Identifizierung aufstrebender Forschungsbereiche bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, die britische Regierung wäre eine riesige Bibliothek, die jedes Jahr Tausende von neuen Büchern (Forschungsprojekten) finanziert. Die Bibliothekare (UKRI) wollen wissen: Was sind die spannendsten neuen Geschichten, die gerade geschrieben werden? Sie müssen „Einhörner“ aufspüren – brandneue, bahnbrechende Ideen, die die Welt verändern könnten, noch bevor sie berühmt werden.
Das Problem ist, dass es zu viele Anträge gibt, um sie alle einzeln zu lesen. Deshalb haben die Autoren dieser Arbeit drei verschiedene „Roboter-Bibliothekare“ (KI-Tools) getestet, um die Zusammenfassungen dieser Förderanträge zu lesen und zu erklären, worum es in den Projekten eigentlich geht.
Hier ist, wie sie vorgegangen sind und was sie herausgefunden haben, einfach erklärt:
Die drei Roboter-Bibliothekare
Das Team hat drei verschiedene KI-„Gehirne“ getestet, um zu sehen, welches am besten darin ist, die Vorschläge zu lesen:
- GPT-4o: Eine sehr berühmte, leistungsstarke KI (wie ein sehr kluger, viel gelesener Professor).
- Mistral: Eine etwas kleinere, schnellere KI (wie ein scharfsinniger, effizienter Junior-Forscher).
- DSIT-Taxonomien: Ein älteres, regelbasiertes Computerprogramm (wie ein Bibliothekar, der nur nach bestimmten Schlüsselwörtern in einem Wörterbuch sucht).
Der Test: Das Lesen der „Abstracts“
Die Forscher nahmen 42 echte Förderanträge aus verschiedenen Fachbereichen (wie Kunst, Medizin und Ingenieurwesen). Sie baten jeden Roboter, zwei Dinge zu tun:
- Wichtige Wörter herauszufiltern: (z. B. „Stammzellen“, „künstliche Intelligenz“, „Klimawandel“).
- Das Projekt einer Kategorie zuzuordnen: (z. B. „Handelt dies von Biologie? Oder Physik?“).
Sie verglichen die Antworten der Roboter untereinander und mit menschlichen Experten, um zu sehen, wer es richtig gemacht hatte.
Die Ergebnisse: Wer hat gewonnen?
1. Der „Schlüsselwort-Jäger“ (DSIT-Taxonomies) hatte Schwierigkeiten
Der alte, regelbasierte Roboter war wie eine Person, die versucht, ein Gedicht zu verstehen, indem sie nur zählt, wie oft das Wort „Liebe“ vorkommt. Er übersah oft das große Ganze.
- Er zerstückelte gute Phrasen in winzige, nutzlose Teile (z. B. sah er „Signal“ und „Verstärker“ als zwei separate Dinge statt als ein Konzept).
- Er griff wahllos Wörter wie „jedoch“ oder „tausende“ auf, die eigentlich keine Bedeutung hatten.
- Die Punktzahl: Er traf das Thema nur in 71 % der Fälle richtig.
2. Der „Super-Professor“ (GPT-4o) war großartig
Die große KI war exzellent. Sie verstand den Kontext und wählte die richtigen Ideen aus, genau wie ein menschlicher Experte.
- Die Punktzahl: Sie traf das Thema in 90,5 % der Fälle richtig.
3. Der „Effiziente Junior“ (Mistral) war der Überraschungssieger
Die kleinere KI (Mistral) schnitt fast genauso gut ab wie der große Professor.
- Sie wählte dieselben wichtigen Wörter wie GPT-4o aus.
- Sie machte weniger Fehler, bei denen sie Wörter erfand, die nicht im Text standen (ein Problem, das man „Halluzination“ nennt).
- Die Punktzahl: Sie traf das Thema ebenfalls in 90,5 % der Fälle richtig.
Warum Mistral das „Einhorn“ dieser Geschichte ist
Die Arbeit kommt zu dem Schluss, dass Mistral die beste Wahl für diese Aufgabe ist, und hier ist der Grund, erklärt mit einer einfachen Analogie:
- Sicherheit: Stellen Sie sich vor, Sie lesen ein geheimes Tagebuch. Sie möchten dieses Tagebuch nicht an einen riesigen, öffentlichen Cloud-Server schicken, wo jeder es sehen könnte. Mistral ist wie ein Werkzeug, das Sie in Ihrem eigenen, sicheren Büro behalten können. Es ist schnell, günstig und hält die Daten privat.
- Leistung: Obwohl es kleiner als GPT-4o ist, erledigte es dieselbe Aufgabe genauso gut.
- Zuverlässigkeit: Es war weniger wahrscheinlich als die größere KI, falsche Fakten zu erfinden.
Das Fazsergebnis
Die Forscher fanden heraus, dass man nicht die größte, teuerste KI braucht, um Forschungsvorschläge zu verstehen. Eine kluge, effiziente und sichere KI (Mistral) kann Forschungsanträge lesen, die wichtigsten Ideen herausfiltern und sie in Kategorien einteilen – und das genauso gut wie die großen Player.
Das bedeutet, dass die britische Regierung nun dieses Werkzeug nutzen kann, um ihre riesige Bibliothek von 350.000 Anträgen zu scannen, um jene frühen „Einhörner“ zu finden – die neuen, spannenden Forschungsbereiche, die eine Förderung verdienen – ohne sich um Datenlecks oder die Nutzung der teuersten Technologie sorgen zu müssen.
Hinweis: Die Arbeit hat dies nur an 42 Vorschlägen getestet, um die Methode zu beweisen. Der nächste Schritt (den sie planen) ist die Anwendung dieser Methode auf die gesamte Bibliothek von 350.000 Vorschlägen, um die Zukunft der britischen Forschung abzubilden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.