Research Entity Extraction and Topic Detection from UKRI Grant Proposals
Dit artikel presenteert voorlopige bevindingen van het "Tracking Stars and Unicorns"-project, die aantonen dat een op Mistral gebaseerde aanpak zowel GPT-4o als een op maat gemaakt DSIT-Taxonomies-algoritme overtreft in het nauwkeurig extraheren van onderzoeksentiteiten en het classificeren van onderwerpen binnen UKRI-subsidievoorstellen, waarmee een veilige en efficiënte oplossing wordt geboden voor het identificeren van opkomende onderzoeksgebieden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat de Britse regering een enorme bibliotheek is die duizenden nieuwe boeken (onderzoeksprojecten) financiert elk jaar. De bibliothecarissen (UKRI) willen weten: Wat zijn de meest opwindende nieuwe verhalen die nu worden geschreven? Ze moeten "unicorns" opsporen—gloednieuwe, baanbrekende ideeën die de wereld kunnen veranderen voordat ze zelfs beroemd zijn.
Het probleem is dat er te veel aanvragen zijn om ze één voor één te lezen. Dus probeerden de auteurs van dit artikel drie verschillende "robot-bibliothecarissen" (AI-tools) uit om de samenvattingen van deze subsidievoorstellen te lezen en te vertellen waar de projecten eigenlijk over gaan.
Hier is hoe ze het deden en wat ze ontdekten, eenvoudig uitgelegd:
De Drie Robot-bibliothecarissen
Het team testte drie verschillende AI-"hersenen" om te zien welke het beste was in het lezen van de voorstellen:
- GPT-4o: Een zeer beroemde, krachtige AI (zoals een superintelligente, veelgelezen professor).
- Mistral: Een iets kleinere, snellere AI (zoals een scherpe, efficiënte junior onderzoeker).
- DSIT-Taxonomies: Een ouder, op regels gebaseerd computerprogramma (zoals een bibliothecaris die alleen naar specifieke trefwoorden in een woordenboek kijt).
De Test: Het Lezen van de "Abstracts"
De onderzoekers namen 42 echte subsidievoorstellen uit verschillende vakgebieden (zoals kunst, geneeskunde en techniek). Ze vroegen elke robot om twee dingen te doen:
- De belangrijke woorden eruit pikken: (bijv. "stamcellen", "kunstmatige intelligentie", "klimaatverandering").
- Het project in een categorie indelen: (bijv. "Gaat dit over Biologie? Of Natuurkunde?").
Ze vergeleken de antwoorden van de robots met elkaar en met menselijke experts om te zien wie het goed had.
De Resultaten: Wie Won Er?
1. De "Trefwoordjager" (DSIT-Taxonomies) Had Moeite
De oude, op regels gebaseerde robot was als een persoon die probeert een gedicht te begrijpen door alleen te tellen hoe vaak het woord "liefde" voorkomt. Het miste vaak de grote lijn.
- Het hakte goede zinsdelen in kleine, nutteloze stukjes (bijv. het zag "signaal" en "versterker" als twee aparte dingen in plaats van één concept).
- Het greep willekeurige woorden zoals "echter" of "duizenden" die eigenlijk niets betekenden.
- De Score: Het kreeg het onderwerp slechts 71% van de tijd goed.
2. De "Super-Professor" (GPT-4o) Deed het Geweldig
De grote AI was uitstekend. Het begreep de context en selecteerde de juiste ideeën, net zoals een menselijke expert dat zou doen.
- De Score: Het kreeg het onderwerp 90,5% van de tijd goed.
3. De "Efficiënte Junior" (Mistral) Was de Verrassende Ster
De kleinere AI (Mistral) deed het bijna precies zo goed als de grote professor.
- Het selecteerde dezelfde belangrijke woorden als GPT-4o.
- Het maakte minder fouten waarbij het woorden verzonnen die niet in de tekst stonden (een probleem dat "hallucinatie" wordt genoemd).
- De Score: Het kreeg het onderwerp ook 90,5% van de tijd goed.
Waarom Mistral de "Unicorn" van dit Verhaal is
Het artikel concludeert dat Mistral de beste keuze is voor deze taak, en dit is waarom, gebruikmakend van een eenvoudige analogie:
- Beveiliging: Stel je voor dat je een geheim dagboek leest. Je wilt dat dagboek niet naar een enorme, publieke cloudserver sturen waar iedereen het misschien kan zien. Mistral is als een hulpmiddel dat je binnen je eigen beveiligde kantoor kunt houden. Het is snel, goedkoop en houdt de gegevens privé.
- Prestaties: Hoewel het kleiner is dan GPT-4o, deed het precies hetzelfde werk.
- Betrouwbaarheid: Het was minder geneigd om nepfeiten te verzinnen dan de grotere AI.
De Kern van het Verhaal
De onderzoekers ontdekten dat je niet de grootste, duurste AI nodig hebt om onderzoeksvoorstellen te begrijpen. Een slimme, efficiënte en veilige AI (Mistral) kan onderzoeksvoorstellen lezen, de belangrijkste ideeën eruit halen en ze in categorieën indelen, net zo goed als de grote namen.
Dit betekent dat de Britse regering nu dit hulpmiddel kan gebruiken om hun enorme bibliotheek van 350.000 voorstellen te scannen om die vroege "unicorns" te vinden—de nieuwe, opwindende onderzoeksgebieden die financiering verdienen—zonder zich zorgen te maken over datalekken of het betalen voor de duurste technologie.
Noot: Het artikel heeft dit alleen op 42 voorstellen getest om te bewijzen dat de methode werkt. De volgende stap (die zij van plan zijn) is om deze methode op de volledige bibliotheek van 350.000 voorstellen toe te passen om de toekomst van het Britse onderzoek in kaart te brengen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.