Technische Samenvatting: Het ontwerpen van LLM-prompts voor het extraheren van scores uit rommelige tekst

Probleemdefinitie

Het artikel behandelt een specifieke uitdaging in Natural Language Processing (NLP): het ontwerpen van prompts voor Large Language Models (LLMs) om nauwkeurig numerieke kwaliteitsscores van onderzoek te extraheren uit ongestructureerde, "rommelige" tekstrapporten. Hoewel LLMs veelvuldig worden gebruikt om tekstuele evaluaties te genereren (bijv. het beoordelen van essays of het beoordelen van de kwaliteit van onderzoek), zijn hun outputs vaak inconsistent. Ze kunnen scores inbedden in uitgebreide verklaringen, scores volledig weglaten, ongeldige formaten leveren (bijv. percentages of niet-standaard schalen), of er niet in slagen strikte outputbeperkingen te volgen.

De specifieke taak betreft het verwerken van rapporten die door LLMs zijn gegenereerd om artikelen in wetenschappelijke tijdschriften te beoordelen op basis van de UK Research Excellence Framework (REF) schaal (1* tot 4*). De kern van de moeilijkheid ligt in twee gelijktijdige vereisten:

1. Extractienauwkeurigheid: Het correct identificeren van de algemene score of het berekenen van een gemiddelde van componentscores (Originaliteit, Significantie, Rigor) wanneer een algemene score ontbreend is.
2. Outputbeperking: Ervoor zorgen dat de LLM alleen de numerieke score teruggeeft (en een optioneel asterisk) of een specifieke code voor ontbrekende waarden (-1), zonder enige verklarende tekst, interpunctiefouten of afwijkingen in de opmaak.

De specifieke taak is het verwerken van rapporten gegenereerd door drie middelgrote LLMs: Magistral, Llama 4 Scout en Gemma3 27b. Deze modellen kregen de opdracht om artikelen te scoren op basis van titels en abstracts.

• Bronfiltering: Het proces begon met honderdduizenden ruwe reacties. Eerst werd duplicatenverwijdering uitgevoerd binnen de output van elk model en daarna over de verschillende modellen heen.
• Handmatige Curatie: Om de moeilijkheidsgraad en variëteit te maximalen, is de resterende grote set handmatig gefilterd in Excel. Vergelijkbare rapporten werden verwijderd om te garanderen dat de uiteindelijke set een grote verscheidenheid aan stijlen bevat, inclusief teksten met ontbrekende scores, ongeldige scores en ambigue opmaak.
• Gold Standard: Een menselijke expert (de auteur) heeft voor elke tekst handmatig de juiste score bepaald. Deze "gold standard" bevat de specifieke score (1*–4*) of -1 als de score onduidelijk of ontbrekend is. In gevallen waar drie componentscores aanwezig waren zonder een algemene score, werd het gemiddelde berekend als de gold standard.

De Uitdagingstaak

Deelnemers krijgen de opdracht om een LLM-prompt te ontwerpen om de 1.446 teksten te verwerken. De output moet strikt voldoen aan een specifieke format:

• Geldige Outputs: Een getal (integer of decimaal) optioneel gevolgd door een asterisk (bijv. 3*, 2.667, 4 *) of de code -1.
• Ongeldige Outputs: Elke respons die andere tekens bevat dan cijfers, spaties, asterisks of het minteken (bijv. "Score: 3*", "World-leading" of "3* omdat...").
• Scoringlogica: Het systeem moet de gerapporteerde algemene score teruggeven als deze beschikbaar is. Indien deze niet aanwezig is, en als de scores voor Originaliteit, Significantie en Rigor allemaal aanwezig zijn, moet het het gemiddelde van deze scores teruggeven. Als de tekst geen duidelijke score bevat of ongeldige gegevens bevat, moet het -1 teruggeven.

Methodologie

Om onderzoek naar dit probleem te faciliteren, introduceert de auteur een gedeelde dataset en een gestructureerde uitdaging.

Dataset Constructie

De dataset bestaat uit 1.446 korte teksten afgeleid van rapporten gegenereerd door drie middelgrote LLMs: Magistral, Llama 4 Scout en Gemma3 27b. Deze modellen kregen de opdracht om wetenschappelijke artikelen te scoren op basis van titels en abstracts.

• Bronfiltering: Het proces begon met honderdduizenden ruwe reacties. Duplicatenverwijdering werd eerst uitgevoerd binnen de output van elk model en daarna over de modellen heen.
• Handmatige Curatie: Om de moeilijkheidsgraad en variëteit te maximaliseren, is de resterende grote set handmatig gefilterd in Excel. Vergelijkbare rapporten werden verwijderd om te garanderen dat de uiteindelijke set een grote variëteit aan stijlen bevat, inclusief teksten met ontbrekende scores, ongeldige scores en ambigue opmaak.
• Gold Standard: Een menselijke expert (de auteur) heeft de juiste score voor elke tekst handmatig beoordeeld. Deze "gold standard" bevat de specifieke score (1*–4*) of -1 als de score onduidelijk of ontbrekend is. In gevallen waar drie componentscores aanwezig waren zonder een algemene score, werd het gemiddelde berekend als de gold standard.

Belangrijkste Resultaten

Het baseline-experiment leverde de volgende statistieken op:

• Totaal aantal items: 1.446
• Correcte antwoorden: 1.050
• Nauwkeurigheid: 72,61%

De auteur merkt op dat de baseline-prompt vaak op twee manieren faalt:

1. Formatfouten: Het model bevat verklarende tekst of onjuiste symbolen.
2. Extractiefouten: Het model slaagt er niet in om componentscores te middelen of interpreteert ongeldige schalen verkeerd (bijv. het behandelen van een 5-punts schaal als geldig binnen het 4-punts REF-systeem).

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen aan het vakgebied van informatietechnologie en NLP:

1. Een Gedeelde Bron: Het biedt een gecureerde, "rommelige" dataset van 1.446 rapporten over onderzoeks-kwaliteit met een geverifieerde gold standard, wat directe prestatievergelijking tussen verschillende prompt engineering-strategieën mogelijk maakt zonder de overhead van datasetcreatie.
2. Een Benchmark Challenge: Het stelt een duidelijke, meetbare taak vast voor de gemeenschap om de baseline van 72,61% te verbeteren. De uitdaging stimuleert de ontwikkeling van prompts die zowel complexe numerieke extractie als strikte formattering-beperkingen tegelijkertijd kunnen afhandelen.
3. Inzicht in LLM-capaciteiten: Door zich te richten op een taak die transparant lijkt (het extraheren van een getal) maar verborgen complexiteiten bevat (ambigue schalen, ontbrekende waarden en formattering-ruis), beoogt de uitdaging het begrip van de beperkingen van LLM's en de nuances van effectief promptontwerp voor numerieke taken te verdiepen.

De auteur positioneert dit werk als een praktische strategie om de efficiëntie in onderzoek te vergroten, waardoor meerdere teams oplossingen kunnen genereren voor een gemeenschappelijke taak, en suggereert dat de uitdaging geschikt is voor zowel onderzoekers als studentenprojecten.