💬 NLP

Refining and Reusing Annotation Guidelines for LLM Annotation

Dit artikel stelt een iteratief moderatiekader voor en valideert dit empirisch, dat annotatiegidsen systematisch verfijnt en hergebruikt om Large Language Models af te stemmen op gouden standaard-benchmarks voor taken in de biomedische naam-entiteitherkenning, waarmee de effectiviteit wordt bevestigd van gidsintegratie, redenering-geoptimaliseerde modellen en moderatie onder minimale supervisie.

Oorspronkelijke auteurs: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante, supersnelle robotassistent te leren medische teksten te lezen en specifieke ziekten te markeren. De robot is ongelooflijk slim; hij weet wat een "hartinfarct" of "diabetes" is. Echter, wanneer je hem een specifieke taak vraagt, maakt hij vaak kleine fouten omdat hij de exacte, strikte regels niet kent die jouw team gebruikt.

In de wereld van menselijke annotators (mensen die data labelen) lossen we dit op door een Regelboek (een annotatiegids) te schrijven. Als een mens het fout heeft, bekijkt een supervisor hun werk, wijst de fout aan en werkt het Regelboek bij zodat iedereen ervan leert.

Dit artikel vraagt zich af: Kunnen we hetzelfde doen met AI? Kunnen we een bestaand Regelboek nemen, de AI laten proberen het te volgen, zijn fouten vinden en vervolgens de AI zelf laten gebruiken om het Regelboek duidelijker te herschrijven?

Hieronder wordt uitgelegd hoe de auteurs dit hebben getest, via een eenvoudige analogie.

De Opzet: De "Robot-Stageleerling" en het "Regelboek"

De onderzoekers behandelden het Large Language Model (LLM) als een nieuwe Robot-Stageleerling.

De Taak: De stageleerling moet medische abstracts lezen en ziektenamen markeren.
Het Probleem: Als je alleen zegt "Vind de ziekten", gokt de stageleerling. Hij kan een symptoom markeren in plaats van een ziekte, of een ziekte missen die verborgen zit in een lijst.
De Oplossing: Je geeft de stageleerling een Regelboek (de annotatiegids).

De Drie Grote Vragen (Hypothese)

Het team wilde drie dingen bewijzen:

Helpt het Regelboek? (Hypothese 1)
- Analogie: Maakt het geven van een handleiding aan de stageleerling hem beter dan alleen maar gissen?
- Resultaat: Ja. De robot werd veel beter wanneer hij de specifieke regels had om te volgen.
Werken "Denkende" Robots beter? (Hypothese 2)
- Analogie: Sommige robots spugen gewoon snel antwoorden uit (Niet-Redenerend). Anderen pauzeren, denken stap voor stap na en analyseren logica (Redenerend). Welke volgt het complexe Regelboek beter?
- Resultaat: Ja. De "Denkende" robots waren aanzienlijk beter in het begrijpen van de nuances van de regels.
Kan de robot zijn eigen handleiding repareren? (Hypothese 3)
- Analogie: Stel je voor dat de stageleerling een fout maakt. In plaats van dat een menselijke baas de handleiding repareert, kijkt de stageleerling naar de fout, bedenkt waarom het gebeurd is, en schrijft een nieuwe, duidelijkere regel om het de volgende keer te voorkomen.
- Resultaat: Ja. De robot kon de regels succesvol verfijnen, hoewel de verbeteringen klein maar consistent waren.

Het Proces: De "Zelfcorrigerende Lus"

De auteurs bouwden een systeem dat werkt als een repetitielus voordat het echte werk begint. Zo werkt het:

De Proefrun: De Robot-Stageleerling leest een kleine set van 10 medische documenten met behulp van het huidige Regelboek.
De Beoordeling: Het systeem vergelijkt de markeringen van de Robot met de "Gouden Standaard" (de perfecte menselijke antwoorden).
Het Detectivewerk: Als de Robot iets miste of iets verkeerd markeerde, groepeert het systeem deze fouten.
- Voorbeeld: "Oh, de robot blijft ziekten missen die staan in een 'met/van'-zinsconstructie."
De Herschrijving (Moderatie): De Robot treedt op als Supervisor. Hij kijkt naar de fout, legt uit waarom het gebeurd is, en schrijft een nieuwe regel om het te fixen.
- Nieuwe Regel: "Als een ziekte wordt genoemd in een 'met'- of 'van'-zin, negeer het dan niet! Markeer het."
Herhalen: De Robot leest de 10 documenten opnieuw met het nieuwe Regelboek. Als het beter gaat, prima. Zo niet, dan stopt het.

De Resultaten: Wat is er echt gebeurd?

Het Regelboek is belangrijk: Zonder de regels was de robot oké, maar niet geweldig. Met de regels werd hij heel goed.
Nadenken helpt: De "Denkende" modellen (zoals die welke pauzeren om te redeneren) volgden de regels veel beter dan de snelle, automatische modellen.
De "Zelfcorrectie" is echt maar klein: Het proces waarbij de robot zijn eigen handleiding herschrijft, werkte. Het repareerde specifieke fouten (zoals het missen van ziekten in lijsten). Echter, de verbetering was geen enorme sprong; het was een kleine, gestage duw in de goede richting (ongeveer 1-3% beter).

De Haken en Ogen (Beperkingen)

De auteurs waren voorzichtig om een paar dingen aan te geven:

De Steekproefgrootte: Ze gebruikten slechts 10 documenten om de robot te leren hoe hij de regels moest herschrijven. Dit is als proberen een hele taal te leren door alleen maar 10 zinnen te bestuderen. Het werkt voor een snelle test, maar het kan grotere patronen missen die pas zichtbaar worden in 1.000 documenten.
Kosten versus Snelheid: Sommige robots (zoals de "Denkende" modellen) zijn duur en traag. Anderen zijn goedkoop en snel, maar maken meer fouten. Er is een afweging.
De "Gouden" Vereiste: Dit hele systeem heeft een perfecte "Gouden Standaard" antwoordensleutel nodig om tegen te controleren. Als je niet met een door mensen geschreven regelboek begint, werkt deze specifieke methode niet.

De Conclusie

Dit artikel laat zien dat we AI-annotatie kunnen behandelen als een trainingsprogramma. In plaats van alleen maar te hopen dat de AI het goed doet, kunnen we hem een regelboek geven, hem laten oefenen, hem zijn eigen fouten laten analyseren en hem het regelboek laten herschrijven om het duidelijker te maken.

Het is geen toverstaf die de AI direct perfect maakt, maar het is een bewezen manier om een superslimme robot systematisch af te stemmen op de specifieke, saaie, gedetailleerde regels die mensen nodig hebben dat hij volgt.

Technische Samenvatting: Verfijning en Hergebruik van Annotatiegidsen voor LLM-annotatie

Probleemstelling

Hoewel Large Language Models (LLM's) sterke zero-shot-capaciteiten vertonen bij algemene tekstlabeling, hebben ze vaak moeite om zich te houden aan de gespecialiseerde, gedetailleerde conventies die vereist zijn voor benchmarks van gouden standaard. Bij traditionele corpusannotatie vertrouwen menselijke annotators op gedetailleerde richtlijnen om ambiguïteiten op te lossen, entiteitsgrenzen te definiëren en "grijze zone"-gevallen te behandelen. Het vertalen van deze complexe, domeinspecifieke regels naar effectieve LLM-prompten is echter niet triviaal. Bestaande benaderingen slagen er vaak niet in de nuance vast te leggen die nodig is voor consistente, hoogwaardige annotatie, wat leidt tot stochastische output die niet overeenkomt met de eisen van downstream-toepassingen.

Methodologie

De auteurs stellen een iteratief moderatiekader voor dat de vroege fasen van menselijke annotatieprojecten simuleert om bestaande annotatiegidsen voor LLM's systematisch te verfijnen en opnieuw te gebruiken. Het proces behandelt de LLM als een nieuwe annotator die een trainingsfase ondergaat, waarbij richtlijnen iteratief worden verbeterd op basis van prestatieafwijkingen.

De Iteratieve Moderatielus

Het kader werkt in drie hoofdfasen per iteratie ( $k$ ):

Annotatie: Een LLM-annotator genereert voorspellingen ( $A_k$ ) op een ontwikkelingsset met behulp van de huidige richtlijnen ( $G_k$ ).
Evaluatie: Voorspellingen worden vergeleken met gouden annotaties ( $A_g$ ) met behulp van strikte span- en type-overeenkomst om een F1-score te berekenen (proxy voor Inter-Annotator Overeenstemming). Als de prestatie een drempelwaarde bereikt of niet verbetert, wordt de lus beëindigd.
Moderatie (Verfijning): Als de prestatie ontoereikend is, identificeert een afwijkingsanalyse het dominante foutpatroon. Dit activeert een verfijningsproces in drie stappen:
- Patroonverklaring: Het model analyseert contrastief bewijs tussen foutgevallen en geverifieerde ware positieven om specifieke linguïstische of structurele aanwijzingen te identificeren die de afwijking veroorzaken.
- Principegeneratie: Het model synthetiseert een gegeneraliseerde, actievere regel in een strikt ALS/DAAROM/BEHALVE-formaat, waarbij ervoor wordt gezorgd dat negatieve beperkingen worden opgenomen om overcorrectie te voorkomen.
- Richtlijnverfijning: Het nieuwe principe wordt geïntegreerd in het bestaande richtlijndocument ( $G_{k+1}$ ), waarbij de oorspronkelijke documentstructuur en opmaak worden behouden zonder samenvatting.

Experimentele Opzet

Taken: Biomedische Named Entity Recognition (NER) op drie datasets: NCBI Disease, BC5CDR (Chemical and Disease) en BioRED.
Modellen: Drie LLM-families (GPT, Gemini, DeepSeek), waarbij redenerende versus niet-redenerende varianten worden vergeleken.
Datastrategie: Een "low-resource"-benadering werd aangenomen om een vroege fase van annotatie te simuleren. Richtlijnverfijning werd uitgevoerd op een kleine set van 10 documenten, terwijl de prestatie werd geëvalueerd op een aparte set van 100 documenten.
Baselines: Eenvoudige prompting (S), oorspronkelijke menselijke richtlijnen (G) en de voorgestelde richtlijnverfijning via moderatie (M).

Belangrijkste Bijdragen

Empirische Validatie van Hypothesen: De studie levert bewijs voor drie kernhypothese:
- H1: Het opnemen van expliciete annotatiegidsen verbetert de LLM-annotatieprestatie aanzienlijk in vergelijking met eenvoudige prompting.
- H2: Redenering-geoptimaliseerde modellen presteren consequent beter dan niet-redenerende tegenhangers bij richtlijn-gedreven taken, waarschijnlijk vanwege de behoefte aan zowel deductief (regels toepassen) als inductief (regels afleiden) redeneren.
- H3: Annotatiegidsen kunnen effectief worden verbeterd door een iteratief moderatieproces, zelfs onder minimale supervisie (kleine ontwikkelingssets).
Iteratief Moderatiekader: De introductie van een gestructureerde lus die de verfijning van door mensen geschreven richtlijnen automatiseert, waarbij de effectiviteit wordt aangetoond in het afstemmen van LLM-output op conventies van gouden standaard.
Kwalitatieve Analyse: Een gedetailleerde onderzoeke van het verfijningsproces, die inzichten biedt in hoe specifieke linguïstische afwijkingen (bijvoorbeeld omgaan met contexten van kenmerkenlijsten) worden opgelost en hoe verfijningen kunnen doorgaan naar gerelateerde gevallen of nieuwe vals-positieven kunnen introduceren.

Resultaten

Richtlijnintegratie: Het verstrekken van oorspronkelijke richtlijnen verbeterde de F1-scores aanzienlijk over alle datasets en modellen (bijvoorbeeld GPT-5 op NCBI Disease verbeterde van 0,46 naar 0,73).
Redenerende Modellen: Redenerende varianten behaalden consequent hogere prestaties dan niet-redenerende varianten bij gebruik van richtlijnen (bijvoorbeeld DeepSeek verbeterde van 0,29 naar 0,55 op NCBI).
Effectiviteit van Moderatie: Het iteratieve verfijningsproces leverde verdere, zij het bescheiden, prestatiewinst op (doorgaans +0,01 tot +0,03 in F1). Deze winsten waren consistent over datasets, maar varieerden in statistische significantie afhankelijk van het model (bijvoorbeeld statistisch significant voor Gemini, marginaal voor GPT).
Foutdynamiek: Analyse toonde aan dat moderatie vaak een herbalancering van precisie-recall inhoudt. Hoewel gerichte fouttypen (bijvoorbeeld gemiste DiseaseClass-vermeldingen) werden opgelost, introduceerde het proces af en toe nieuwe vals-positieven, wat aangeeft dat verfijning geen monotoone verbetering is, maar een gerichte correctie.

Betekenis en Claims

Het artikel stelt dat het systematische hergebruik en de verfijning van annotatiegidsen dienen als een levensvatbaar afstemmingsmechanisme voor LLM's. De auteurs betogen dat hun aanpak de kloof overbrugt tussen de interne kennis van een LLM en de specifieke, rigide conventies van benchmarks van gouden standaard.

De betekenis ligt in het aantonen dat hoogwaardige annotatieprincipes kunnen worden afgeleid uit minimale supervisie (10 documenten) via een iteratief, redeneringsgedreven proces. Dit biedt een potentieel alternatief voor grootschalig statistisch leren om LLM's aan te passen aan gespecialiseerde domeinen. De auteurs blijven echter bescheiden over de omvang van de winst, en erkennen dat hoewel het kader potentie toont, er "aanmerkelijke ruimte voor verbetering" is met betrekking tot de robuustheid van de moderatieprocedure en de stabiliteit van resultaten die zijn afgeleid uit kleine steekproefgroottes. Het werk positioneert zich niet als een state-of-the-art prestatieboost, maar als een proof-of-concept voor een rationalistische benadering van richtlijnevolutie in het tijdperk van LLM's.