💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

Dit artikel toont aan dat het opschalen van in-context learning naar honderden voorbeelden het mogelijk maakt voor grote taalmodellen om de volledig gesuperviseerde BERT-prestaties bij Named Entity Recognition te evenaren of te overtreffen, terwijl het ook dient als een effectief raamwerk voor data-annotatie dat modellen voor low-resource NER aanzienlijk verbetert.

Oorspronkelijke auteurs: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren Lezen door Voorbeelden te Tonen

Stel je voor dat je een zeer slimme robot hebt (een Large Language Model, of LLM) die weet hoe hij moet lezen, maar nooit specifiek is geleerd hoe hij namen van mensen, plaatsen of organisaties in een zin moet vinden. Normaal gesproken moet je, om een robot deze vaardigheid aan te leren, een team van menselijke docenten inhuren om duizenden voorbeelden te schrijven, ze perfect te labelen, en dan wekenlang de robot te "trainen" op die voorbeelden. Dit is duur en traag.

Dit paper stelt een andere manier voor: Tonen, niet alleen Vertellen.

In plaats van het brein van de robot te hertrainen, laat de onderzoeker de robot simpelweg honderden voorbeelden zien vlak voordat hij een nieuwe zin leest. Dit wordt In-Context Learning (ICL) genoemd. Het paper vraagt: Wat gebeurt er als we de robot niet slechts 5 voorbeelden laten zien, maar 100, 200 of zelfs 500 voorbeelden tegelijkertijd?

De Belangrijkste Ontdekking: Meer Voorbeelden = Slimere Robot

De onderzoekers ontdekten een verrassende trend: Hoe meer voorbeelden ze de robot lieten zien, hoe beter hij werd.

De Oude Manier (Few-Shot): Het tonen van 5 voorbeelden aan de robot was als het geven van een snelle spiekbrief aan een student. Het hielp, maar de student maakte nog steeds fouten.
De Nieuwe Manier (Many-Shot): Het tonen van 100+ voorbeelden was als het geven van een heel hoofdstuk uit een tekstboek aan de student om te bestuderen vlak voor het examen. De robot "gokte" niet alleen beter; hij leerde de patronen zo goed dat hij even goed, of zelfs beter, presteerde dan robots die wekenlang waren getraind op duizenden door mensen gelabelde voorbeelden.

De Analogie: Denk aan de robot als een nieuwe werknemer.

Fine-Tuning (De Oude Manier): Je huurt een trainer in die een maand lang de werknemer elke regel van het werk leert.
Many-Shot ICL (De Nieuwe Manier): Je gaat bij de werknemer zitten, overhandigt een stapel van 100 ingevulde formulieren en zegt: "Kijk hoe deze zijn gedaan, en vul dan deze nieuwe in." De werknemer begrijpt het direct zonder dat er een maand training nodig is.

Het Probleem: De Robot is Traag en Duur in Gebruik

Hoewel de "Many-Shot"-methode geweldig werkte voor het krijgen van antwoorden, zat er een addertje onder het gras. Elke keer dat je de robot een nieuwe zin wilde laten lezen, moest je die 100+ voorbeelden opnieuw aan hem voeren.

De Analogie: Het is alsof je een bibliothecaris vraagt om een boek te vinden. Als je de bibliothecaris elke keer als je om een boek vraagt, een 100 pagina's tellend geschiedenisboek moet overhandigen, duurt het lang en kost het veel geld. Je kunt dit niet in realtime doen voor duizenden documenten.

De Oplossing: De "Annotatie Fabriek" (ICA)

Om het snelheid- en kostenprobleem op te lossen, bouwden de onderzoekers een framework genaamd In-Context Annotation (ICA).

In plaats van de robot te gebruiken om documenten in realtime te lezen, gebruikten ze hem als een offline fabrieksmedewerker.

De Opzet: Ze gaven de robot een kleine "seed" van ongeveer 100 door mensen gelabelde voorbeelden (de "seed" is als een blauwdruk).
De Fabriek: De robot gebruikte die 100 seeds om door duizenden ongelabelde documenten te lezen en ze vervolgens zelf te labelen.
De Kwaliteitscontrole: Soms maakt de robot fouten. De onderzoekers voegden een "Kwaliteitscontrole"-stap toe waarbij de robot zijn eigen werk controleert, fouten herstelt en stemt op het beste antwoord (als een commissie van robots die elkaars werk beoordeelt).
Het Resultaat: Ze hebben nu een enorme stapel hoogwaardige, gelabelde data.
De Implementatie: Ze nemen deze nieuwe data en trainen een kleine, snelle, goedkope robot (zoals BERT) op deze data.

De Analogie:

Stap 1: Je huurt een zeer goed betaalde, trage expert (de grote LLM) in om 2.000 documenten te labelen. Je geeft hem een paar voorbeelden om mee te beginnen.
Stap 2: De expert doet het werk, controleert zijn eigen fouten dubbel en over en overhandigt je een perfecte dataset.
Stap 3: Je ontslaat de dure expert. Je neemt die perfecte dataset en leert een snelle, goedkope stagiair (het kleine BERT-model) hoe hij het werk moet doen.
Stap 4: Nu, wanneer je een nieuw document moet lezen, gebruik je de snelle, goedkope stagiair. Het gaat direct en kost bijna niets.

Belangrijkste Bevindingen in Gewone Mensentaal

Schalen Werkt: Hoe meer voorbeelden je de grote robot laat zien, hoe slimmer hij wordt. Rond de 100 voorbeelden ligt het "sweet spot" waar hij ongelooflijk nauwkeurig wordt.
Menselijke Inspanning is Laag: Je hebt slechts ongeveer 100 door mensen gelabelde voorbeelden nodig om het hele systeem werkend te krijgen. Dit is een piepkleine hoeveelheid werk vergeleken met de duizenden die gewoonlijk vereist zijn.
Beter dan de Beste: De kleine robot die getraind is op de "fabriek-gemaakte" data presteerde ongeveer 10% beter dan de huidige beste methoden voor taken met weinig middelen (low-resource tasks).
Verfijning is Cruciaal: De "Kwaliteitscontrole"-stappen (waarbij de robot zijn eigen fouten corrigeert) waren essentieel. Specifiek een methode genaamd "Error-Aware Refinement" (waarbij de robot wordt geleerd om te zoeken naar specifieke soorten fouten zoals "ontbrekende namen" of "verkeerde namen") maakte het grootste verschil.

Samenvatting

Het paper laat zien dat we niet maandenlang robots hoeven te trainen op enorme datasets. In plaats daarvan kunnen we een grote, slimme robot gebruiken als een tijdelijke leraar. Door hem honderden voorbeelden te tonen, kan hij hoogwaardige trainingsdata genereren voor een kleine, snelle robot. Deze kleine robot wordt vervolgens degene die we daadwerkelijk in de echte wereld gebruiken, waardoor we een hoge prestatie leveren met zeer weinig menselijke inspanning en lage kosten.

Technische Samenvatting: Schalen van Prestaties en Laag-Resource Annotatie met Many-Shot In-Context Learning voor Named Entity Recognition

Probleemstelling

Named Entity Recognition (NER) is een fundamentele informatie-extractie taak die traditioneel afhankelijk is van volledig gesuperviseerde modellen (bijv. gefinetunede BERT) die grote hoeveelheden menselijk gelabelde data vereisen. Hoewel Large Language Models (LLM's) een veelbelovend alternatief bieden via In-Context Learning (ICL) zonder parameter-updates, wijst eerder onderzoek uit dat LLM's in standaard few-shot settings vaak onderpresteren vergeleken met gesuperviseerde baselines. Bovendien hebben bestaande ICL-studies voor NER zich primair gericht op few-shot scenario's (doorgaans <100 voorbeelden), waardoor het potentieel om te schalen naar honderden demonstraties ("many-shot ICL") grotendeels onverkend is gebleven. Daarnaast is het gebruik van LLM's voor real-time inferentie vaak computationeel duur en traag, wat praktische implementatie in omgevingen met beperkte middelen beperkt.

Methodologie

1. Many-Shot In-Context Learning (ICL) voor NER

De auteurs formuleren NER als een conditioneel generatieprobleem waarbij het model een XML-stijl geannoteerde output genereert (bijv. <entity type="Location">Canada</entity>). Dit formaat markeert expliciet de grenzen en types van entiteiten, wat de gevoeligheid voor grensbepaling verbetert.

Scaling Experimenten: De studie evalueert zeven LLM's (waaronder Qwen-2.5, LLaMA-3.1, GPT-4o en DeepSeekV3) over vier domeinen (MIT-Restaurant, MIT-Movie, CoNLL2003, WNUT 2017).
Demonstratie Strategieën: Twee strategieën voor het selecteren van in-context voorbeelden worden vergeleken:
- Random Sampling: Een vaste set van $k$ voorbeelden wordt hergebruikt voor alle testinputs.
- Retrieval-Based: Top- $k$ vergelijkbare voorbeelden worden dynamisch opgehaald voor elke testinput met behulp van BM25.
Observatie: De prestaties verbeteren consistent naarmate het aantal demonstraties toeneemt van 0 naar 500, waarbij retrieval-gebaseerde methoden eerder een plateau bereiken (rond de 100 voorbeelden) en random sampling gestage winst laat zien tot 500 voorbeelden.

2. Het In-Context Annotation (ICA) Framework

Om de inferentiekosten van LLM's aan te pakken, stellen de auteurs voor om many-shot ICL niet te gebruiken als een directe inferentie-engine, maar als een offline data-annotatietool om efficiënte kleine modellen (bijv. BERT) te trainen.

Workflow:
1. Seed Data: Een kleine set menselijk gelabelde voorbeelden (bijv. 100) wordt gebruikt als vaste in-context demonstraties.
2. Annotatie: Een LLM annoteert een grote corpus van ongelabelde data (bijv. 2.000 zinnen) met behulp van deze demonstraties.
3. Verfijning: Om de kwaliteit te verbeteren, worden drie strategieën toegepast op samples met een lage betrouwbaarheid:
  - Self-Consistency: Meerdere voorspellingen met variërende volgordes van demonstraties worden geaggregeerd via majority voting.
  - Self-Correction: De LLM wordt geprompt om zijn eigen output te beoordelen en te herzien.
  - Error-Aware Refinement (EAR): Een modulaire aanpak die drie verschillende prompts gebruikt om sequentieel specifieke fouttypen te corrigeren: spookentiteiten (spurious entities), ontbrekende entiteiten en onjuiste entiteitstypes.
4. Downstream Training: De verfijnde, hoogwaardige gelabelde data wordt gebruikt om een BERT-gebaseerd NER-model te finetunen.

3. Experimentele Opstelling

Datasets: Het ICA-framework wordt geëvalueerd op de CrossNER benchmark (AI, Literatuur, Muziek, Politiek, Wetenschap) onder low-resource settings (100–200 menselijk gelabelde seeds).
Baselines: Vergelijkingen omvatten traditionele data-augmentatie (DAGA, NERDA), LLM-gebaseerde augmentatie (ProgGen) en state-of-the-art low-resource/cross-domain NER methoden (bijv. DTrans-MPrompt, GLiNER).

Belangrijkste Resultaten

Many-Shot ICL Prestaties

Scaling Effect: Het verhogen van het aantal in-context voorbeelden leidt tot monotone prestatiewinsten. Met ongeveer 100–500 voorbeelden bereiken LLM's prestaties die vergelijkbaar zijn met of de volledig gesuperviseerde BERT-modellen overtreffen die getraind zijn op duizenden voorbeelden.
Efficiëntie: Random sampling met honderden voorbeelden levert competitieve resultaten op, die de prestaties van duurdere retrieval-gebaseerde methoden benaderen, terwijl het minder annotatie-inspanning vereist.

ICA Framework Prestaties

Superioriteit over SOTA: Op de CrossNER benchmark bereikt het ICA-framework (specifiek met EAR) een gemiddelde absolute F1-verbetering van ongeveer 10 punten ten opzien van eerdere state-of-the-art low-resource benaderingen.
Vergelijking met Directe ICL: Het omzetten van LLM-voorspellingen naar trainingsdata voor BERT presteert meer dan 5 F1-punten beter dan directe many-shot ICL-inferentie (ICL-MS), wat de waarde bewijst van het distilleren van LLM-kennis naar efficiënte modellen.
Impact van Verfijning: De Error-Aware Refinement (EAR) strategie presteert consequent beter dan andere varianten, waarbij gemiddeld 1,79 F1-punten wordt toegevoegd aan de standaard ICA door expliciet veelvoorkomende annotatiefouten aan te pakken.
Data Efficiëntie: De methode bereikt een hoge prestatie met slechts ~100 menselijk gelabelde seed-voorbeelden om ~2.000 geannoteerde samples te genereren, wat de menselijke annotatiekosten aanzienlijk vermindert.

Analyse van Vereisten

Annotatie Schaal: Prestaties verzadigen na het annoteren van ongeveer 1.500–2.500 zinnen; extra data levert afnemende meeropbrengsten op.
Seed Grootte: Ongeveer 75–100 menselijk gelabelde voorbeelden zijn voldoende om effectieve ICA te sturen; het verhogen daarboven levert marginale winst op.
Model Keuze: Grotere modellen (bijv. GPT-4o, Qwen-72B) produceren kwalitatief betere annotaties dan kleinere modellen (bijv. Qwen-7B), hoewel opgeschaalde open-source modellen competitief kunnen zijn.

Betekenis en Bijdragen

Het artikel levert vier primaire bijdragen:

Empirische Studie: Het biedt de eerste systematische onderzoek naar many-shot ICL voor NER, waarbij consistente prestatiewinsten worden aangetoond naarmate het aantal demonstraties toeneemt over meerdere datasets en modellen.
Framework Voorstel: Het introduceert het In-Context Annotation (ICA) framework, dat een bescheiden aantal menselijke labels gebruikt om hoogwaardige trainingsdata voor efficiënte downstream-modellen te genereren, waardoor de kosten van LLM-inferentie worden losgekoppeld van de deployment.
Experimentele Validatie: Experimenten tonen aan dat ICA de huidige SOTA low-resource NER methoden aanzienlijk overtreft (met ~10 F1-punten) en traditionele data-augmentatie technieken.
Schaalbaarheid Analyse: De studie biedt praktische inzichten in de trade-offs tussen de grootte van de seed-data, het volume van de annotatie en de modelkeuze, waarmee wordt vastgesteld dat many-shot ICL een levensvatbaar, kosteneffectief paradigma is voor het bouwen van NER-datasets in domeinen met beperkte middelen.

De auteurs concluderen dat, hoewel er beperkingen zijn met betrekking tot de noodzaak van seed-labels en de computationele overhead tijdens de annotatiefase, het ICA-framework een praktische oplossing biedt voor het verminderen van annotatiekosten en het verbeteren van de data-efficiëntie in NER-taken.