💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

Diese Arbeit zeigt, dass die Skalierung von In-Context-Learning auf hunderte Beispiele es großen Sprachmodellen ermöglicht, die Leistung von voll überwachtem BERT bei der Erkennung benannter Entitäten zu erreichen oder zu übertreffen, während es gleichzeitig als effektives Datenannotations-Framework dient, das Low-Resource-NER-Modelle signifikant verbessert.

Ursprüngliche Autoren: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter das Lesen beibringen, indem man ihm Beispiele zeigt

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model oder LLM), der zwar lesen kann, dem aber nie speziell beigebracht wurde, wie man Namen von Personen, Orten oder Organisationen in einem Satz findet. Normalerweise muss man, um einem Roboter diese Fähigkeit beizubringen, ein Team von menschlichen Lehrern engagieren, die tausende Beispiele schreiben und perfekt beschriften müssen, und dann Wochen damit verbringen, den Roboter anhand dieser Beispiele zu „trainieren“. Das ist teuer und langsam.

Dieses Paper schlägt einen anderen Weg vor: Zeigen, nicht nur Sagen.

Anstatt das Gehirn des Roboters neu zu trainieren, zeigt man dem Roboter einfach hunderte von Beispielen, kurz bevor er einen neuen Satz liest. Dies wird In-Context Learning (ICL) genannt. Das Paper stellt die Frage: Was passiert, wenn wir dem Roboter nicht nur 5 Beispiele zeigen, sondern 100, 200 oder sogar 500 Beispiele auf einmal?

Die wichtigste Entdeckung: Mehr Beispiele = Schlauere Roboter

Die Forscher fanden einen überraschenden Trend heraus: Je mehr Beispiele sie dem Roboter zeigten, desto besser wurde er.

Der alte Weg (Few-Shot): Dem Roboter 5 Beispiele zu zeigen, war so, als würde man einem Schüler einen schnellen Spickzettel geben. Es half zwar, aber der Schüler machte immer noch Fehler.
Der neue Weg (Many-Shot): Dem Roboten 100+ Beispiele zu zeigen, war so, als würde man dem Schüler ein ganzes Lehrbuchkapitel zum Lernen geben, direkt bevor die Prüfung beginnt. Der Roboter „erriet“ nicht nur besser; er lernte die Muster so gut, dass er genauso gut oder sogar besser performte als Roboter, die wochenlang mit tausenden von Menschen beschrifteten Beispielen trainiert worden waren.

Die Analogie: Denken Sie an den Roboter als einen neuen Mitarbeiter.

Fine-Tuning (Der alte Weg): Sie engagieren einen Trainer, der einen Monat lang dem Mitarbeiter jede einzelne Regel des Jobs beibringt.
Many-Shot ICL (Der neue Weg): Sie setzen den Mitarbeiter hin, überreichen ihm einen Stapel von 100 ausgefüllten Formularen und sagen: „Schau dir an, wie diese erledigt wurden, und fülle dann dieses neue aus.“ Der Mitarbeiter versteht es sofort, ohne dass er ein einmonatiges Training benötigt.

Das Problem: Der Roboter ist langsam und teuer in der Anwendung

Obwohl die „Many-Shot“-Methode großartig funktionierte, um Antworten zu erhalten, hatte sie einen Haken. Jedes Mal, wenn man wollte, dass der Roboter einen neuen Satz liest, musste man ihm diese 100+ Beispiele erneut füttern.

Die Analogie: Es ist, als würde man einen Bibliothekar bitten, ein Buch zu finden. Wenn man dem Bibliothekar jedes Mal, wenn man nach einem Buch fragt, ein 100-seitiges Geschichtsbuch in die Hand drücken muss, dauert das lange und kostet viel Geld. Das kann man nicht in Echtzeit für tausende Dokumente machen.

Die Lösung: Die „Annotations-Fabrik“ (ICA)

Um das Problem der Geschwindigkeit und der Kosten zu lösen, entwickelten die Forscher ein Framework namens In-Context Annotation (ICA).

Anstatt den Roboter dazu zu nutzen, Dokumente in Echtzeit zu lesen, nutzten sie ihn als Offline-Fabrikarbeiter.

Das Setup: Sie gaben dem Roboter einen kleinen „Seed“ (einen Grundstock) von etwa 100 von Menschen beschrifteten Beispielen (der „Seed“ ist wie ein Bauplan).
Die Fabrik: Der Roboter nutzte diese 100 Seeds, um tausende von unbeschrifteten Dokumenten zu lesen und sie selbst zu beschriften.
Die Qualitätskontrolle: Manchmal macht der Roboter Fehler. Die Forscher fügten einen Schritt zur „Qualitätskontrolle“ hinzu, bei dem der Roboter seine eigene Arbeit überprüft, Fehler korrigiert und über die beste Antwort abstimmt (wie ein Komitee von Robotern, die die Arbeit der anderen überprüfen).
Das Ergebnis: Sie verfügten nun über einen riesigen Stapel hochwertiger, beschrifteter Daten.
Die Implementierung: Sie nehmen diese neuen Daten und trainieren einen kleinen, schnellen, günstigen Roboter (wie BERT) darauf.

Die Analogie:

Schritt 1: Sie engagieren einen hochbezahlten, langsamen Experten (das große LLM), um 2.000 Dokumente zu beschriften. Sie geben ihm ein paar Beispiele, um anzufangen.
Schritt 2: Der Experte erledigt die Arbeit, prüft seine eigenen Fehler doppelt und übergibt Ihnen einen perfekten Datensatz.
Schritt 3: Sie entlassen den teuren Experten. Sie nehmen diesen perfekten Datensatz und bringen einem schnellen, günstigen Praktikanten (dem kleinen BERT-Modell) bei, wie man den Job erledigt.
Schritt 4: Wenn Sie nun ein neues Dokument lesen müssen, benutzen Sie den schnellen, günstigen Praktikanten. Es geht blitzschnell und kostet fast nichts.

Wichtigste Erkenntnisse in einfachem Deutsch

Skalierung funktioniert: Je mehr Beispiele man dem großen Roboter zeigt, desto schlauer wird er. Etwa 100 Beispiele sind der „Sweet Spot“, an dem er unglaublich genau wird.
Menschlicher Aufwand ist gering: Man benötigt nur etwa 100 von Menschen beschriftete Beispiele, um das gesamte System zum Laufen zu bringen. Das ist eine winzige Menge an Arbeit im Vergleich zu den tausenden, die normalerweise erforderlich sind.
Besser als die Besten: Der kleine Roboter, der auf den „fabrikgemachten“ Daten trainiert wurde, performte etwa 10 % besser als die derzeit besten Methoden für ressourcenarme Aufgaben.
Verfeinerung ist entscheidend: Die Schritte der „Qualitätskontrolle“ (bei denen der Roboter seine eigenen Fehler korrigiert) waren entscheidend. Insbesondere eine Methode namens „Error-Aware Refinement“ (bei der der Roboter lernt, nach spezifischen Fehlertypen wie „fehlenden Namen“ oder „falschen Namen“ zu suchen) machte den größten Unterschied.

Zusammenfassung

Das Paper zeigt, dass wir nicht Monate damit verbringen müssen, Roboter auf massiven Datensätzen zu trainieren. Stattdessen können wir einen großen, smarten Roboter als temporären Lehrer nutzen. Indem man ihm hunderte von Beispielen zeigt, kann er hochwertige Trainingsdaten für einen kleinen, schnellen Roboter generieren. Dieser kleine Roboter wird dann derjenige sein, den wir tatsächlich in der realen Welt einsetzen, wodurch wir eine hohe Leistung bei sehr geringem menschlichem Aufwand und niedrigen Kosten erzielen.

Technisches Resümee: Skalierung der Leistung und ressourcenarme Annotation durch Many-Shot In-Context Learning für Named Entity Recognition

Problemstellung

Named Entity Recognition (NER) ist eine grundlegende Aufgabe der Informationsextraktion, die traditionell auf voll überwachten Modellen (z. B. feinabgestimmten BERT) basiert, welche große Mengen an menschlich annotierten Daten erfordern. Während Large Language Models (LLMs) über In-Context Learning (ICL) ohne Parameteraktualisierungen eine vielversprechende Alternative bieten, deutet die bisherige Forschung darauf hin, dass LLMs in Standard-Few-Shot-Szenarien oft schlechter abschneiden als überwachte Baselines. Darüber hinaus konzentrierten sich bestehende ICL-Studien für NER primär auf Few-Shot-Szenarien (typischerweise <100 Beispiele), wodurch das Potenzial der Skalierung auf hunderte Demonstrationen („Many-Shot ICL“) weitgehend unerforscht blieb. Zudem ist die Nutzung von LLMs für die Echtzeit-Inferenz oft rechenintensiv und langsam, was ihren praktischen Einsatz in ressourcenbeschränkten Umgebungen einschränkt.

Methodik

1. Many-Shot In-Context Learning (ICL) für NER

Die Autoren formulieren NER als ein bedingtes Generierungsproblem, bei dem das Modell eine XML-ähnliche annotierte Ausgabe generiert (z. B. <entity type="Location">Canada</entity>). Dieses Format markiert explizit Entitätsgrenzen und -typen, was die Sensitivität für Grenzen verbessert.

Skalierungsexperimente: Die Studie evaluiert sieben LLMs (darunter Qwen-2.5, LLaMA-3.1, GPT-4o und DeepSeekV3) über vier Domänen (MIT-Restaurant, MIT-Movie, CoNLL2003, WNUT 2017).
Demonstrationsstrategien: Zwei Strategien zur Auswahl von In-Context-Beispielen werden verglichen:
- Random Sampling: Ein fester Satz von $k$ Beispielen wird für alle Test-Inputs wiederverwendet.
- Retrieval-Based: Top- $k$ ähnliche Beispiele werden für jeden Test-Input dynamisch mittels BM25 abgerufen.
Beobachtung: Die Leistung verbessert sich konsistent, wenn die Anzahl der Demonstrationen von 0 auf 500 steigt, wobei Retrieval-basierte Methoden früher stagnieren (um 100 Beispiele) und Random Sampling stetige Gewinne bis zu 500 Beispielen zeigt.

2. Das In-Context Annotation (ICA) Framework

Um die Inferenzkosten von LLMs zu adressieren, schlagen die Autoren vor, Many-Shot ICL nicht als direkten Inferenz-Engine, sondern als Offline-Datenannotationstool zur Ausbildung effizienter kleiner Modelle (z. B. BERT) zu nutzen.

Workflow:
1. Seed-Daten: Ein kleiner Satz menschlich annotierter Beispiele (z. B. 100) dient als feste In-Context-Demonstrationen.
2. Annotation: Ein LLM annotiert einen großen Korpus unbeschrifteter Daten (z. B. 2.000 Sätze) unter Verwendung dieser Demonstrationen.
3. Verfeinerung: Zur Steigerung der Qualität werden drei Strategien für Proben mit geringer Konfidenz angewendet:
  - Self-Consistency: Mehrere Vorhersagen mit variierenden Demonstrationsreihenfolgen werden mittels Mehrheitsentscheidung aggregiert.
  - Self-Correction: Das LLM wird angewiesen, seine eigene Ausgabe zu überprüfen und zu revidieren.
  - Error-Aware Refinement (EAR): Ein modularer Ansatz, der drei distinkte Prompts verwendet, um spezifische Fehlertypen sequenziell zu korrigieren: Schein-Entitäten (spurious entities), fehlende Entitäten und falsche Entitätstypen.
4. Downstream-Training: Die verfeinerten, hochwertigen annotierten Daten werden verwendet, um ein BERT-basiertes NER-Modell feinzustimmen.
Experimentelles Setup:
- Datensätze: Das ICA-Framework wird auf dem CrossNER-Benchmark (KI, Literatur, Musik, Politik, Wissenschaft) unter Low-Resource-Einstellungen (100–200 menschlich annotierte Seeds) evaluiert.
- Baselines: Vergleiche erfolgen mit traditioneller Datenaugmentation (DAGA, NERDA), LLM-basierter Augmentation (ProgGen) und State-of-the-Art Low-Resource/Cross-Domain NER-Methoden (z. B. DTrans-MPrompt, GLiNER).

Zentrale Ergebnisse

Many-Shot ICL Performance

Skalierungseffekt: Eine Erhöhung der Anzahl der In-Context-Beispiele führt zu monotonen Leistungssteigerungen. Mit etwa 100–500 Beispielen erreichen LLMs eine Leistung, die mit oder sogar über den voll überwachten BERT-Modellen liegt, die auf tausenden Beispielen trainiert wurden.
Effizienz: Random Sampling mit hunderten von Beispielen liefert kompetitive Ergebnisse, die sich der Performance teurerer Retrieval-basierter Methoden annähern, während gleichzeitig weniger Annotationsaufwand erforderlich ist.

ICA Framework Performance

Überlegenheit gegenüber SOTA: Auf dem CrossNER-Benchmark erreicht das ICA-Framework (speziell mit EAR) eine durchschnittliche absolute F1-Verbesserung von etwa 10 Punkten gegenüber bisherigen State-of-the-Art Low-Resource-Ansätzen.
Vergleich zu Direkter ICL: Die Umwandlung von LLM-Vorhersagen in Trainingsdaten für BERT übertrifft die direkte Many-Shot ICL-Inferenz (ICL-MS) um über 5 F1-Punkte, was den Wert der Destillation von LLM-Wissen in effiziente Modelle demonstriert.
Auswirkung der Verfeinerung: Die Error-Aware Refinement (EAR)-Strategie übertrifft konsistent andere Varianten und fügt im Vergleich zum Standard-ICA durchschnittlich 1,79 F1-Punkte hinzu, indem sie spezifische Annotationsfehler explizit adressiert.
Dateneffizienz: Die Methode erreicht eine hohe Performance unter Verwendung von nur ~100 menschlich annotierten Seed-Beispielen zur Generierung von ~2.000 annotierten Samples, was die Kosten für die menschliche Annotation signifikant reduziert.

Analyse der Anforderungen

Annotationsmaßstab: Die Leistung sättigt nach der Annotation von etwa 1.500–2.500 Sätzen; zusätzliche Daten führen zu abnehmenden Grenzerträgen.
Seed-Größe: Etwa 75–100 menschlich annotierte Beispiele sind ausreichend, um eine effektive ICA zu steuern; eine Erhöhung darüber hinaus bringt nur noch marginale Gewinne.
Modellwahl: Größere Modelle (z. B. GPT-4o, Qwen-72B) erzeugen hochwertigere Annotationen als kleinere Modelle (z. B. Qwen-7B), wobei hochskalierte Open-Source-Modelle konkurrenzfähig sein können.

Bedeutung und Beiträge

Das Paper leistet vier primäre Beiträge:

Empirische Studie: Es liefert die erste systematische Untersuchung von Many-Shot ICL für NER und zeigt konsistente Leistungssteigerungen mit zunehmender Demonstrationanzahl über mehrere Datensätze und Modelle hinweg auf.
Framework-Vorschlag: Es führt das In-Context Annotation (ICA) Framework ein, welches eine moderate Anzahl menschlicher Labels nutzt, um hochwertige Trainingsdaten für effiziente Downstream-Modelle zu generieren, wodurch die Kosten der LLM-Inferenz von der Bereitstellung entkoppelt werden.
Experimentelle Validierung: Experimente zeigen, dass ICA bestehende SOTA Low-Resource NER-Methoden (um ~10 F1-Punkte) und traditionelle Datenaugmentationstechniken signifikant übertrifft.
Skalierbarkeitsanalyse: Die Studie bietet praktische Einblicke in die Trade-offs zwischen Seed-Daten-Größe, Annotationsvolumen und Modellauswahl und etabliert, dass Many-Shot ICL ein praktikabler, kosteneffizienter Paradigma für den Aufbau von NER-Datensätzen in ressourcenbeschränkten Domänen ist.

Die Autoren kommen zu dem Schluss, dass trotz bestehender Limitationen hinsichtlich der Notwendigkeit von Seed-Labels und des Rechenaufwands während der Annotationsphase das ICA-Framework eine praktische Lösung zur Reduzierung der Annotationskosten und zur Verbesserung der Dateneffizienz in NER-Aufgaben darstellt.