💬 NLP

Refining and Reusing Annotation Guidelines for LLM Annotation

Dieser Beitrag schlägt einen iterativen Moderationsrahmen vor und validiert diesen empirisch, der Annotationsrichtlinien systematisch verfeinert und wiederverwendet, um Large Language Models mit Goldstandard-Benchmarks über Aufgaben zur Erkennung biomedizinischer benannter Entitäten in Einklang zu bringen, und bestätigt dabei die Wirksamkeit der Integration von Richtlinien, von auf Schlussfolgerungen optimierten Modellen sowie einer Moderation unter minimaler Aufsicht.

Ursprüngliche Autoren: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, superschnellen Roboter-Assistenten beizubringen, medizinische Texte zu lesen und spezifische Krankheiten hervorzuheben. Der Roboter ist unglaublich intelligent; er weiß, was ein „Herzinfarkt" oder „Diabetes" ist. Wenn Sie ihn jedoch bitten, eine bestimmte Aufgabe zu erledigen, macht er oft winzige Fehler, weil er die exakten, strengen Regeln nicht kennt, die Ihr Team verwendet.

In der Welt menschlicher Annotatoren (Personen, die Daten kennzeichnen) lösen wir dies, indem wir ein Regelwerk (eine Annotationsrichtlinie) verfassen. Wenn ein Mensch einen Fehler macht, überprüft ein Vorgesetzter seine Arbeit, weist auf den Fehler hin und aktualisiert das Regelwerk, damit alle daraus lernen.

Diese Arbeit fragt: Können wir dasselbe mit KI tun? Können wir ein bestehendes Regelwerk nehmen, die KI versuchen lassen, es zu befolgen, ihre Fehler finden und dann die KI selbst nutzen, um das Regelwerk klarer zu formulieren?

Hier ist, wie die Autoren dies getestet haben, erklärt durch eine einfache Analogie.

Das Setup: Der „Roboter-Praktikant" und das „Regelwerk"

Die Forscher behandelten das Large Language Model (LLM) wie einen neuen Roboter-Praktikanten.

Die Aufgabe: Der Praktikant muss medizinische Abstracts lesen und Krankheitsnamen hervorheben.
Das Problem: Wenn Sie nur sagen „Finden Sie die Krankheiten", rät der Praktikant. Er könnte ein Symptom statt einer Krankheit hervorheben oder eine Krankheit übersehen, die in einer Liste versteckt ist.
Die Lösung: Sie geben dem Praktikanten ein Regelwerk (die Annotationsrichtlinien).

Die drei großen Fragen (Hypothesen)

Das Team wollte drei Dinge beweisen:

Hilft das Regelwerk? (Hypothese 1)
- Analogie: Macht es den Praktikanten besser, wenn man ihm ein Handbuch gibt, als wenn er nur rät?
- Ergebnis: Ja. Der Roboter wurde deutlich besser, als er die spezifischen Regeln hatte, die er befolgen musste.
Funktionieren „denkende" Roboter besser? (Hypothese 2)
- Analogie: Manche Roboter spucken einfach schnell Antworten aus (Nicht-Reasoning). Andere pausieren, denken schrittweise nach und analysieren die Logik (Reasoning). Welcher befolgt das komplexe Regelwerk besser?
- Ergebnis: Ja. Die „denkenden" Roboter waren deutlich besser darin, die Nuancen der Regeln zu verstehen.
Kann der Roboter sein eigenes Handbuch reparieren? (Hypothese 3)
- Analogie: Stellen Sie sich vor, der Praktikant macht einen Fehler. Anstatt dass ein menschlicher Chef das Handbuch korrigiert, betrachtet der Praktikant den Fehler, findet heraus, warum er passiert ist, und schreibt eine neue, klarere Regel, um ihn beim nächsten Mal zu verhindern.
- Ergebnis: Ja. Der Roboter konnte die Regeln erfolgreich verfeinern, wobei die Verbesserungen zwar klein, aber konsistent waren.

Der Prozess: Die „Selbstkorrigierende Schleife"

Die Autoren bauten ein System, das wie eine Probeschleife vor der eigentlichen Arbeit fungiert. So funktioniert es:

Der Probelauf: Der Roboter-Praktikant liest einen kleinen Satz von 10 medizinischen Dokumenten unter Verwendung des aktuellen Regelwerks.
Die Benotung: Das System vergleicht die Hervorhebungen des Roboters mit dem „Goldstandard" (den perfekten menschlichen Antworten).
Die Detektivarbeit: Wenn der Roboter etwas übersehen hat oder das Falsche hervorgehoben hat, gruppiert das System diese Fehler.
- Beispiel: „Oh, der Roboter übersehen ständig Krankheiten, die in einer 'mit/von'-Satzstruktur aufgelistet sind."
Die Neufassung (Moderation): Der Roboter fungiert als Vorgesetzter. Er betrachtet den Fehler, erklärt, warum er passiert ist, und schreibt eine neue Regel, um ihn zu beheben.
- Neue Regel: „Wenn eine Krankheit in einer 'mit'- oder 'von'-Phrase aufgelistet ist, ignorieren Sie sie nicht! Heben Sie sie hervor."
Wiederholung: Der Roboter liest die 10 Dokumente erneut mit dem neuen Regelwerk. Wenn es besser wird, großartig. Wenn nicht, stoppt es.

Die Ergebnisse: Was ist tatsächlich passiert?

Das Regelwerk ist wichtig: Ohne die Regeln war der Roboter okay, aber nicht großartig. Mit den Regeln wurde er sehr gut.
Nachdenken hilft: Die „denkenden" Modelle (wie die, die zum Nachdenken pausieren) befolgten die Regeln viel besser als die schnellen, automatischen.
Die „Selbstkorrektur" ist real, aber klein: Der Prozess, bei dem der Roboter sein eigenes Handbuch umschreibt, funktionierte. Es wurden spezifische Fehler behoben (wie das Übersehen von Krankheiten in Listen). Die Verbesserung war jedoch kein riesiger Sprung; es war ein kleiner, stetiger Schub in die richtige Richtung (etwa 1–3 % besser).

Der Haken (Einschränkungen)

Die Autoren waren vorsichtig genug, um auf einige Dinge hinzuweisen:

Die Stichprobengröße: Sie verwendeten nur 10 Dokumente, um dem Roboter beizubringen, wie er die Regeln umschreibt. Das ist, als würde man versuchen, eine ganze Sprache zu lernen, indem man nur 10 Sätze studiert. Es funktioniert für einen schnellen Test, könnte aber größere Muster übersehen, die erst in 1.000 Dokumenten sichtbar werden.
Kosten vs. Geschwindigkeit: Manche Roboter (wie die „denkenden") sind teuer und langsam. Andere sind billig und schnell, machen aber mehr Fehler. Es gibt einen Kompromiss.
Die „Gold"-Anforderung: Dieses gesamte System benötigt einen perfekten „Goldstandard"-Antwortenschlüssel zum Abgleich. Wenn Sie kein menschlich geschriebenes Regelwerk haben, um zu beginnen, funktioniert diese spezifische Methode nicht.

Das Fazit

Diese Arbeit zeigt, dass wir KI-Annotation wie ein Trainingsprogramm behandeln können. Anstatt nur zu hoffen, dass die KI es richtig macht, können wir ihr ein Regelwerk geben, sie üben lassen, ihre eigenen Fehler analysieren lassen und sie das Regelwerk klarer umschreiben lassen.

Es ist kein Zauberstab, der die KI sofort perfekt macht, aber es ist eine bewährte Methode, einen superschlaun Roboter systematisch mit den spezifischen, langweiligen, detaillierten Regeln in Einklang zu bringen, die Menschen benötigen, damit er sie befolgt.

Technische Zusammenfassung: Verfeinerung und Wiederverwendung von Annotationsrichtlinien für LLM-Annotation

Problemstellung

Während Large Language Models (LLMs) starke Zero-Shot-Fähigkeiten bei der allgemeinen Textkennzeichnung demonstrieren, haben sie häufig Schwierigkeiten, sich an die spezialisierten, granular konzipierten Konventionen zu halten, die für Goldstandard-Benchmarks erforderlich sind. Bei der traditionellen Korpusannotation verlassen sich menschliche Annotatoren auf detaillierte Richtlinien, um Mehrdeutigkeiten aufzulösen, Entitätsgrenzen zu definieren und „Grauzonen"-Fälle zu behandeln. Die Übertragung dieser komplexen, domänenspezifischen Regeln in effektive LLM-Prompts ist jedoch nicht trivial. Bestehende Ansätze erfassen oft nicht die Nuancen, die für eine konsistente, hochwertige Annotation erforderlich sind, was zu stochastischen Ausgaben führt, die nicht mit den Anforderungen nachgelagerter Anwendungen übereinstimmen.

Methodik

Die Autoren schlagen einen iterativen Moderationsrahmen vor, der die frühen Phasen menschlicher Annotationsprojekte simuliert, um bestehende Annotationsrichtlinien für LLMs systematisch zu verfeinern und wiederzuverwenden. Der Prozess behandelt das LLM als neuen Annotator, der eine Trainingsphase durchläuft, wobei die Richtlinien basierend auf Leistungsabweichungen iterativ verbessert werden.

Die iterative Moderationsschleife

Der Rahmenwerk arbeitet pro Iteration ( $k$ ) in drei Hauptphasen:

Annotation: Ein LLM-Annotator generiert Vorhersagen ( $A_k$ ) auf einem Entwicklungssatz unter Verwendung der aktuellen Richtlinien ( $G_k$ ).
Evaluation: Vorhersagen werden unter strikter Spannen- und Typen-Übereinstimmung mit Gold-Annotationen ( $A_g$ ) verglichen, um einen F1-Score zu berechnen (Proxy für Inter-Annotator-Übereinstimmung). Wenn die Leistung einen Schwellenwert erreicht oder keine Verbesserung zeigt, wird die Schleife beendet.
Moderation (Verfeinerung): Wenn die Leistung unzureichend ist, identifiziert eine Diskrepanzanalyse das dominierende Fehlermuster. Dies löst einen dreistufigen Verfeinerungsprozess aus:
- Mustererklärung: Das Modell analysiert kontrastive Evidenz zwischen Fehlerfällen und verifizierten wahren Positivfällen, um spezifische linguistische oder strukturelle Hinweise zu identifizieren, die die Diskrepanz verursachen.
- Prinzipgenerierung: Das Modell synthetisiert eine generalisierte, handlungsanleitende Regel in einem strikten WENN/DANN/AUSNAHME-Format, wobei sichergestellt wird, dass negative Einschränkungen enthalten sind, um Überkorrekturen zu verhindern.
- Richtlinienverfeinerung: Das neue Prinzip wird in das bestehende Richtlinien-Dokument ( $G_{k+1}$ ) integriert, wobei die ursprüngliche Dokumentenstruktur und Formatierung ohne Zusammenfassung beibehalten werden.

Experimentelles Setup

Aufgaben: Biomedizinische Named Entity Recognition (NER) auf drei Datensätzen: NCBI Disease, BC5CDR (Chemikalien und Krankheiten) und BioRED.
Modelle: Drei LLM-Familien (GPT, Gemini, DeepSeek), wobei nicht-schlussfolgernde gegen schlussfolgernde Varianten verglichen werden.
Datenstrategie: Ein „Low-Resource"-Ansatz wurde gewählt, um die frühe Phase der Annotation zu simulieren. Die Richtlinienverfeinerung wurde an einem kleinen Satz von 10 Dokumenten durchgeführt, während die Leistung an einem separaten Satz von 100 Dokumenten evaluiert wurde.
Basislinien: Einfaches Prompting (S), ursprüngliche menschliche Richtlinien (G) und die vorgeschlagene Richtlinienverfeinerung durch Moderation (M).

Hauptbeiträge

Empirische Validierung von Hypothesen: Die Studie liefert Belege für drei Kernhypothesen:
- H1: Die Einbeziehung expliziter Annotationsrichtlinien verbessert die LLM-Annotationsleistung im Vergleich zum einfachen Prompting erheblich.
- H2: Schlussfolgerungs-optimierte Modelle übertreffen nicht-schlussfolgernde Gegenstücke bei richtlinienbasierten Aufgaben konsistent, wahrscheinlich aufgrund der Notwendigkeit sowohl deduktiven (Anwenden von Regeln) als auch induktiven (Ableiten von Regeln) Schlussfolgern.
- H3: Annotationsrichtlinien können durch einen iterativen Moderationsprozess auch unter minimaler Aufsicht (kleine Entwicklungssätze) effektiv verbessert werden.
Iterativer Moderationsrahmen: Die Einführung einer strukturierten Schleife, die die Verfeinerung menschlich verfasster Richtlinien automatisiert und ihre Wirksamkeit beim Abstimmen von LLM-Ausgaben auf Goldstandard-Konventionen demonstriert.
Qualitative Analyse: Eine detaillierte Untersuchung des Verfeinerungsprozesses, die Einblicke bietet, wie spezifische linguistische Diskrepanzen (z. B. der Umgang mit Kontexten von Merkmalslisten) gelöst werden und wie Verfeinerungen auf verwandte Fälle übergreifen oder neue falsch-positive Ergebnisse einführen können.

Ergebnisse

Richtlinienintegration: Die Bereitstellung ursprünglicher Richtlinien verbesserte die F1-Scores über alle Datensätze und Modelle hinweg erheblich (z. B. verbesserte sich GPT-5 auf NCBI Disease von 0,46 auf 0,73).
Schlussfolgerungsmodelle: Schlussfolgernde Varianten erreichten bei Verwendung von Richtlinien konsistent höhere Leistungen als nicht-schlussfolgernde Varianten (z. B. verbesserte sich DeepSeek auf NCBI von 0,29 auf 0,55).
Wirksamkeit der Moderation: Der iterative Verfeinerungsprozess erzielte weitere, wenn auch bescheidene, Leistungssteigerungen (typischerweise +0,01 bis +0,03 im F1-Score). Diese Steigerungen waren über die Datensätze hinweg konsistent, variierten jedoch in ihrer statistischen Signifikanz je nach Modell (z. B. statistisch signifikant für Gemini, grenzwertig für GPT).
Fehldynamik: Die Analyse ergab, dass die Moderation oft eine Neuabwägung von Präzision und Recall beinhaltet. Während gezielte Fehlertypen (z. B. übersehene DiseaseClass-Erwähnungen) behoben wurden, führte der Prozess gelegentlich zu neuen falsch-positiven Ergebnissen, was darauf hindeutet, dass Verfeinerung keine monotone Verbesserung, sondern eine gezielte Korrektur ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die systematische Wiederverwendung und Verfeinerung von Annotationsrichtlinien als ein tragfähiger Abgleichmechanismus für LLMs dient. Die Autoren argumentieren, dass ihr Ansatz die Lücke zwischen dem internen Wissen eines LLM und den spezifischen, starren Konventionen von Goldstandard-Benchmarks schließt.

Die Bedeutung liegt darin, zu demonstrieren, dass hochrangige Annotationsprinzipien durch einen iterativen, schlussfolgerungsgetriebenen Prozess aus minimaler Aufsicht (10 Dokumenten) abgeleitet werden können. Dies bietet eine potenzielle Alternative zum groß angelegten statistischen Lernen für die Anpassung von LLMs an spezialisierte Domänen. Allerdings bleiben die Autoren bezüglich des Ausmaßes der Gewinne bescheiden und erkennen an, dass, obwohl der Rahmenwerk Potenzial zeigt, „erheblicher Verbesserungsbedarf" hinsichtlich der Robustheit des Moderationsverfahrens und der Stabilität der Ergebnisse besteht, die aus kleinen Stichprobengrößen abgeleitet werden. Die Arbeit positioniert sich nicht als Leistungssteigerer auf dem Stand der Technik, sondern als Proof-of-Concept für einen rationalistischen Ansatz zur Evolution von Richtlinien im Zeitalter der LLMs.