CodeNER: Code Prompting for Named Entity Recognition

Probleemstelling

Naam-entiteitherkenning (NER) is een fundamentele taak in de natuurlijke taalverwerking (NLP) waarbij entiteiten zoals personen, locaties en organisaties in tekst worden geïdentificeerd en geclassificeerd. Traditioneel wordt NER behandeld als een sequentiële labelingsprobleem (bijv. met het BIO-schema: Begin, In, Outside), waarbij elk token in een zin een label krijgt.

Hoewel Large Language Models (LLMs) zoals ChatGPT indrukwekkende prestaties leveren in zero-shot en few-shot scenario's, ondervinden ze beperkingen bij NER-taken wanneer ze puur op tekstuele prompts (natuurlijke taal) worden aangestuurd. De kern van het probleem ligt in de mismatch tussen:

1. De invoer-uitvoer-schema van LLMs: Deze modellen zijn getraind op "tekst-in, tekst-uit" (generatie van vrije tekst).
2. De aard van de NER-taak: Dit vereist een "tekst-in, span-uit" benadering met een strikte sequentiële structuur (elk token moet precies één label krijgen).

Bestaande tekstuele prompts missen vaak de noodzakelijke expliciete instructies om deze sequentiële logica te volgen, wat leidt tot fouten zoals het missen van entiteitsgrenzen, dubbele labels voor dezelfde woorden, of het niet herkennen van speciale tekens en lange URL's als één eenheid.

Methodologie: CodeNER

De auteurs stellen CodeNER voor, een innovatieve methode die gebruikmaakt van code-based prompting. In plaats van instructies in natuurlijke taal te geven, worden de prompts geschreven in een programmeertaal (voornamelijk Python, maar ook C++ en Java zijn getest).

Kernprincipes van CodeNER:

• Structuur door Code: De prompt bevat een compleet, gestructureerd Python-script. Dit script definieert variabelen voor de inputtekst (sentence) en de label-definities (ner_tag_labels).
• Expliciete Sequentiële Logica: Het script bevat een for-lus die het LLM dwingt om de tekst token-voor-token te verwerken. Hierdoor wordt het BIO-schema (Begin, Inside, Outside) expliciet in de uitvoering ingebouwd.
• Dynamische Definities: Het script vraagt het model om een woordenboek (ner_word_dictionary) dynamisch te definiëren op basis van de context, wat helpt bij het begrijpen van specifieke entiteitstypes.
• Uitvoer: Het script eindigt met een print-statement dat de geannoteerde entiteiten in een gestructureerde lijst teruggeeft.

Door de prompt te embedden in code, benut CodeNER de inherente vaardigheid van LLM's om programmeertaalstructuren te begrijpen en lange reeksen instructies nauwkeurig te volgen. Dit overbrugt de kloof tussen de generatieve aard van LLM's en de strikte sequentiële eisen van NER.

Belangrijkste Bijdragen

1. Nieuwe Prompting-Paradigma: De introductie van CodeNER, die code gebruikt om de BIO-schema-instructies en input-context te integreren, in plaats van alleen natuurlijke taal.
2. Overbrugging van de LLM-Neer-Kloof: Het bewijs dat het gebruik van programmeertaalstructuren de beperkingen van tekstuele prompts oplost, specifiek wat betreft het correct identificeren van entiteitsgrenzen en het vermijden van overlappingen.
3. Uitgebreide Evaluatie: De methode is getest op tien benchmarks in vijf talen (Engels, Arabisch, Fins, Deens en Duits) met zowel gesloten modellen (GPT-4, GPT-4 Turbo) als open modellen (Llama-3-8B/70B, Phi-3).
4. Analyse van Combinaties: Het paper toont aan dat CodeNER effectief kan worden gecombineerd met "Chain-of-Thought" (CoT) prompting voor verdere prestatieverbetering.

Resultaten

De experimentele resultaten tonen aan dat CodeNER over het algemeen aanzienlijk beter presteert dan traditionele tekstuele prompts (Vanilla):

• Algemene Prestaties: Op de meeste benchmarks (CoNLL03, FIN, MIT Restaurant, etc.) behaalde CodeNER hogere macro-F1-scores. Bijvoorbeeld, op het FIN-dataset met GPT-4 steeg de score met 18,3 punten (van 22,83 naar 41,13).
• Open Modellen: Voor open-source modellen zoals Phi-3 en Llama-3 waren de verbeteringen nog dramatischer. CodeNER overtrof bestaande code-gebaseerde prompts (zoals GoLLIE en GNER) aanzienlijk, met gemiddelde verbeteringen van tot wel 19,5 punten in F1-score voor Phi-3.
• Token-niveau Nauwkeurigheid: Case studies tonen aan dat CodeNER beter is in het behandelen van:
  • Lange sequenties (zoals URL's) als één token.
  • Dubbele labels (het voorkomt dat hetzelfde woord twee keer wordt gelabeld).
  • Herhaalde woorden (het labelt elke instantie correct, in tegenstelling tot tekstuele prompts die vaak alleen de eerste instantie labelen).
  • Speciale tekens (puntkomma's, komma's) die aan woorden zijn gekoppeld.
• Beperkingen: De methode presteerde minder goed op datasets met zeer lange zinnen waar labels als "Plot" of "Quote" hele zinnen omvatten en veel functiewoorden bevatten. In deze specifieke gevallen kan de tekstuele prompt soms nog effectiever zijn omdat de code-structuur te strikt is voor token-niveau logica bij lange spans.

Betekenis en Conclusie

CodeNER demonstreert dat het gebruik van programmeertalen als prompt-middel een krachtige strategie is om de redeneer- en instructievolgvermogens van LLM's te optimaliseren voor complexe sequentiële taken zoals NER.

De studie benadrukt dat de structuur van code (variabelen, loops, logica) een natuurlijk kader biedt voor het definiëren van de strikte regels die nodig zijn voor accurate entiteitsherkenning. Dit biedt een nieuwe richting voor zero-shot en few-shot NLP-taken, waarbij de nadruk ligt op het benutten van de "code-comprehension" vaardigheden van moderne LLM's in plaats van alleen hun taalvaardigheden. Hoewel er nog uitdagingen zijn bij het verwerken van zeer lange, functionele zinsstructuren, biedt CodeNER een robuuste oplossing voor de meeste standaard NER-scenario's.