The GELATO Dataset for Legislative NER

Titel: The GELATO Dataset for Legislative NER

Auteurs: Matthew Flynn, Timothy Obiso, Sam Newman (Brandeis University)

---

1. Probleemstelling

Het automatisch extraheren van benoemde entiteiten (Named Entity Recognition - NER) in het domein van wetgeving is cruciaal voor onderzoek en geavanceerde NLP-toepassingen. Echter, de meeste bestaande NER-werkzaamheden zijn gericht op algemene nieuwsberichten (newswire) en niet op gespecialiseerde domeinen zoals de Amerikaanse wetgeving.

De uitdagingen in dit domein zijn:

• Specialistische terminologie: Wetgeving bevat unieke constructies (bijv. specifieke wetten, fondsen, programma's) die niet voorkomen in algemene corpora.
• Dichtheid en structuur: Wetgevingsteksten hebben een hoge dichtheid aan citaten, verwijzingen en een specifieke syntactische structuur.
• Gebrek aan data: Er zijn weinig gestructureerde datasets en ontologieën beschikbaar die specifiek zijn ontworpen voor Amerikaanse Congresbills (Huis en Senaat). Bestaande juridische datasets richten zich vaak op rechtspraak en vonnissen, niet op wetgevingsteksten.

2. Methodologie

De auteurs introduceren een tweestapsbenadering voor NER in wetgevingsteksten, gebaseerd op een nieuwe ontologie en een combinatie van fine-tuned transformer-modellen en Large Language Models (LLMs).

A. De GELATO Ontologie

GELATO staat voor Government, Executive, Legislative, And Treaty Ontology. Het is een tweedimensionale ontologie ontworpen voor Amerikaanse wetgeving:

• Niveau 1 (Hoofdcategorieën): 6 brede klassen: Person, Organization, Document, Act, Abstraction, Class.
• Niveau 2 (Subklassen): 30 specifieke subklassen. Voorbeelden:
  • Person: Lid van het Congres (Member), Titel (Title), Individueel (Individual).
  • Organization: Nation, State, Committee, Agency, Legislative Body.
  • Document: Bill, Code, Reference, Report.
  • Abstraction: Program, Fund, System, Doctrine.
  • Act: Public Act, Amendment.
  • Class: Protected Class (bijv. veteranen, minderheden) en Non-Protected Class.

B. Dataset

• Bron: 131 bills van het 118e Congres (Huis en Senaat, nummers 100-200).
• Verdeling:
  • Trainset: 80 Huis-bills (n = 77.372 tokens).
  • Dev-set: 21 Huis-bills.
  • Testset: 30 Senaat-bills (n = 31.740 tokens).
• Annotatie: Gerealiseerd door drie annotators met een tweestapsproces (eerst niveau 1, dan niveau 2) en een adjudicatieproces voor consensus. De inter-annotator overeenstemming (IAA) is hoog (F1-scores tussen 66% en 80% afhankelijk van het paar).

C. Model Architectuur en Training

De auteurs hanteren een twee-staps pijplijn:

1. Niveau 1 Predictie (Fine-tuning):
   • Verschillende transformer-modellen (BERT en RoBERTa, in 'base' en 'large' varianten) worden gefinetuned op de GELATO dataset.
   • Hyperparameters worden geoptimaliseerd via Bayesiaanse optimalisatie (learning rate, batch size, epochs, etc.).
   • Doel: Het identificeren van de entiteit en het toewijzen van het niveau-1 label.
2. Niveau 2 Predictie (LLM Prompting):
   • De output van niveau 1 wordt gebruikt als input voor een LLM (Qwen3/Qwen-32B).
   • In plaats van het LLM opnieuw te trainen, worden geoptimaliseerde prompts (via DSPy) gebruikt.
   • De prompt bevat de gevonden entiteit, een contextvenster van 50 tokens aan beide kanten, en de lijst met mogelijke niveau-2 labels.
   • Het LLM voert een few-shot classificatie uit om het specifieke sub-type te bepalen.

3. Belangrijkste Bijdragen

1. GELATO Ontologie: Een nieuwe, tweedimensionale ontologie specifiek voor Amerikaanse wetgevingsteksten.
2. GELATO Dataset: Een openbaar gemaakte, handmatig geannoteerde dataset van 131 bills met volledige niveau-1 en niveau-2 labels.
3. Benchmarks: Fine-tuned baselines voor transformer-modellen (BERT/RoBERTa) voor niveau-1 NER.
4. LLM-integratie: Een methode om LLMs te gebruiken voor niveau-2 classificatie via geoptimaliseerde prompts zonder extra training, wat de prestaties verbetert voor fijne granulariteit.
5. Open Source: Alle code, data en modellen zijn beschikbaar op GitHub.

4. Resultaten

• Niveau 1 Prestaties:

  • RoBERTa-large presteert het beste met een F1-score van 88,72.
  • BERT-large scoort aanzienlijk lager (67,16), wat wijst op het belang van vocabulairegrootte en tokenisatiestrategieën (Byte-Pair Encoding vs. WordPiece) voor dit domein.
  • De modellen presteren goed op concrete entiteiten (bijv. Bill, Title, Organization), maar worstelen met abstracte concepten en de categorie Class.

• Niveau 2 Prestaties:

  • De F1-scores voor niveau 2 zijn lager dan voor niveau 1 (bijv. RoBERTa-large daalt van 88,72 naar 67,44).
  • Dit komt door cascading errors: als niveau 1 een fout maakt, kan niveau 2 dit niet corrigeren.
  • De prestaties variëren sterk per subklasse. Entiteiten met duidelijke context (zoals Bill) worden goed herkend, terwijl abstracte types (zoals Parenthetical of Class) moeilijk zijn.

• Foutanalyse:

  • De categorie Class (groepen mensen) wordt vaak verward met Person of gemist (geclassificeerd als 'O'). Dit komt door de subtiliteit in het onderscheid tussen enkelvoud (persoon) en meervoud (groep).
  • LLMs hebben soms moeite met het onderscheid tussen specifieke subtypes (bijv. Member vs. Name) als de semantische verschillen klein zijn.

5. Betekenis en Toekomstperspectief

• Domeinspecifieke NLP: Het paper demonstreert dat algemene NER-modellen (zoals CoNLL-standaarden) ontoereikend zijn voor wetgeving en dat domeinspecifieke ontologieën en data essentieel zijn.
• Hybride Architecturen: De combinatie van een compacte, gefinetuned transformer voor ruwe extractie (niveau 1) en een krachtige LLM voor fijne classificatie (niveau 2) blijkt een effectieve strategie. Dit benut de snelheid van kleine modellen en het redeneervermogen van LLMs.
• Toepassingen: De dataset en modellen kunnen worden ingezet voor wetgevingstracking, beleidsanalyse en het vergroten van transparantie in de overheid.
• Beperkingen: De dataset is beperkt tot het 118e Congres (tijdsgebonden) en bevat geen voorbeelden van Treaties of Court Cases, wat de generalisatie naar andere juridische teksten beperkt. De cascade van fouten in de twee-staps pijplijn is een belangrijk aandachtspunt voor toekomstig onderzoek.

Conclusie:
GELATO biedt een solide basis voor verder onderzoek naar NER in wetgeving. De resultaten tonen aan dat RoBERTa-modellen superieur zijn aan BERT voor dit domein en dat LLMs, wanneer correct geprompt, waardevol zijn voor het verfijnen van entiteitstypen in complexe, tweedimensionale ontologieën.