The GELATO Dataset for Legislative NER

1. Il Problema

L'estrazione automatica di entità nominate (NER) nel dominio legislativo degli Stati Uniti rappresenta una sfida significativa per l'elaborazione del linguaggio naturale (NLP). Sebbene esistano dataset e modelli consolidati per domini generali (come le notizie) o per il settore legale giudiziario (sentenze, casi di diritto), il testo legislativo congressuale presenta caratteristiche uniche:

• Terminologia specializzata: Concetti specifici come "Attu", "Fondi", "Programmi" e "Classi protette" non sono ben coperti dalle ontologie standard (es. CoNLL).
• Densità e struttura: I testi legislativi sono ricchi di citazioni, riferimenti incrociati e una struttura formale complessa.
• Mancanza di risorse: Non esisteva un dataset annotato specifico per i disegni di legge (bills) del Congresso USA, né un'ontologia progettata specificamente per la gerarchia concettuale del potere legislativo.

2. Metodologia

Il paper propone un approccio innovativo basato su un'ontologia a due livelli e una pipeline di estrazione ibrida che combina modelli transformer classici e Large Language Models (LLM).

A. Il Dataset GELATO

Gli autori hanno creato e rilasciato GELATO (Government, Executive, Legislative, and Treaty Ontology), un dataset annotato di 131 disegni di legge (House e Senate bills) del 118° Congresso USA (numeri 100-200).

• Suddivisione: 80 bill della Camera (Training), 21 (Dev), 30 del Senato (Test).
• Qualità: L'annotazione è stata effettuata da tre annotatori con un alto accordo inter-annotatore (F1 score tra 73.50 e 79.68 a livello 2).

B. L'Ontologia a Due Livelli

L'ontologia GELATO è strutturata in due livelli gerarchici:

1. Livello 1 (6 classi principali): Person, Organization, Document, Act, Abstraction, Class.
2. Livello 2 (30 sottoclassi): Definisce entità specifiche del dominio legislativo. Esempi notevoli includono:
   • Person: Member (Membro del Congresso), Title (Titolo ufficiale), Individual.
   • Organization: Committee, Agency, Legislative Body, Nation.
   • Document: Bill (numero del disegno di legge), Reference (riferimenti a sezioni), Code.
   • Abstraction: Program, Fund, System, Doctrine.
   • Class: Protected Class (es. veterani, minoranze) e Non-Protected Class.

C. Pipeline di Inferenza Ibrida

Il sistema di estrazione segue un approccio a due stadi:

1. Livello 1 (Classificazione Base): Vengono utilizzati modelli transformer pre-addestrati (BERT e RoBERTa) fine-tunati sul dataset GELATO per identificare le entità e assegnare la classe principale (Livello 1).
2. Livello 2 (Classificazione Fine con LLM): Una volta identificata un'entità e il suo contesto, un LLM (specificamente Qwen/Qwen3-32B) viene utilizzato per determinare la sottoclasse specifica (Livello 2).
   • Ottimizzazione dei Prompt: Gli autori utilizzano il framework DSPy per generare prompt ottimizzati che includono l'etichetta del Livello 1, un contesto di 50 token a sinistra e a destra, e l'elenco delle possibili sottoclassi. Questo sfrutta la conoscenza generale dell'LLM senza richiedere un ulteriore addestramento (approccio "no-training" per la seconda fase).

3. Risultati Chiave

Gli esperimenti sono stati condotti valutando le prestazioni con la metrica F1.

• Performance dei Modelli Transformer (Livello 1):
  • RoBERTa-large ha ottenuto le migliori prestazioni con un F1 di 88.72.
  • RoBERTa-base ha raggiunto un F1 di 84.87.
  • I modelli BERT (base e large) hanno performato significativamente peggio (F1 ~67-68), suggerendo che la dimensione del vocabolario e le strategie di tokenizzazione di RoBERTa sono più adatte a questo dominio.
• Performance dell'LLM (Livello 2):
  • L'uso dell'LLM per la classificazione fine ha portato a un calo delle prestazioni rispetto al Livello 1 (circa 20 punti F1 in meno per RoBERTa), a causa della propagazione degli errori del primo stadio e della difficoltà nel distinguere sottoclassi astratte.
  • Tuttavia, quando l'LLM è stato testato con le etichette "Gold" del Livello 1 (senza errori di propagazione), le prestazioni sono rimaste competitive, dimostrando la fattibilità dell'approccio.
• Analisi degli Errori:
  • Le classi Class (es. gruppi di persone) e Abstraction (es. dottrine) sono state le più difficili da classificare.
  • Gli LLM hanno mostrato confusione tra "Name" e "Member" nella classe Person, evidenziando la necessità di distinzioni semantiche molto chiare nelle ontologie destinate agli LLM.

4. Contributi Principali

1. Introduzione di GELATO: Una nuova ontologia a due livelli specificamente progettata per il testo legislativo USA, che supera i limiti delle ontologie legali generiche.
2. Dataset Annotato: Il rilascio di un dataset di 131 bill del 118° Congresso con annotazioni gold-standard a due livelli, pronto per l'uso nella ricerca.
3. Pipeline Ibrida SOTA: Dimostrazione di un metodo efficace che combina modelli transformer compatti per l'identificazione di base e LLM ottimizzati (via prompt engineering) per la classificazione fine-granulare.
4. Benchmark e Baseline: Fornisce le prime baseline di riferimento per il NER nel dominio legislativo USA, permettendo confronti futuri.
5. Risorsa Open Source: Codice, dati e modelli sono pubblicamente disponibili su GitHub.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Avanzamento nel NLP Legale: Colma un vuoto critico nella ricerca NLP, spostando l'attenzione dalle sentenze giudiziarie (dominio giudiziario) ai testi legislativi (dominio legislativo), che richiedono conoscenze diverse.
• Validazione dell'Approccio Ibrido: Conferma che l'uso combinato di modelli fine-tunati (per l'efficienza e la struttura) e LLM (per la conoscenza semantica e la granularità fine) è una strategia promettente per task di estrazione complessi e specifici di dominio.
• Trasparenza e Analisi delle Politiche: Il dataset e gli strumenti sviluppati possono supportare applicazioni pratiche come il tracciamento legislativo, l'analisi delle politiche pubbliche e iniziative di trasparenza governativa, permettendo di mappare automaticamente come vengono menzionati specifici gruppi, fondi o programmi nelle leggi.
• Sfide Future: Evidenzia la necessità di migliorare la capacità dei modelli di distinguere tra entità simili (es. "Persona" vs "Classe") e di gestire la propagazione degli errori nelle pipeline multi-stadio.

In sintesi, il paper stabilisce un nuovo standard per l'estrazione di entità nel testo legislativo USA, fornendo sia le risorse dati che le metodologie necessarie per affrontare la complessità semantica di questo dominio.