A Reproducible Universal Dependencies-Style Pipeline for Katharevousa Greek Parliamentary Text

Riepilogo Tecnico: Una Pipeline Riproducibile in Stile Universal Dependencies per Testi Parlamentari in Greco Katharevousa

Enunciato del Problema
Il greco Katharevousa, un registro ufficiale arcaizzante che funge da ponte tra il greco antico e il greco demotico moderno, rimane sottoposto da parte delle pipeline contemporanee di Elaborazione del Linguaggio Naturale (NLP). Ciò è particolarmente critico per gli archivi digitali contenenti registri legali, amministrativi e parlamentari del primo periodo post-giunta in Grecia (1976–1977). Questi testi presentano una sfida unica: combinano un vocabolario istituzionale moderno con morfologia arcaica, formule legali e costruzioni sintattiche scarsamente rappresentate nei dati di formazione attuali. I parser esistenti per il greco moderno o il greco antico non riescono a trasferirsi in modo pulito a questo registro specifico, e la presenza di rumore OCR, artefatti di interruzione di riga e metadati incoerenti complica ulteriormente l'analisi sintattica. Senza un'analisi delle dipendenze affidabile, i compiti a valle come l'analisi della struttura argomentale, l'estrazione degli attori e gli studi diacronici sui registri rimangono fragili.

Metodologia
Gli autori presentano una pipeline completamente riproducibile, end-to-end, progettata per convertire domande parlamentari rumorose derivate dall'OCR in una risorsa sintattica fissa in stile Universal Dependencies (UD). Il flusso di lavoro è strutturato come segue:

1. Ricostruzione dei Dati: La pipeline inizia con script eseguibili che ricostruiscono il testo da fonti DOCX e XLSX, gestendo problemi specifici dell'OCR come l'ibridazione delle interruzioni di riga, la giunzione di parole divise e la normalizzazione della punteggiatura.
2. Protocollo di Annotazione: Gli autori impiegano un processo di annotazione assistito da un Modello Linguistico di grandi dimensioni (LLM) vincolato a uno schema. Piuttosto che affidarsi a output LLM non verificati, il sistema utilizza il tracciamento degli offset, stati riprendibili e code di ripetizione per i batch falliti. Crucialmente, tutte le annotazioni subiscono una validazione automatica rispetto ai vincoli dell'albero prima di essere ammesse nel set di riferimento "congelato".
3. Istantanea di Riferimento: Il dataset finale consiste in 1.697 frasi (1.357 per l'addestramento, 340 tenute da parte per il test) divise in modo deterministico utilizzando il seed 42. I dati sono formattati come CoNLL-U con campi UD standard (FORM, LEMMA, UPOS, FEATS, HEAD, DEPREL) e includono metadati secondari per fenomeni specifici del Katharevousa (ad es. classi lessicali arcaiche, marcatori di registro legale).
4. Valutazione del Modello: Lo studio valuta diverse famiglie di modelli secondo un protocollo di punteggio unificato utilizzando gli stessi confini dei token:
   • Baseline Esterne: Sistemi pronti all'uso spaCy (greco), Stanza (greco) e Stanza (greco antico/PROIEL).
   • Modelli Personalizzati: Un parser logistico basato su caratteristiche, un modello Stanza personalizzato, mBERT e un parser transformer basato su XLM-R.
5. Riproducibilità: L'intera pipeline, inclusi codice, schemi, annotazioni congelate e report di benchmark, è rilasciata come progetto Python open-source (kathnlp).

Contributi Chiave
Il paper apporta quattro contributi principali:

1. Definizione del Flusso di Lavoro: Un flusso di lavoro di ricostruzione end-to-end e di annotazione automaticamente validata per testi parlamentari in Katharevousa, che produce output CoNLL-U in stile UD con metadati secondari specifici.
2. Protocollo di Valutazione Fisso: Il rilascio di un set di riferimento fisso di 1.697 frasi con divisioni train/test deterministiche e report di benchmark per diverse famiglie di modelli.
3. Evidenza Empirica di Disallineamento di Registro: La dimostrazione che i parser greci e del greco antico esistenti non si trasferiscono efficacemente alla sintassi parlamentare Katharevousa, rendendo necessarie soluzioni personalizzate.
4. Infrastruttura Open-Source: L'imballaggio della pipeline come kathnlp, garantendo che ogni affermazione empirica sia rintracciabile fino a script specifici, file di configurazione e report di benchmark.

Risultati
La valutazione si concentra su quattro metriche: accuratezza UPOS, F1 delle relazioni di dipendenza ponderato, Unlabeled Attachment Score (UAS) e Labeled Attachment Score (LAS).

• Baseline Esterne: I sistemi pronti all'uso hanno mostrato un significativo disallineamento di registro. La baseline esterna più forte, spaCy greco, ha raggiunto un LAS di 0,4183. Stanza greco antico ha ottenuto il peggior risultato (LAS 0,3076), confermando che il Katharevousa non è un semplice problema di trasferimento dal greco antico.
• Modelli Personalizzati:
  • Il modello XLM-R ha ottenuto le migliori prestazioni strutturali con un LAS di 0,5162 (UAS 0,6098, UPOS 0,8893, DEPREL F1 0,7250). Ciò rappresenta un guadagno LAS assoluto di 0,0980 (circa un miglioramento relativo del 23,4%) rispetto alla migliore baseline esterna.
  • Il parser logistico basato su caratteristiche è rimasto altamente competitivo, ottenendo il più alto UPOS (0,9040) e DEPREL F1 (0,7451), con un LAS di 0,5072 (solo 0,0090 in meno rispetto a XLM-R).
  • L'addestramento personalizzato di Stanza è migliorato significativamente rispetto alla sua controparte pre-addestrata (LAS 0,4943 contro 0,3396) ma non ha superato XLM-R.
  • mBERT ha ottenuto risultati inferiori a XLM-R in tutte le metriche.

Significato e Affermazioni
Gli autori inquadrano il significato di questo lavoro non semplicemente come un nuovo punteggio di modello, ma come un contributo metodologico all'NLP storico a risorse limitate.

• Infrastruttura oltre le Scatole Nere: Il paper sostiene che la strada verso un parser utilizzabile in contesti a risorse limitate implica la documentazione di schedulazioni fallite, vincoli del framework e decisioni di validazione, non solo la configurazione vincente.
• Potenziale Ibrido: I risultati suggeriscono che, sebbene i transformer (XLM-R) eccellano nella struttura di attacco, le caratteristiche trasparenti di contesto lessicale (modelli basati su caratteristiche) rimangono vitali per le decisioni morfosintattiche locali (UPOS e etichettatura delle relazioni) a questa scala di dati.
• Metodologia Auditabile: Il contributo principale è un flusso di lavoro auditabile che trasforma l'OCR storico difficile in infrastruttura NLP sintattica riutilizzabile. Ciò consente il riutilizzo trasparente degli archivi parlamentari per domande storiche, politiche e linguistiche, andando oltre le caratteristiche superficiali verso un'analisi riutilizzabile degli attori e del discorso istituzionale.

Il paper nota modestamente che l'attuale set di riferimento è piccolo e che le etichette sono validate automaticamente piuttosto che completamente giurate da esperti. Di conseguenza, i risultati sono presentati come "benchmark candidati per il rilascio" piuttosto che come massimi limiti di prestazioni finali, invitando la comunità ad estendere la risorsa attraverso la giurisdizione esperta e l'espansione del registro.