Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts

Il paper presenta l'Open Korean Historical Corpus, un vasto dataset di testi di dominio pubblico che copre 1.300 anni e 6 lingue, permettendo per la prima volta un'analisi quantitativa dell'evoluzione linguistica coreana e offrendo una risorsa fondamentale per il pre-addestramento di modelli linguistici.

L'essenziale

Immaginate di voler raccontare la storia completa di una persona, ma aveste a disposizione solo le sue foto recenti e qualche lettera scritta da bambino, mentre tutto ciò che è stato scritto tra l'adolescenza e l'età adulta è stato nascosto in una cassaforte o scritto in un codice che nessuno sa più leggere.

Questo è esattamente il problema che gli scienziati informatici si sono trovati ad affrontare con la lingua coreana. Per decenni, l'intelligenza artificiale (AI) ha potuto "leggere" solo il coreano moderno, ignorando secoli di storia, di parole antiche e di scritture ibride.

Il paper che avete davanti presenta una soluzione rivoluzionaria: l'Open Korean Historical Corpus (Il Grande Archivio Storico Coreano Aperto).

Ecco di cosa si tratta, spiegato in modo semplice:

1. Il "Super-Enciclopedia" del Tempo

Pensate a questo progetto come a una macchina del tempo digitale. Gli autori hanno raccolto e pulito 17,7 milioni di documenti che coprono un arco di 1.300 anni, dal VII secolo fino al 2025.
È come se avessero scavato in una biblioteca polverosa e avessero trovato:

• Diari reali e registri governativi antichi.
• Giornali moderni.
• Testi scritti in cinese classico (che era la "lingua latina" dell'Asia orientale per secoli).
• Testi scritti in coreano antico, medio e moderno.
• Persino documenti scritti in giapponese durante l'epoca coloniale.

Tutto questo materiale è stato messo in un unico "contenitore" digitale, gratuito e aperto a tutti i ricercatori, un po' come Wikipedia, ma per la storia della lingua.

2. Il Mistero delle Scritture Miste

Per secoli, i coreani hanno avuto un "problema di identità" nella scrittura.

• L'analogia: Immaginate di dover scrivere una lettera, ma non avete le chiavi per aprire la porta della vostra casa (la scrittura coreana, Hangul, inventata nel 1443). Quindi, usate le chiavi del vicino (i caratteri cinesi, Hanja). Ma la vostra lingua parlata è diversa da quella del vicino!
• La soluzione ibrida: Hanno creato sistemi strani, come l'Idu, che usava i caratteri cinesi ma li leggeva come se fossero coreani, o miscele di caratteri cinesi e alfabeto coreano.
• Il risultato: Oggi, la maggior parte dei coreani non riesce a leggere i documenti di 200 anni fa perché sono scritti in queste "lingue morte" o miste. Questo corpus è la chiave per decifrare tutto questo tesoro.

3. Cosa hanno scoperto guardando indietro?

Usando questa immensa raccolta di dati, gli autori hanno fatto delle scoperte sorprendenti, come se avessero analizzato l'ADN della lingua:

• La fine dell'Idu: Hanno visto che l'uso di questo sistema di scrittura ibrido (Idu) era al suo apice negli anni '1860, ma è crollato come un castello di carte dopo le riforme del 1894. È stato un cambiamento brusco, non lento.
• La rivoluzione dell'alfabeto: Fino al 1890, quasi tutti scrivevano solo in cinese classico. Poi, in un lampo (relativamente parlando), la scrittura è passata al coreano puro (Hangul). Oggi, oltre il 93% dei caratteri usati sono Hangul.
• La divisione Nord-Sud: Hanno scoperto che il coreano del Nord e quello del Sud sono diventati così diversi che i computer moderni, quando provano a leggere le notizie nordcoreane, si perdono completamente! Usano parole diverse e scrivono i nomi stranieri in modo unico (ad esempio, la Germania è scritta in modo diverso). I computer attuali sbagliano a riconoscere fino a 51 volte più parole nel testo nordcoreano rispetto a quello sudcoreano.

4. Perché è importante?

Fino a oggi, l'Intelligenza Artificiale parlava coreano come un turista che sa solo ordinare al ristorante: sa le parole di oggi, ma non capisce la storia, le sfumature antiche o i dialetti.

Con questo nuovo "manuale di istruzioni" (il corpus), gli scienziati possono:

• Addestrare AI più sagge: Creare modelli che capiscono non solo il coreano di oggi, ma anche quello di 500 anni fa.
• Preservare la cultura: Rendere leggibile la storia che altrimenti rimarrebbe chiusa in codici incomprensibili.
• Studiare l'evoluzione: Capire come le lingue cambiano quando i paesi si dividono o quando le tecnologie (come l'alfabeto) cambiano.

In sintesi

Questo paper non è solo una lista di dati noiosi. È come se avessimo appena trovato la chiave di accesso a un intero continente culturale che era stato sigillato per secoli. Ora, finalmente, possiamo ascoltare la voce del passato coreano e farla parlare con l'intelligenza artificiale del futuro.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts", redatto in italiano.

1. Il Problema

La storia della lingua coreana è caratterizzata da una profonda discrepanza tra la forma parlata e quella scritta, nonché da una transizione fondamentale dai caratteri cinesi (Hanja) all'alfabeto nativo Hangul. Tuttavia, l'evoluzione linguistica del coreano è rimasta largamente inesplorata nel campo dell'Elaborazione del Linguaggio Naturale (NLP) a causa della mancanza di corpora storici accessibili.
Le sfide principali identificate sono:

• Mancanza di dati aperti: La maggior parte dei corpora esistenti (es. Sejong Corpus, Modu Corpus) è distribuita con licenze restrittive che impediscono la creazione di opere derivate o l'uso commerciale/ricercato su larga scala.
• Copertura temporale e scrittoria limitata: I dati esistenti si concentrano quasi esclusivamente sul coreano moderno basato sull'Hangul, trascurando il periodo intermedio di scrittura mista (Hanja-Hangul), il coreano medio, e sistemi di scrittura meno rappresentati come il Idu (sinitico in stile coreano) e i testi in cinese classico.
• Frammentazione: I ricercatori sono spesso costretti a raccogliere dati manualmente da vari siti web istituzionali, senza standardizzazione.

2. Metodologia

Gli autori hanno costruito l'Open Korean Historical Corpus (OKHC) attraverso un processo rigoroso di raccolta, pulizia e classificazione:

• Raccolta Dati: Sono stati aggregati 17,7 milioni di documenti da 19 fonti diverse, coprendo un arco temporale dal VII secolo fino al 2025. Le fonti includono archivi nazionali (es. National Institute of Korean History), biblioteche, giornali storici, e fonti nordcoreane (KCNA, Università Kim Il Sung).
• Preprocessing: È stata applicata una pipeline di normalizzazione universale (NFKC) seguita da regole specifiche per fonte per rimuovere artefatti di digitalizzazione, metadati errati, traduzioni moderne in linea e rumore.
• Identificazione Linguistica e Scrittura: A causa dell'affidabilità ridotta dei modelli di identificazione linguistica su testi storici, è stato utilizzato un approccio euristico che combina:
  • Il modello GlotLID per la classificazione linguistica.
  • Analisi a livello di carattere per calcolare le proporzioni di Hangul, Hanja e Kana.
  • Metadati specifici della fonte per assegnare il periodo storico (Coreano Medio, Primo Moderno, Moderno, Nordcoreano) e il tipo di script.
• Formato e Schema: Il corpus è distribuito in formato JSON Lines. Ogni documento contiene campi per identificazione, metadati, contenuto testuale grezzo e normalizzato, anno di pubblicazione, lingua, script e stato del copyright.
• Licenze: Il corpus è rilasciato sotto licenza CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial). Per i materiali protetti da copyright (post-1963), vengono forniti solo metadati e link, mentre i testi nel pubblico dominio (pre-1963) sono inclusi integralmente.

3. Contributi Chiave

• Primo Corpus Aperto su Larga Scala: È il primo dataset con licenza aperta che offre una copertura temporale ampia (1.300 anni) e linguistica diversificata per la storia coreana.
• Diversità di Script: Include non solo l'Hangul moderno, ma anche:
  • Cinese Classico (Hanja).
  • Idu (Sinitico in stile coreano).
  • Script misti Hanja-Hangul.
  • Coreano Medio e Primo Moderno (con caratteri Hangul antichi).
  • Giapponese (periodo coloniale).
• Strumento per l'Analisi Diacronica: Fornisce una base quantitativa per studiare l'evoluzione della lingua, le politiche linguistiche e le divergenze lessicali.
• Accessibilità: Rende disponibili dati che altrimenti richiederebbero anni di raccolta manuale, facilitando la ricerca in linguistica storica e NLP.

4. Risultati e Analisi Quantitativa

Utilizzando il corpus, gli autori hanno condotto tre analisi principali:

1. Dinamiche dell'Idu (Sinitico in stile coreano):

   • L'uso dell'Idu ha raggiunto il picco negli anni 1860 per poi declinare drasticamente.
   • Il calo è accelerato dopo la Riforma Gabo (1894), che rese obbligatorio l'uso dell'Hangul nei documenti ufficiali, e da un direttiva del 1908 che favoriva lo script misto Hanja-Hangul rispetto all'Idu.

2. Transizione da Hanja a Hangul:

   • L'analisi rivela che il passaggio non è stato graduale ma rapido.
   • Fino al 1890, la scrittura era dominata quasi esclusivamente dal Cinese Classico.
   • Dopo il 1890, si è verificata una trasformazione rapida: entro il 1980, l'Hangul costituiva oltre il 93% dei caratteri utilizzati, relegando l'Hanja a ruolo supplementare.

3. Divergenza Lessicale Nord-Sud (Coreano Nord vs Sud):

   • È stata misurata l'incidenza di token fuori vocabolario (OOV) quando si utilizzano tokenizer moderni su testi nordcoreani.
   • I risultati mostrano che i tokenizer moderni producono tassi OOV fino a 51 volte superiori per i testi nordcoreani rispetto a quelli sudcoreani.
   • La divergenza deriva principalmente dall'ortografia unica dei prestiti linguistici in Corea del Nord (es. 도이췰란드 per Germania) e da un vocabolario nativo distinto (es. 돐 per anniversario).

5. Significato e Impatto

• Per la Linguistica Storica: Il corpus permette analisi diacroniche granulari su generi, regioni e tipi di documenti, offrendo una visione quantitativa delle trasformazioni linguistiche in Corea.
• Per il NLP e i LLM: Fornisce un corpus di pre-addestramento essenziale per migliorare la comprensione dei modelli linguistici su:
  • Vocabolario sino-coreano nell'Hangul moderno.
  • Sistemi di scrittura arcaici e misti.
  • Varianti dialettali e storiche (incluso il coreano nordcoreano).
• Sfide Future: Il lavoro evidenzia la necessità di addestrare tokenizer e modelli specifici per gestire la variazione diacronica e l'ortografia storica, colmando il divario tra gli strumenti NLP attuali (addestrati su coreano moderno) e la vasta ricchezza dei documenti storici.

In sintesi, l'Open Korean Historical Corpus rappresenta una risorsa fondamentale per democratizzare l'accesso alla storia linguistica della Corea, trasformando documenti storici spesso illeggibili o inaccessibili in dati strutturati pronti per l'analisi computazionale.