Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts

Este trabajo presenta el Open Korean Historical Corpus, un conjunto de datos masivo y de dominio público que abarca 1.300 años y múltiples sistemas de escritura, permitiendo por primera vez un análisis cuantitativo de la evolución lingüística coreana y sirviendo como recurso fundamental para el entrenamiento de modelos de lenguaje.

Lo esencial

Imagina que la historia del idioma coreano es como una inmensa biblioteca antigua que, durante mucho tiempo, estuvo cerrada con candados y llaves que nadie tenía. Los libros dentro estaban escritos en una mezcla extraña de caracteres chinos, un alfabeto antiguo y el coreano moderno, y muchos investigadores de inteligencia artificial (IA) no podían entrar porque las puertas estaban bloqueadas por leyes de derechos de autor o simplemente porque nadie había digitalizado los libros.

Este artículo presenta el "Open Korean Historical Corpus" (El Gran Corpus Histórico Coreano Abierto), que es como si alguien hubiera rompido esos candados, abierto las puertas y regalado las llaves a todo el mundo.

Aquí te explico los puntos clave con analogías sencillas:

1. ¿Qué es este "tesoro"?

Es una colección masiva de 17,7 millones de documentos que abarcan 1.300 años de historia (desde el siglo VII hasta hoy).

• La analogía: Piensa en un viaje en el tiempo. No solo tienes noticias de ayer, sino también diarios reales de reyes antiguos, leyes escritas hace siglos y cartas de amor de hace 500 años.
• La diversidad: No es solo texto moderno. Incluye idiomas que casi nadie usa hoy, como el Idu (una forma extraña de escribir coreano usando caracteres chinos como si fueran fonéticos) y textos mezclados de chino y coreano. Es como encontrar un manual de instrucciones que mezcla inglés, español y un código secreto.

2. ¿Por qué es tan importante?

Antes, si querías entrenar a una IA para entender el coreano, solo le daban libros de texto modernos. Era como enseñar a un niño a hablar solo con noticias de 2024; nunca entendería cómo hablaban sus abuelos o por qué ciertas palabras suenan raras en textos antiguos.

• El problema: La IA moderna se "atraganta" con textos antiguos. No entiende las palabras viejas ni los caracteres chinos mezclados.
• La solución: Este corpus es el gimnasio perfecto para entrenar a la IA. Al darle tanto material histórico, la IA puede aprender a leer como un historiador, entendiendo no solo el coreano de hoy, sino también el de hace 500 años.

3. Tres descubrimientos fascinantes (Lo que aprendieron al leer los libros)

Los autores usaron esta biblioteca gigante para responder preguntas que nadie había medido con números exactos:

• El ascenso y caída de un sistema secreto (Idu):
  Imagina que el "Idu" era un código secreto que usaban los funcionarios del gobierno. Descubrieron que este código alcanzó su pico máximo en la década de 1860 y luego desapareció rápidamente, como un idioma que deja de hablarse de la noche a la mañana. Esto sucedió porque el gobierno cambió las reglas y obligó a usar el alfabeto coreano (Hangul) en los documentos oficiales.

• El cambio de piel (De Hanja a Hangul):
  Durante siglos, Corea escribió todo con caracteres chinos (Hanja). Luego, inventaron su propio alfabeto (Hangul).

  • La analogía: Muchos pensaban que fue un cambio lento, como cambiar el aceite de un coche poco a poco. Pero los datos muestran que fue un cambio brusco, como si de repente todos decidieran dejar de usar zapatos de cuero y empezar a usar zapatillas deportivas en una sola década (alrededor de 1890). En 1980, el 93% de los textos ya eran solo Hangul.

• La brecha entre hermanos separados (Corea del Norte vs. Sur):
  Desde que Corea se dividió, el idioma ha evolucionado de forma diferente en el Norte y el Sur.

  • La prueba: Cuando tomaron un traductor moderno (entrenado en el Sur) y le dieron noticias de Corea del Norte, el traductor se "confundió" muchísimo.
  • La estadística: La IA encontró palabras que no conocía 51 veces más en los textos norcoreanos que en los surcoreanos. Es como si dos hermanos gemelos crecieran en casas diferentes y, al reunirse, uno usara palabras que el otro nunca ha oído (por ejemplo, usar una palabra especial para "Alemania" en el Norte que suena totalmente distinta a la del Sur).

4. ¿Quién lo hizo y cómo se puede usar?

Un equipo de investigadores de universidades de Corea y EE. UU. recolectó todo esto de 19 fuentes diferentes (archivos nacionales, bibliotecas, periódicos).

• La licencia: Lo más importante es que es de "dominio público" o tiene licencias abiertas. Esto significa que cualquier investigador, estudiante o desarrollador de IA en el mundo puede descargarlo y usarlo libremente para aprender, sin tener que pedir permiso ni pagar tarifas.

En resumen

Este papel es como abrir una ventana gigante en una casa que estaba cerrada por siglos. Permite que la tecnología moderna (la IA) mire hacia atrás y entienda la evolución completa del idioma coreano, desde sus raíces antiguas hasta sus variaciones actuales, ayudándonos a preservar la cultura y a crear herramientas más inteligentes que no solo entiendan el "ahora", sino también el "antes".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts", estructurado según los puntos solicitados:

1. El Problema

La evolución lingüística del idioma coreano se caracteriza por una discrepancia fundamental entre su forma hablada y escrita, así como por una transición crítica desde el uso exclusivo de caracteres chinos (Hanja) y sistemas de transcripción como Idu, hacia el alfabeto nativo Hangul. A pesar de su importancia histórica, la investigación en Procesamiento de Lenguaje Natural (NLP) ha ignorado en gran medida este periodo debido a la falta de corpus históricos accesibles y de licencia abierta.

Los desafíos principales identificados son:

• Restricciones de Licencia: La mayoría de los corpus existentes (como el Corpus Sejong o Modu) tienen licencias restrictivas que impiden la creación de obras derivadas o el uso comercial, limitando su utilidad para el entrenamiento de modelos de lenguaje a gran escala.
• Falta de Datos Digitales: Muchos documentos históricos están digitalizados pero no disponibles como conjuntos de datos descargables, obligando a los investigadores a realizar crawling individualizado.
• Brecha Diacrónica: Los recursos actuales se centran casi exclusivamente en el coreano moderno (basado en Hangul), dejando sin representar periodos cruciales como el coreano medio, el coreano temprano moderno, los sistemas mixtos (Hanja-Hangul) y el Idu (sino-coreano).

2. Metodología

Para abordar estas carencias, los autores construyeron el Open Korean Historical Corpus (OKHC) mediante un proceso riguroso de recolección y estandarización:

• Recolección de Datos: Se recopilaron 17.7 millones de documentos de 19 fuentes distintas (incluyendo archivos nacionales, bibliotecas, institutos de investigación y agencias de noticias de Corea del Norte). El periodo cubierto abarca desde el siglo VII hasta 2025.
• Preprocesamiento:
  • Normalización Universal: Se aplicó la normalización Unicode NFKC para resolver variantes de compatibilidad, colapsar espacios en blanco irregulares y eliminar caracteres de control no imprimibles.
  • Limpieza Específica: Se eliminó texto de relleno (boilerplate), metadatos erróneos fusionados con el texto principal y traducciones modernas en línea para aislar el texto original.
  • Filtrado: Se descartaron documentos con una alta relación de ruido/texto debido a errores de codificación.
• Identificación de Idioma y Escritura: Se utilizó un enfoque híbrido que combina el modelo GlotLID (limitado a un conjunto pequeño de idiomas relevantes) con un análisis a nivel de carácter que calcula la proporción de Hangul, Hanja y Kana. La clasificación final se determina mediante reglas heurísticas que integran estos resultados con metadatos de la fuente (ej. clasificar automáticamente los Anales de la Dinastía Joseon como Chino Clásico).
• Estructura de Datos: El corpus se distribuye en formato JSON Lines, donde cada documento es un objeto JSON autocontenido que incluye identificadores únicos, texto normalizado, metadatos de clasificación (idioma, escritura, periodo histórico) y enlaces a la fuente original.
• Consideraciones Legales: El corpus se distribuye bajo la licencia CC BY-NC 4.0. Los textos anteriores a 1963 (dominio público) se incluyen en su totalidad. Para materiales con derechos de autor posteriores a 1963 y textos de Corea del Norte, se proporciona solo metadatos y URLs para cumplir con las leyes de derechos de autor y la Ley de Seguridad Nacional de Corea del Sur.

3. Contribuciones Clave

• El Primer Corpus Abierto de Escala Masiva: OKHC es, según los autores, el primer corpus con licencia abierta que ofrece una cobertura temporal amplia de las etapas históricas del coreano, incluyendo sistemas de escritura subrepresentados como el Idu y la escritura mixta Hanja-Hangul.
• Diversidad Lingüística: Incluye seis variedades lingüísticas: Coreano (Medio, Temprano Moderno, Moderno, Norte), Chino Clásico y Japonés (de la era colonial).
• Código y Datos Abiertos: Se libera tanto el corpus (5.1 mil millones de tokens) como el código de procesamiento bajo licencias permisivas (MIT para el código), facilitando la investigación reproductible.
• Análisis Cuantitativo Diacrónico: El artículo no solo entrega datos, sino que utiliza el corpus para realizar análisis cuantitativos inéditos sobre la evolución del idioma.

4. Resultados Principales

Los autores utilizaron el OKHC para cuantificar tres grandes cambios lingüísticos:

1. Dinámica Temporal del Idu (Sino-coreano):

   • El uso de Idu alcanzó su punto máximo en la década de 1860.
   • Posteriormente, experimentó un declive abrupto, especialmente después de la Reforma Kabo de 1894, que obligó al uso del Hangul en documentos oficiales, y una directiva de 1908 que favoreció la escritura mixta sobre el Idu.

2. Transición de Hanja a Hangul:

   • El análisis revela que la transición no fue gradual, sino una transformación rápida iniciada alrededor de 1890.
   • Hasta 1890, los registros escritos estaban dominados casi exclusivamente por Chino Clásico (Hanja).
   • Para la década de 1980, el Hangul constituía más del 93% de los caracteres, reflejando políticas lingüísticas que relegaron el Hanja a un papel suplementario.

3. Divergencia Léxica de Corea del Norte:

   • Se cuantificó la brecha léxica entre el norte y el sur.
   • Los tokenizadores modernos entrenados en datos del sur producen tasas de palabras fuera del vocabulario (OOV) hasta 51 veces más altas al procesar noticias de Corea del Norte.
   • Esta divergencia se debe principalmente a la ortografía única de los préstamos en el norte (ej. 도이췰란드 para Alemania) y vocabulario nativo distinto (ej. 돐 para aniversario).

5. Significado e Impacto

El Open Korean Historical Corpus representa un hito fundamental para la lingüística computacional y las humanidades digitales en el contexto coreano:

• Puente para la IA Histórica: Proporciona la base de datos necesaria para entrenar Grandes Modelos de Lenguaje (LLMs) y tokenizadores que sean robustos frente a la variación diacrónica, mejorando la comprensión de vocabulario sino-coreano en textos modernos y sistemas de escritura arcaicos.
• Investigación Lingüística: Permite análisis diacrónicos finos a través de géneros, regiones y tipos de documentos, algo imposible con los corpus anteriores fragmentados o restringidos.
• Accesibilidad Global: Al eliminar las barreras de licencia restrictivas, democratiza el acceso a la historia escrita de Corea para investigadores internacionales, permitiendo el desarrollo de herramientas de NLP que antes no podían abordar textos históricos.
• Preservación Cultural: Facilita la digitalización y el análisis de millones de documentos que, de otro modo, serían ilegibles o inaccesibles para la mayoría de los coreanos contemporáneos debido a la complejidad de los sistemas de escritura antiguos.

En resumen, este trabajo no solo llena un vacío crítico en los recursos de datos para el idioma coreano, sino que establece un nuevo estándar para la creación de corpus históricos abiertos, permitiendo una comprensión más profunda y cuantitativa de la evolución lingüística a lo largo de milenios.