SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models

Resumen Técnico: SCRIPT

1. El Problema

El idioma coreano es una lengua morfológicamente rica que utiliza un sistema de escritura featural llamado Hangul. A diferencia de los sistemas alfabéticos lineales (como el inglés), donde las palabras se forman mediante la combinación lineal de letras, cada carácter en Hangul es una composición estructurada de unidades subcaracteres llamadas Jamo (inicial, vocal y final).

• Limitación de los modelos actuales: La mayoría de los Modelos de Lenguaje Pre-entrenados (PLMs) para coreano utilizan esquemas de tokenización basados en subpalabras (subword tokenization). Si bien esto captura bien la semántica léxica, falla al modelar explícitamente la estructura composicional interna de los caracteres.
• Consecuencia: Los modelos basados en subpalabras tienen dificultades para capturar las variaciones morfosintácticas finas y los procesos morfofonológicos (como cambios de tiempo verbal, honoríficos o asimilación fonológica) que ocurren a nivel de subcarácter. Por ejemplo, un cambio gramatical puede alterar solo una parte de un carácter (ej. añadir una consonante final), lo cual los modelos de subpalabras no interpretan estructuralmente.
• Alternativas existentes: Los modelos basados puramente en Jamo (como KOMBO) son robustos ante estas variaciones, pero requieren pre-entrenamiento desde cero, tienen costos computacionales elevados y a menudo pierden riqueza semántica en comparación con los modelos de subpalabras pre-entrenados a gran escala.

2. Metodología: SCRIPT

Los autores proponen SCRIPT (Subcharacter Compositional Representation Injection Module), un módulo ligero, agnóstico al modelo y de tipo "plug-and-play" que inyecta conocimiento composicional de subcaracteres en PLMs existentes sin modificar su arquitectura ni requerir pre-entrenamiento adicional.

Arquitectura y Flujo de Trabajo:
SCRIPT se adjunta a la capa de embeddings del PLM y opera mediante una estrategia de doble canal:

1. Tokenización Paralela:

   • Canal 1 (Original): El texto se tokeniza en subpalabras y se proyecta a través de la capa de embeddings pre-entrenada del PLM.
   • Canal 2 (SCRIPT): El texto se tokeniza en una secuencia de subcaracteres (Jamo: Inicial, Vocal, Final).

2. Compresión Estructurada (SCRIPT):
   SCRIPT comprime la secuencia de Jamo en representaciones de subpalabra siguiendo los principios de composición del Hangul:

   • Fase 1 (Jamo a Carácter):
     • Se codifica la secuencia de Jamo usando una capa GRU.
     • Se fusionan la Inicial (Choseong) y la Vocal (Jungseong) mediante suma elemental.
     • Se añade la Final (Jongseong) mediante concatenación vertical (simulando la disposición espacial del Hangul).
     • Se aplica una capa convolucional y un pooling promedio para obtener representaciones densas de caracteres.
   • Fase 2 (Carácter a Subpalabra):
     • Se agrupan las representaciones de caracteres dentro de cada subpalabra original.
     • Se utiliza un GRU para capturar el orden composicional dentro de la subpalabra y un pooling (seleccionando la última representación) para obtener una representación de subpalabra basada en la estructura.

3. Fusión de Representaciones:

   • Se combinan la representación original de la subpalabra (rica en semántica) y la representación sintetizada por SCRIPT (rica en estructura) mediante una capa de Cross-Attention.
   • El resultado es una representación de subpalabra unificada que integra tanto el conocimiento semántico del corpus masivo como las reglas gramaticales y composicionales del Hangul.

3. Contribuciones Clave

• Análisis Empírico: Demostraron que el 92.75% de las variaciones morfológicas en el uso real del coreano ocurren a nivel de subcarácter, validando la necesidad de modelar esta granularidad.
• Diseño Modular: SCRIPT es un módulo independiente que no requiere cambiar la arquitectura del modelo base (funciona en codificadores como BERT y decodificadores como GPT) ni reentrenar el modelo completo.
• Incorporación de Conocimiento Lingüístico: Codifica explícitamente los principios de Hunminjeongeum (el documento histórico de creación del Hangul) dentro del mecanismo de aprendizaje profundo.
• Eficiencia: A diferencia de los modelos basados en Jamo puros, SCRIPT mantiene la eficiencia computacional cercana a los modelos de subpalabras estándar.

4. Resultados Experimentales

Los autores evaluaron SCRIPT en una amplia gama de tareas de Comprensión del Lenguaje Natural (NLU) y Generación del Lenguaje Natural (NLG) en coreano, utilizando modelos base como BERT, KoGPT2, KoGPT3 y EXAONE.

• Rendimiento en NLU: SCRIPT mejoró el rendimiento en todas las líneas base probadas. En tareas estándar (KorNLI, KorSTS, NSMC) y avanzadas (KoBEST), se observaron ganancias promedio de hasta 1.6 puntos porcentuales. Superó consistentemente al modelo basado en Jamo puro (KOMBObase), incluso usando la misma arquitectura subyacente.
• Rendimiento en NLG: Las mejoras fueron aún más pronunciadas en tareas generativas (KoCommonGen, Resumen XL-Sum, Corrección Gramatical GEC).
  • En la tarea de corrección gramatical (Kor-Learner), que se centra en errores de partículas y conjugaciones, SCRIPT superó a la línea base en más de 3.2 puntos porcentuales.
  • Las métricas de n-gramas (BLEU, ROUGE) mostraron mejoras significativas, indicando una mejor modelización de patrones composicionales locales.
• Análisis Lingüístico:
  • Espacio de Embeddings: Las visualizaciones (PCA) mostraron que SCRIPT organiza mejor el espacio de embeddings, agrupando formas flexionadas semánticamente relacionadas (ej. diferentes tiempos verbales de un mismo verbo) de manera más cohesiva que los modelos base.
  • Captura de Fenómenos: El modelo logró capturar mejor las variaciones morfológicas finas que los modelos de subpalabras estándar pasan por alto.

5. Significado y Conclusiones

• Superioridad sobre enfoques existentes: SCRIPT logra el "mejor de ambos mundos": la riqueza semántica de los modelos de subpalabras pre-entrenados y la robustez morfológica de los modelos basados en caracteres/Jamo, sin el costo computacional prohibitivo de estos últimos.
• Eficiencia Computacional: El análisis de complejidad y uso de memoria GPU demuestra que SCRIPT añade una sobrecarga mínima (comparable a un factor de <2x en tiempo de entrenamiento en secuencias largas), mientras que los enfoques basados en caracteres puros (como KOMBO) aumentan drásticamente el uso de memoria y tiempo (hasta 3.5x más lento).
• Implicación para el PLN en Coreano: El trabajo subraya que para lenguas con escritura featural y morfología rica como el coreano, ignorar la estructura interna de los caracteres limita el rendimiento. SCRIPT establece un nuevo estándar para la integración de conocimiento lingüístico estructurado en modelos de lenguaje modernos, siendo una solución práctica y escalable para el despliegue en la industria.

En resumen, SCRIPT es una innovación que demuestra que inyectar conocimiento estructural de bajo nivel (subcarácter) en modelos de alto nivel (subpalabra) mediante una integración inteligente de embeddings es una vía superior para mejorar la comprensión y generación del lenguaje coreano.