SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models

Título do Trabalho

SCRIPT: Um Módulo de Injeção de Representação Compositiva de Subcaracteres para Modelos de Linguagem Pré-Treinados em Coreano.

1. O Problema

A língua coreana é uma linguagem morfologicamente rica que utiliza o sistema de escrita Hangul. Diferente de sistemas alfabéticos lineares (como o inglês), onde as letras são unidades atômicas, o Hangul é um sistema featural onde cada caractere (sílaba) é uma composição estruturada de unidades menores chamadas Jamo (consoantes iniciais, vogais e consoantes finais).

• Limitação dos Modelos Atuais: A maioria dos Modelos de Linguagem Pré-Treinados (PLMs) coreanos utiliza tokenização baseada em subpalavras (ex: BPE, WordPiece). Embora eficazes para semântica lexical, essas abordagens falham em capturar explicitamente a estrutura composicional interna dos caracteres.
• Impacto Linguístico: Muitas variações morfofonológicas no coreano (como conjugação verbal, nominalização e assimilação fonológica) ocorrem no nível de subcaractere (alteração de um Jamo específico dentro de uma sílaba). Modelos que ignoram essa granularidade têm dificuldade em generalizar essas variações gramaticais e semânticas finas.
• Desafio de Abordagens Alternativas: Modelos que processam diretamente Jamo (nível de caractere) são robustos a variações, mas frequentemente exigem pré-treinamento do zero, possuem representações semânticas mais fracas e custos computacionais elevados devido ao aumento da sequência de tokens.

2. Metodologia: SCRIPT

Os autores propõem o SCRIPT (Subcharacter Compositional Representation Injection Module), um módulo leve, agnóstico ao modelo e "plug-and-play" que injeta conhecimento composicional de subcaracteres em PLMs existentes sem alterar sua arquitetura principal ou exigir pré-treinamento adicional.

Arquitetura e Fluxo de Trabalho

O SCRIPT opera na camada de embeddings do PLM através de uma estratégia de dois canais:

1. Canal Original: O texto é tokenizado em subpalavras e processado pela camada de embeddings padrão do PLM.
2. Canal SCRIPT (Composição Estruturada):
   • Tokenização de Subcaractere: O texto é decomposto em Jamo (Iniciais, Vogais, Finais).
   • Codificação Hierárquica (Baseada nos Princípios do Hangul): O módulo comprime a sequência de Jamo de volta para representações de subpalavras, respeitando três princípios do Hangul:
     • Composição: Estrutura I (Início) + V (Vogal) + F (Final).
     • Arranjo Espacial: A vogal é à direita ou abaixo da consoante inicial; a final está sempre abaixo.
     • Ordem Sequencial: I $\rightarrow$ V $\rightarrow$ F.
   • Processo de Compressão:
     • Fase 1 (Subcaractere para Caractere): Usa uma camada GRU para codificar a sequência, funde I e V, concatena verticalmente com F (simulando a estrutura visual), e aplica convolução e pooling para gerar representações densas de caracteres.
     • Fase 2 (Caractere para Subpalavra): Agrega as representações de caracteres dentro de cada subpalavra original usando GRU e pooling (seleção do último caractere) para alinhar a granularidade com o PLM original.
3. Fusão: As representações de subpalavras geradas pelo SCRIPT (enriquecidas com estrutura) são fundidas com os embeddings originais do PLM (ricos em semântica) usando uma camada de Cross-Attention. O resultado é uma representação de subpalavra final que contém tanto a semântica pré-treinada quanto a estrutura gramatical fina.

3. Principais Contribuições

• Análise Empírica: Demonstração de que a vasta maioria (92,75%) das modificações morfológicas no coreano ocorre no nível de subcaractere, validando a necessidade de modelagem nessa granularidade.
• Módulo SCRIPT: Introdução de uma arquitetura modular que injeta conhecimento composicional estrutural em PLMs existentes sem necessidade de re-treinamento massivo.
• Desempenho e Eficiência: O método melhora o desempenho em tarefas de NLU (Compreensão de Linguagem Natural) e NLG (Geração de Linguagem Natural) com sobrecarga computacional mínima, superando abordagens que exigem pré-treinamento completo de modelos baseados em Jamo.

4. Resultados Experimentais

O SCRIPT foi avaliado em diversos modelos (BERT, KoGPT2, KoGPT3, EXAONE) e benchmarks coreanos:

• Tarefas de NLU (Compreensão):
  • Melhorou o desempenho em todos os 9 benchmarks testados (KorNLI, KorSTS, NSMC, PAWS-X e KoBEST).
  • O modelo BERTbase + SCRIPT superou o modelo de estado da arte baseado em Jamo (KOMBObase), apesar de usar a mesma arquitetura base, demonstrando que a injeção de estrutura é mais eficiente que a reestruturação completa do modelo.
  • Ganhos médios de até 1,6 pontos percentuais.
• Tarefas de NLG (Geração):
  • Melhorias consistentes em tarefas como geração de sentenças comuns (KoCommonGen), sumarização (XL-Sum) e correção gramatical (Korean GEC).
  • Destaque especial na tarefa Kor-Learner (correção gramatical para aprendizes), onde o SCRIPT superou a linha de base em mais de 3,2 pontos percentuais. Isso ocorre porque erros de aprendizes frequentemente envolvem partículas e terminações que alteram subcaracteres.
• Análise Linguística:
  • Visualizações (PCA) mostram que o SCRIPT organiza o espaço de embeddings de forma que formas morfologicamente relacionadas (ex: tempos verbais) fiquem mais próximas angularmente, capturando melhor as regularidades gramaticais.
• Eficiência Computacional:
  • O SCRIPT adiciona uma sobrecarga de memória e tempo de treinamento insignificante (menos de 2x o tempo base em sequências longas), enquanto modelos baseados em Jamo puro (como KOMBO) podem exigir 3x a 5x mais recursos devido ao processamento de sequências muito mais longas.

5. Significado e Conclusão

O trabalho SCRIPT estabelece que a modelagem explícita da estrutura composicional dos caracteres é crucial para o processamento de línguas morfologicamente ricas como o coreano.

• Inovação: Em vez de substituir a tokenização de subpalavras (que é semanticamente rica), o SCRIPT a complementa, criando uma representação híbrida que une o melhor dos dois mundos: a semântica de corpus de larga escala e a sensibilidade gramatical fina da estrutura de Jamo.
• Aplicabilidade: Por ser um módulo de injeção que não requer alterações na arquitetura do Transformer ou pré-treinamento, o SCRIPT é altamente escalável e pode ser aplicado a qualquer PLM coreano existente (codificadores ou decodificadores), oferecendo uma solução prática e eficiente para melhorar a compreensão e geração de texto em coreano.

Em resumo, o SCRIPT demonstra que entender a "anatomia" interna dos caracteres coreanos é essencial para que os modelos de IA dominem a complexidade gramatical e semântica da língua, superando as limitações das abordagens puramente baseadas em subpalavras.