Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP

1. O Problema: A Barreira de Escrita (Script Barrier)

O artigo aborda um obstáculo fundamental no Processamento de Linguagem Natural (PLN) multilíngue: a barreira de escrita. Embora o transfer learning (aprendizado de transferência) entre línguas tenha avançado significativamente, sua eficácia é severamente limitada quando a língua de origem (geralmente de alto recurso, como o inglês) e a língua de destino (de baixo recurso) utilizam sistemas de escrita diferentes.

• Falta de Sobreposição Léxica: Modelos de linguagem dependem de sobreposição lexical para transferir conhecimento. Diferentes scripts resultam em sobreposição mínima ou nula.
• Separação Linear de Representações: Tokens de scripts diferentes tendem a ser linearmente separáveis no espaço de representação, impedindo que o modelo aprenda um espaço comum sem intervenção.
• Ambiguidades da Transliteração: O processo de transliteração (conversão de um sistema de escrita para outro) não é perfeito. O artigo destaca três tipos de ambiguidades que podem causar perda de informação:
  • Muitos-para-Um (Homógrafos): Uma transliteração pode representar múltiplas palavras (ex: "shiwu" em chinês pode ser "comida" ou "assuntos atuais").
  • Muitos-para-Um (Entre línguas): A mesma transliteração pode ter significados diferentes em línguas distintas (ex: "miso" pode ser "meio" em grego ou "pasta de soja" em japonês).
  • Um-para-Muitos (Variações de Ortografia): Uma única palavra pode ser transliterada de várias formas, fragmentando a representação (ex: "pānī" em hindi pode ser escrito de múltiplas formas em latim).

2. Metodologia e Taxonomia

Os autores realizaram uma revisão sistemática da literatura, focando em trabalhos que aplicam transliteração para melhorar modelos de linguagem, em vez de trabalhos que apenas melhoram o algoritmo de transliteração em si. Eles propõem duas taxonomias principais:

A. Motivações para Uso (Evolução Cronológica)

O uso da transliteração evoluiu através de cinco motivações principais:

1. Entidades Nomeadas e OOVs (Vocabulário Fora de Vocabulário): Inicialmente usada em tradução estatística (SMT) para lidar com nomes próprios que faltavam em dicionários.
2. Code-Mixing e "Leetspeak": Normalização de dados onde usuários misturam línguas nativas romanizadas com inglês (comum em redes sociais e ambientes bilíngues).
3. Transferência Cross-lingual: Uso de transliteração para aumentar a sobreposição léxica entre línguas tipologicamente relacionadas mas com scripts diferentes (ex: Turco e Uigur) ou para alinhar línguas não relacionadas aos priors de modelos centrados no inglês.
4. Eficiência: Unificação de pré-processamento e redução da "fertilidade" de tokens (número de subpalavras geradas), o que reduz custos computacionais e de inferência.
5. Consciência Multi-script: Abordagens modernas que não apenas contornam a barreira, mas tratam a transliteração como um sinal auxiliar dentro de arquiteturas sofisticadas para criar modelos nativamente conscientes de múltiplos scripts.

B. Abordagens de Integração

O artigo classifica como a transliteração é integrada aos modelos:

• Nível de Dados:
  • Corpora Transliterados: Treinar o modelo apenas com dados transliterados.
  • Aumento de Dados: Misturar dados originais e transliterados.
  • Aumento de Vocabulário: Expandir o vocabulário do tokenizador para incluir formas transliteradas.
• Nível de Entrada (Input):
  • Concatenação Direta: Colar a frase original e a transliterada (aumenta o comprimento da sequência).
  • Fusão de Embeddings: Combinar vetores de embedding das duas formas sem aumentar o comprimento da sequência.
• Nível de Arquitetura:
  • Multi-Encoder: Usar codificadores separados para cada script.
  • Script Adapters: Adicionar adaptadores paralelos treinados especificamente para cada script, fundindo suas saídas.
  • Objetivos de Alinhamento: Usar perda contrastiva para forçar representações próximas entre o texto original e sua transliteração.
• Nível de Inferência:
  • Ensemble Multi-fonte: Treinar modelos separados para cada forma e fazer média das probabilidades.
  • Prefixos Específicos de Script: Usar tokens especiais para indicar o script ao modelo.
  • Prompting em LLMs: Usar instruções e exemplos em múltiplos scripts para in-context learning.

3. Principais Contribuições e Resultados

O artigo não apenas mapeia o campo, mas oferece diretrizes práticas baseadas em evidências empíricas:

• Melhor Abordagem de Integração: Estudos comparativos (ex: Sun et al., 2022) indicam que o Self-Ensemble Multi-Fonte (treinar um único modelo com dados mistos e usar prefixos ou ensemble leve na inferência) frequentemente supera arquiteturas complexas como Multi-Encoder ou concatenação direta, oferecendo ganhos significativos com simplicidade arquitetural.
• Adaptadores de Script vs. Transliteração Direta: A transliteração direta cria sobreposição léxica, mas pode introduzir "falsos positivos" semânticos. O uso de Script Adapters (Lee et al., 2024) permite que o modelo aprenda representações livres de conflito para cada script, fundindo-os posteriormente, evitando interferência negativa de gradientes.
• Alinhamento Contrastivo: Abordagens que usam objetivos de alinhamento (como TransliCo) forçam o modelo a alinhar representações globais e token-level entre scripts, melhorando a transferência sem a sobrecarga computacional de processar sequências concatenadas na inferência.
• Por que a Romanização Funciona: A romanização (transliteração para o alfabeto latino) é a estratégia mais dominante e eficaz devido a:
  1. Viés dos Modelos: LLMs modernos são centrados no inglês e têm melhor desempenho com scripts latinos.
  2. Redução de Fertilidade: A romanização reduz drasticamente o número de subpalavras (tokens) necessárias para representar uma frase (fator de 2x a 4x), economizando custos de inferência e memória.
  3. Dados do Mundo Real: A existência massiva de dados mistos (code-switching) e empréstimos linguísticos em latim na internet.
• Romanização Latente em LLMs: Uma descoberta recente (Saji et al., 2025) sugere que LLMs podem internalizar um processo de "Romanização Latente", onde camadas intermediárias representam tokens não-latinos em fonética latina antes de gerar a saída no script nativo, sugerindo que a transliteração explícita pode ser menos necessária em modelos muito grandes, mas ainda crucial para modelos menores ou tarefas específicas.

4. Significância e Recomendações

O artigo conclui que a transliteração é uma ferramenta poderosa, mas não universal.

• Quando usar: É altamente benéfico para línguas de baixo recurso relacionadas a línguas de alto recurso (mesmo que em scripts diferentes), para lidar com dados de code-mixing e para reduzir custos de inferência via redução de tokens.
• Quando evitar: Pode ser prejudicial se a transliteração romper conexões semânticas aprendidas (ex: transliterar uma língua que já compartilha script com um modelo pré-treinado) ou se a perda de nuances semânticas (comum em línguas logográficas como o chinês) for crítica.
• Desafio de Geração: Para tarefas generativas, a transliteração cria um gargalo, pois o usuário final geralmente precisa do script nativo. Soluções como back-transliteration reversível (baseada em Huffman) ou modelos multi-script aware são recomendadas para evitar perda de informação na saída.
• Futuro: A pesquisa deve focar em entender os mecanismos internos de como a transliteração funciona em LLMs modernos (especialmente decoder-only) e desenvolver métodos que integrem a transliteração sem sacrificar a fidelidade semântica ou a eficiência.

Em resumo, o artigo posiciona a transliteração não apenas como um truque de pré-processamento, mas como um componente estratégico essencial para superar as limitações de dados e arquitetura em modelos de linguagem multilíngues, com a romanização desempenhando um papel central devido à sua eficiência e alinhamento com os priors dos modelos atuais.