LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages

Resumo Técnico: LEVOS

1. O Problema

A tradução de termos técnicos para línguas indianas de baixo recurso (low-resource) enfrenta desafios significativos devido à escassez de dados paralelos e à complexidade das estruturas linguísticas. Embora o inglês seja a língua predominante na educação e na academia, a disseminação de conhecimento em línguas regionais é crucial para a inclusão educacional na Índia.

• Desafio Principal: A geração de léxicos técnicos precisos para línguas com poucos dados digitais.
• Complexidade Linguística: Muitas línguas indianas (Indo-arianas e Dravidianas) compartilham uma grande sobreposição vocabular com o sânscrito, mas a formação de palavras compostas e as regras de sandhi (junção fonética) tornam a segmentação e a tradução automática difíceis.
• Limitação Atual: Métodos tradicionais de tradução automática neural (NMT) muitas vezes falham em capturar nuances técnicas ou geram traduções imprecisas devido à falta de contexto específico de domínio.

2. Metodologia

Os autores propõem uma abordagem inovadora chamada LEVOS, que utiliza a sobreposição vocabular com o sânscrito para enriquecer a entrada de modelos de tradução. O processo divide-se em duas etapas principais:

A. Segmentação de Palavras em Sânscrito (SWS) com CharSS

• Objetivo: Decompor palavras compostas sânscritas em suas unidades léxicas significativas (subpalavras), lidando com mudanças morfofonêmicas e regras de sandhi.
• Modelo: Utilização de um modelo Transformer baseado em caracteres (especificamente ByT5 - Byte-Level Text-to-Text Transfer Transformer).
• Inovação: Diferente de modelos baseados em tokens, o ByT5 processa o texto como sequências de bytes/caracteres, permitindo lidar com scripts diversos e palavras raras sem necessidade de tokenização prévia específica.
• Formato de Saída: O modelo recebe uma palavra sânscrita e a segmenta em sub-unidades separadas pelo símbolo +, delimitadas por & (início) e $ (fim).
• Pré-processamento: Normalização de dados (ex: conversão de anusvāra para caracteres específicos) e conversão de script (Devanagari para SLP1) para treinamento.

B. Tradução de Termos Técnicos com Aumento de Entrada (Input Augmentation)

• Estratégia: Em vez de treinar apenas com pares Inglês-Língua Alvo, o método utiliza o Hindi (língua de recursos relativamente ricos) como ponte.
• Fluxo de Trabalho:
  1. Pega-se o termo técnico em inglês e sua tradução em hindi.
  2. Remove-se os afixos específicos do hindi para obter o lemma.
  3. Aplica-se o modelo CharSS para segmentar o termo sânscrito/hindi em subpalavras significativas.
  4. Essas subpalavras sânscritas são adicionadas como entrada aumentada ao modelo de tradução neural (NLLB - No Language Left Behind).
• Motivação: Aproveitar a raiz etimológica comum entre o sânscrito e as línguas indianas alvo para desambiguar o domínio do termo e melhorar a precisão, especialmente em cenários zero-shot (línguas alvo não vistas durante o treinamento).

3. Contribuições Principais

1. Modelo CharSS: Apresentação de um modelo Transformer baseado em caracteres para segmentação de palavras compostas sânscritas, superando métodos anteriores em precisão de localização e divisão.
2. Método de Aumento de Entrada: Proposta de um método que utiliza dados de Hindi e segmentação sânscrita para gerar léxicos técnicos informados linguisticamente para línguas de baixo recurso.
3. Validação Empírica: Demonstração abrangente da eficácia do método em múltiplos domínios (Administrativo, Biotecnologia, Química) e para várias línguas indianas (Hindi, Marathi, Gujarati, Kannada, Tamil, Odia, Punjabi, Malayalam).

4. Resultados e Desempenho

Os experimentos foram conduzidos utilizando o modelo NLLB (1.3B parâmetros) e avaliados principalmente pela métrica chrF++.

• Segmentação (SWS): O modelo CharSS alcançou desempenho superior em conjuntos de dados de referência (UoH+SandhiKosh), superando baselines como DD-RNN e Sandhi Prakarana, com ganhos absolutos de 4.86 em precisão de localização (LPA) e 6.72 em precisão de divisão (SPA).
• Tradução de Termos Técnicos (Configuração Padrão):
  • O uso de entrada aumentada com sânscrito resultou em uma melhoria média de 8.46 pontos chrF++ em comparação com a tradução apenas com entrada em inglês.
  • Melhorias consistentes foram observadas em todos os domínios, sendo mais pronunciadas em Biotecnologia e Química.
• Tradução Zero-Shot:
  • Ao treinar em Hindi, Gujarati e Tamil e testar em Marathi, Kannada e Odia, a abordagem com sânscrito manteve a superioridade, com uma melhoria média de 6.79 pontos chrF++.
• Avaliação Humana (Pós-hoc):
  • Em uma avaliação manual para Punjabi e Malayalam, o método alcançou pontuações R@1 de 0.53 e 0.46, respectivamente, superando o método LexGen (0.51 e 0.38).
  • A análise qualitativa mostrou que a entrada aumentada ajudou o modelo a desambiguar significados contextuais (ex: distinguir "massa" física de "massa" populacional) e corrigir traduções incorretas.

5. Significado e Impacto

• Educação e Inclusão: O trabalho tem implicações diretas para a criação de materiais de aprendizado acessíveis e de alta qualidade em línguas indianas, facilitando a disseminação de conhecimento técnico e reduzindo a dependência do inglês.
• Ponte de Recursos: Demonstra a viabilidade de compartilhar recursos linguísticos entre línguas relacionadas (via Hindi e Sânscrito) para impulsionar o desempenho em línguas de baixo recurso.
• Avanço Técnico: Valida que a incorporação de conhecimento linguístico estruturado (segmentação de raízes sânscritas) em modelos de IA modernos pode superar as limitações de dados paralelos escassos.

Limitações:

• A dependência de dados em Hindi para gerar a entrada aumentada, embora Hindi tenha mais recursos que outras línguas indianas, ainda é inferior ao inglês.
• O método pode ter aplicabilidade limitada em línguas que não possuem uma sobreposição vocabular significativa com o sânscrito.

Em suma, o LEVOS oferece uma solução robusta e linguisticamente fundamentada para a barreira da tradução técnica, utilizando a herança vocabular comum do sânscrito para "preencher a lacuna" de recursos em línguas indianas.