Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation

1. Problema e Contexto

Os sistemas de Tradução Automática Neural (NMT) dependem fortemente de sinais de pontuação explícitos para resolver ambiguidades semânticas e estruturais nas frases de origem. No entanto, frases geradas por usuários frequentemente contêm pontuação ausente ou incorreta. Quando esses textos são traduzidos, os modelos NMT atuais tendem a produzir traduções fluentes, mas semanticamente desastrosas, devido à incapacidade de inferir a estrutura correta sem os sinais de pontuação.

O artigo foca no par de idiomas Inglês-Marathi, onde o Marathi é considerado uma língua de recursos baixos a médios, mas com um grande número de falantes. O trabalho destaca que erros de pontuação podem alterar fundamentalmente o significado (ex: "Vamos comer, vovó" vs. "Vamos comer vovó"), e que os modelos atuais, incluindo Grandes Modelos de Linguagem (LLMs), são sensíveis a essas variações.

2. Metodologia

Os autores propõem e avaliam duas abordagens principais para melhorar a robustez à pontuação:

• Abordagem 1: Restaurar Pontuação e Traduzir (Restore-then-Translate)

  • Esta é uma abordagem em cascata (pipeline). Primeiro, o texto em inglês sem pontuação passa por um modelo de restauração de pontuação.
  • Foram testados modelos de classificação de tokens (como bert-large-uncased e microsoft-mpnet-base) e modelos de geração texto-a-texto (como google-t5-base e o modelo Cadence do AI4Bharat).
  • O texto restaurado é então traduzido para o Marathi usando o modelo NMT base (IndicTrans2).

• Abordagem 2: Tradução Direta (Direct Fine-tuning)

  • O modelo de tradução (IndicTrans2) é ajustado diretamente (fine-tuning) em um conjunto de dados interno que inclui quatro variantes:
    1. Dados originais com pontuação.
    2. Dados com toda a pontuação removida.
    3. Combinação de ambos (2x o tamanho do conjunto).
    4. Alternância aleatória de pontuação por frase.
  • O objetivo é ensinar o modelo a inferir a estrutura sintática e semântica a partir do contexto, sem depender exclusivamente da pontuação superficial.

• Avaliação com LLMs:

  • Os autores também testaram três LLMs (Sarvam-2b-v0.5, Gemma-2-9b, LLaMA-3.1-8b) usando estratégias de zero-shot e few-shot (3 exemplos) para tradução direta e restauração prévia.

3. Contribuições Principais

O trabalho apresenta quatro contribuições significativas:

1. Estudo Pioneiro: A primeira investigação focada na robustez à pontuação na tradução automática Inglês-Marathi.
2. Benchmark Viram: A criação de um novo benchmark diagnóstico chamado Viram (palavra Marathi para "pontuação"). Ele contém 54 pares de frases manualmente curados, estruturados como: Inglês (Escrito) – Inglês (Significado Intendido) – Marathi (Significado Intendido). O conjunto de dados foi baseado em exemplos clássicos de ambiguidade de Kirkman (2006) e curado por falantes nativos de Marathi.
3. Análise Comparativa: Uma avaliação sistemática de duas estratégias complementares (restauração em cascata vs. ajuste fino direto) para lidar com a variabilidade da pontuação.
4. Análise Qualitativa e de LLMs: Uma análise detalhada dos padrões de erro e uma descoberta crítica de que os LLMs atuais (sub-10B parâmetros) apresentam robustez inferior à de estratégias específicas de tarefa para este problema.

4. Resultados e Análise

Os resultados foram avaliados no benchmark Viram e em benchmarks padrão (IN22, FLORES-22) usando métricas como BLEU, COMET, BLEURT e chrF.

• Desempenho no Benchmark Viram:

  • Ambos os métodos propostos superaram significativamente o modelo base (IndicTrans2 original).
  • A Abordagem 1 (Restauração + Tradução) com o modelo t5-base e mpnet atingiu resultados próximos ao limite superior (oracle), demonstrando que a recuperação correta dos limites das frases é crucial.
  • A Abordagem 2 (Ajuste Fino Direto) também trouxe ganhos substanciais, especialmente em robustez, embora tenha ficado ligeiramente abaixo da melhor configuração em cascata em algumas métricas.
  • LLMs: Mesmo com few-shot prompting, os LLMs avaliados (como Gemma e LLaMA) tiveram desempenho inferior aos modelos de tarefa específica (pipeline e fine-tuning), indicando que modelos genéricos ainda não são suficientes para lidar com ambiguidades de pontuação complexas sem treinamento especializado.

• Impacto em Benchmarks Padrão:

  • Ao treinar para robustez à pontuação, houve uma leve queda nas métricas em benchmarks padrão (como IN22 e FLORES-22) para alguns modelos. Isso sugere um trade-off: a melhoria na robustez à pontuação pode custar uma pequena redução em métricas de avaliação padrão que não capturam nuances semânticas profundas.

• Análise Qualitativa:

  • O modelo original falhava consistentemente em frases sem pontuação, confundindo a estrutura de cláusulas (ex: quem fez a ação em manchetes de notícias).
  • A Abordagem 2 mostrou-se particularmente estável, conseguindo inferir estruturas latentes e lógica condicional mesmo na ausência de pontuação, superando a dependência de sinais superficiais.

5. Significado e Conclusão

O artigo demonstra que a pontuação é um ponto crítico de falha para sistemas de NMT em línguas de recursos limitados como o Marathi. A criação do benchmark Viram fornece uma ferramenta essencial para diagnosticar esses problemas.

A conclusão principal é que, embora os LLMs sejam poderosos, eles ainda não superam abordagens específicas de tarefa (como ajuste fino com dados variados ou pipelines de restauração) para lidar com ambiguidades de pontuação em pares de idiomas específicos. O trabalho abre caminho para o desenvolvimento de arquiteturas híbridas e métricas de avaliação que priorizem a preservação do significado semântico em vez de apenas a similaridade superficial de superfície.

Disponibilidade: O código e o conjunto de dados (Viram) estão disponíveis publicamente no GitHub, incentivando pesquisas futuras na área de tecnologias para línguas indianas.