Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation

Resumo Técnico: Refinamento Iterativo para Tradução de Dialetos Coreanos

1. O Problema

A tradução automática de línguas padrão para dialetos (Standard-to-Dialect) enfrenta dois desafios principais na era dos Grandes Modelos de Linguagem (LLMs):

• A Lacuna Dialetal: Existe uma disparidade significativa de desempenho entre a tradução para línguas padrão e para dialetos. Os LLMs tendem a falhar na geração de características dialetais autênticas, muitas vezes produzindo saídas que são cópias quase literais do texto fonte em padrão (fenômeno conhecido como "False Success" ou Sucesso Falso).
• Viés nas Métricas de Avaliação: As métricas tradicionais baseadas em n-gramas (como BLEU e chrF++) são estruturalmente inadequadas para avaliar traduções dialetais. Elas penalizam a divergência léxica necessária para o dialeto e favorecem a sobreposição superficial com o texto fonte. Isso resulta em uma avaliação distorcida onde cópias do padrão recebem pontuações altas, enquanto tentativas genuínas de gerar dialetos (que alteram a estrutura léxica) recebem pontuações baixas.

2. Metodologia: O Framework DIA-REFINE

Os autores propõem o DIA-REFINE (Dialect Refinement), um framework de refinamento iterativo que guia os LLMs para saídas dialetais fiéis utilizando feedback externo.

• Classificadores de Dialetos Externos:
  • Foi construído um conjunto de dados com 50.000 amostras cobrindo três dialetos principais da Coreia (Jeolla, Gyeongsang e Jeju), além de classes para "Padrão" e "Desconhecido".
  • Um ensemble de classificadores (combinando modelos como KcELECTRA e KoSimCSE-RoBERTa) foi treinado para atingir uma precisão de ~94,92% na identificação do dialeto alvo.
• Loop Iterativo (Tradução-Verificação-Feedback):
  1. O LLM gera uma tradução inicial.
  2. O ensemble de classificadores verifica se a saída pertence ao dialeto alvo.
  3. Feedback Explícito: Se a classificação falhar, o modelo recebe um prompt contendo feedback explícito indicando qual dialeto incorreto foi detectado e instruções para reescrever a tradução, refletindo as características do dialeto alvo.
  4. O processo repete-se (até 2 tentativas de reescrita).
  5. Detecção de Oscilação: Se o modelo oscilar entre erros consecutivos, um prompt específico é inserido para quebrar o ciclo e forçar a convergência para o dialeto correto.
• Variações do Framework:
  • DIA-REFINE(S): Gera uma única candidata por tentativa.
  • DIA-REFINE(M): Gera múltiplas candidatas ($k$), seleciona a melhor baseada na probabilidade posterior do classificador e verifica apenas essa. Esta abordagem expande o espaço de busca.

3. Contribuições Principais

1. Framework de Refinamento Dialetal (DIA-REFINE): Um mecanismo eficaz para controlar a geração de LLMs, utilizando feedback de classificadores externos para garantir fidelidade dialetal, superando as limitações do zero-shot e do in-context learning (ICL) isolados.
2. Novas Métricas de Avaliação: Para contornar os vieses das métricas baseadas em n-gramas, os autores introduzem:
   • DFS (Dialect Fidelity Score): Uma métrica contínua baseada em embeddings que mede a distância semântica entre a hipótese e o texto fonte (padrão) versus a referência (dialeto). Um DFS positivo indica uma mudança bem-sucedida em direção ao dialeto.
   • TDR (Target Dialect Ratio): A proporção de saídas classificadas corretamente como o dialeto alvo pelo ensemble de classificadores.
3. Análise de "False Success" vs. "True Attempt": Demonstração empírica de que métricas tradicionais falham em distinguir entre cópias do padrão (alta pontuação BLEU, baixa fidelidade) e tentativas genuínas de tradução dialetal (baixa pontuação BLEU, alta fidelidade).

4. Resultados e Análise

Os experimentos foram conduzidos em cinco LLMs (incluindo modelos coreanos como HyperCLOVAX e EXAONE, e modelos globais como Llama-3.1 e Gemini-1.5) traduzindo para os dialetos Jeolla, Gyeongsang e Jeju.

• Eficácia do DIA-REFINE: O framework melhorou consistentemente a fidelidade dialetal. A combinação de ICL + DIA-REFINE(M) produziu os melhores resultados, alcançando um TDR de 0,62 (média entre modelos) e um DFS positivo de 0,09, comparado a TDRs negativos ou próximos de zero nas linhas de base.
• Desempenho do Gemini-1.5: Este modelo mostrou a maior capacidade de adaptação, atingindo um TDR de 0,99 com DIA-REFINE(M), embora suas pontuações BLEU tenham caído (confirmando a divergência entre métricas tradicionais e fidelidade dialetal).
• Limitações dos Modelos: Modelos como HyperCLOVAX e Llama-3.1 exibiram uma tendência mais forte a "False Success", mostrando menor sensibilidade ao feedback de refinamento em comparação ao Gemini-1.5.
• Validação das Métricas: As novas métricas (DFS e TDR) conseguiram identificar corretamente casos onde o BLEU falhava. Por exemplo, o Gemini-1.5 foi classificado erroneamente como o pior modelo pelo BLEU no cenário zero-shot, mas foi o melhor quando avaliado pelo TDR.

5. Significado e Impacto

• Inclusividade Linguística: O trabalho oferece um caminho robusto para preservar e digitalizar dialetos regionais (especificamente na Coreia, mas com aplicabilidade global), combatendo a marginalização de variedades linguísticas não padrão em sistemas de IA.
• Reavaliação de Métricas: O estudo fornece evidências críticas de que as métricas padrão de tradução automática são insuficientes para tarefas de dialetos e propõe um novo padrão de avaliação (DFS/TDR) que prioriza a fidelidade linguística sobre a sobreposição superficial.
• Controle de Geração: Demonstra que o uso de feedback externo iterativo é uma estratégia viável e superior para alinhar LLMs a objetivos de estilo linguístico específicos, superando as limitações do prompting estático.

Em suma, o artigo estabelece um novo paradigma para a tradução dialetal, combinando um framework de refinamento iterativo com métricas de avaliação especializadas para garantir que os LLMs não apenas traduzam o significado, mas também capturem a identidade cultural e linguística dos dialetos.