Resumo Técnico: Hermes the Polyglot

Definição do Problema

A legendagem interlingual envolve a tradução de legendas de mídia visual (filmes, séries de TV) para uma língua alvo. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na tradução automática geral, eles enfrentam dificuldades com as restrições específicas da tradução de legendas. O artigo identifica quatro desafios primários:

1. Coerência Semântica: Os LLMs possuem capacidades limitadas de tokens de entrada, tornando difícil o processamento de programas inteiros de uma só vez. A segmentação inadequada das linhas de legenda interrompe o contexto, levando a traduções incoerentes.
2. Referência de Pronomes: Diferenças culturais e linguísticas nos sistemas de pronomes (ex: honoríficos em japonês/coreano ou omissão de prônome) causam erros quando a identidade do falante é ambígua.
3. Tradução de Terminologia: A mídia visual frequentemente contém nomes próprios especializados (nomes, locais, itens) que exigem tradução precisa, consistente e consciente do contexto, algo que os LLMs padrão muitas vezes falham em manter.
4. Expressividade da Tradução: Além da precisão, o público exige traduções que sejam naturais (em conformidade com a gramática/cultura da língua alvo) e vívidas (transmitindo emoção, tom e atmosfera). Os modelos padrão costumam produzir traduções literais e planas.

Metodologia: O Framework Hermes

Os autores propõem o Hermes, um framework unificado baseado em LLM, projetado para enfrentar esses desafios por meio de três módulos integrados e uma estratégia de treinamento específica.

1. Diarização de Locutor (Speaker Diarization - SD)

Este módulo anota os locutores para cada linha de legenda para resolver a ambiguidade de pronomes e guiar a segmentação consciente do contexto.

• Integração Multimodal: Combina modalidades visuais e de fala. Características visuais (embeddings de face via CurricularFace) e características de áudio (embeddings de timbre via ERes2NetV2) são extraídas.
• Agrupamento e Registro: O agrupamento visual serve como âncora para o registro do locutor. Os clusters de áudio são mapeados para os clusters visuais via votação para criar protótipos de locutores.
• Suplementação: Para lidar com a assincronia audiovisual (onde os locutores não estão visíveis), o sistema compara os embeddings de timbre de linhas não detectadas contra os protótipos registrados. Uma estratégia inovadora de "suplementação de locutor" agrupa linhas adjacentes com base em limiares de similaridade; se um grupo carece de um locutor detectado, ele é registrado como um novo locutor com base no embedding de timbre médio.

2. Identificação de Terminologia (Terminology Identification - TI)

Este módulo garante a tradução precisa e consistente de nomes próprios.

• Abordagem de Destilação de Conhecimento: Um LLM pronto para uso (Qwen-Max) é utilizado em um cenário de one-shot para detectar termos, seus tipos e traduções a partir de corpora paralelos bilíngues.
• Filtragem e Votação: Os resultados candidatos brutos são filtrados e submetidos a votação para determinar o tipo canônico e a tradução de cada termo.
• Treinamento Especializado: Um LLM de terminologia dedicado ($\pi_{term}$) é treinado em um dataset construído para recuperar e traduzir esses termos durante a inferência, garantindo consistência ao longo do programa.

3. Melhoria de Expressividade (Expressiveness Enhancement - EE)

Este módulo otimiza o modelo de tradução para naturalidade e vivacidade usando uma técnica inovadora chamada Otimização de Preferência Adaptativa por Segmento (Segment-wise Adaptive Preference Optimization - SAPO).

• Otimização de Preferência Local: Ao contrário da preferência de alinhamento padrão (ex: DPO) que trata toda a resposta como uma única unidade, o SAPO trata cada linha de legenda como um segmento. Isso é necessário porque a tradução de uma linha depende de seu contexto específico dentro da sequência.
• Estratégia de Amostragem: Para cada linha de origem, o modelo amostra múltiplas traduções candidatas. Um LLM avaliador (LLM-as-a-Judge) pontua esses candidatos em termos de expressividade.
• Pesagem Adaptativa: A perda de treinamento aplica pesos adaptativos aos segmentos. Uma função de portão (gating function) exclui segmentos de baixa diversidade ou baixa qualidade (ruído), enquanto um score de importância prioriza segmentos com variações de tradução ricas.
• Treinamento: O modelo de tradução final ($\pi_{st}$) é treinado usando uma perda de preferência (ex: DPO) nesses pares de nível de segmento, guiado pelo processo de amostragem SAPO.

Principais Contribuições

1. Definição de Tarefa: O artigo define formalmente a legendagem interlingual como uma tarefa de tradução automática multimodal, identificando sistematicamente desafios únicos de coerência, pronomes, terminologia e expressividade.
2. Framework Unificado: A proposta do Hermes, que integra diarização de locutor audiovisual/de áudio, identificação de terminologia via destilação de conhecimento e uma técnica de otimização de preferência por segmento.
3. Framework de Avaliação: A construção de um framework de avaliação multidimensional baseado em "LLM-as-a-Judge", avaliando precisão (precisão de pronome, consistência de terminologia, precisão de tradução) e expressividade (naturalidade, vivacidade).
4. Desempenho: Resultados experimentais demonstrando que o Hermes alcança o estado da arte em diarização de locutor e gera traduções mais expressivas e contextualmente coerentes do que as linhas de base existentes.

Resultados Experimentais

O framework foi avaliado em um dataset multilíngue (plataforma Youku) cobrindo direções como en$\Rightarrow$de, en$\Rightarrow$fr, en$\Rightarrow$zh, ko$\Rightarrow$zh, zh$\Rightarrow$en, e zh$\Rightarrow$th.

• Qualidade de Tradução: O Hermes (especificamente o modelo de 14B treinado com SAPO) superou significativamente os modelos tradicionais (NLLB, MADLAD, Google Translate) e baselines competitivos (VideoDubber).
  • Alcançou pontuações mais altas em Precisão (Precisão de Pronome e Consistência de Terminologia) e Naturalidade comparado a LLMs de chat de fronteira (GPT-4o, Qwen-Max) e modelos de raciocínio (DeepSeek-R1, GPT-5).
  • Crucialmente, o Hermes alcançou as pontuações de Vivacidade mais altas em todas as direções, ocasionalmente superando LLMs de fronteira, indicando uma capacidade superior de transmitir emoção e tom.
  • Em direções de baixos recursos (ex: ko$\Rightarrow$zh, zh$\Rightarrow$th), o Hermes destacou-se em todas as dimensões.
• Diarização de Locutor: O módulo SD alcançou desempenho superior (menor DER e JER) em comparação com baselines apenas de áudio (VBx, Spectral Clustering) e o método tri-modal SOTA (E2CP), particularmente em cenários desafiadores como programas dialetais.
• Avaliação Humana: Comparações pareadas com referências humanas e outras baselines confirmaram a confiabilidade do framework "LLM-as-a-Judge", com o Hermes mostrando altas taxas de vitória em naturalidade e vivacidade.
• Estudos de Ablação:
  • A função de portão adaptativa no SAPO foi identificada como o componente mais crítico para reduzir o ruído.
  • Modelos de backbone maiores (14B) performaram melhor que os menores (8B), embora o SAPO tenha melhorado todos os backbones em relação ao SFT padrão.
  • O DPO foi considerado a perda de alinhamento mais estável e eficaz entre os testados (DPO, SimPO, GRPO).

Significância

O artigo afirma que o Hermes avança a pesquisa em legendagem interlingual ao ir além da simples precisão de tradução para abordar os requisitos holísticos de localização. Ao integrar pistas multimodais (visuais/áudio) e empregar uma estratégia de otimização por segmento, o framework consegue preencher a lacuna entre as restrições rígidas dos formatos de legenda e a natureza matizada e expressiva do diálogo humano. O trabalho demonstra que, com adaptações arquiteturais específicas e otimização de preferência, os LLMs podem superar tanto os sistemas tradicionais de tradução automática quanto os modelos de propósito geral de fronteira no domínio especializado da localização de mídia visual.