Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

Resumo Técnico: LOONG – Um Agente de Tradução de Documentos Longos Semelhante a um Humano

Declaração do Problema
A tradução automática em nível de documento (DocMT) permanece um desafio significativo para os Modelos de Linguagem de Grande Escala (LLMs). Embora os LLMs se destaquem na tradução em nível de frase, eles lutam com documentos longos devido a janelas de contexto limitadas, que impedem a coesão global, e à presença de informações contextuais redundantes que degradam a qualidade da tradução. Abordagens existentes frequentemente falham em manter um alinhamento estrito em nível de frase (métodos Doc2Doc) ou incorporam indiscriminadamente contexto extrínseco, introduzindo ruído que leva a desempenho subótimo. Além disso, métodos padrão de fragmentação (chunking) frequentemente falham à medida que o comprimento do documento aumenta, causando o excedimento dos limites de capacidade do contexto e resultando em falha na tradução.

Metodologia
Os autores propõem o LOONG, um agente de tradução de documentos longos semelhante a um humano, projetado para mimetizar os processos cognitivos de tradutores humanos profissionais. A metodologia é construída sobre três componentes principais:

1. Módulo de Memória Semelhante a um Humano (3E):
   O LOONG emprega uma arquitetura de memória multi-granularidade atualizada após o processamento de cada segmento de documento. Este módulo armazena três tipos distintos de informações históricas:

   • Essência: Resumos globais de segmentos anteriores para capturar a progressão semântica e sinais de gênero.
   • Exemplares: Pares de frases bilíngues (fonte-alvo) para manter a consistência estilística e fornecer demonstrações em contexto.
   • Entidades: Registros estruturados de entidades (por exemplo, personagens, organizações) com nomes bilíngues e atributos específicos de domínio para garantir precisão terminológica.

2. Seleção Adaptativa de Contexto Observar-e-Agir:
   Em vez de atender passivamente a todo o histórico recuperado, o LOONG utiliza um mecanismo de raciocínio profundo para distinguir contexto útil de redundância. O agente executa um processo de raciocínio sequencial de 3 etapas para cada segmento:

   • Observar: O agente observa o segmento atual juntamente com itens candidatos recuperados das memórias de Essência, Exemplar e Entidade.
   • Agir: O agente gera um pensamento de raciocínio analisando a relevância semântica de cada candidato e seleciona o subconjunto ótimo para tradução.
   • Decomposição Sequencial: Para gerenciar o espaço de busca combinatório, o agente explora estratégias de seleção de contexto para cada tipo de memória (Essência, depois Exemplar, depois Entidade) sequencialmente, em vez de conjuntamente.

3. Aprendizado por Reforço e Alinhamento:

   • Construção de Dados de Preferência: O sistema amostra trajetórias diversas de "observar-e-agir" para construir conjuntos de dados de preferência. Ele identifica ações de seleção de contexto preferidas e não preferidas e saídas de tradução com base em métricas de qualidade (sCOMET).
   • Treinamento: O agente é otimizado por meio de um processo de duas etapas: Ajuste Fino Supervisionado (SFT) de inicialização fria em instâncias preferidas, seguido por Otimização Direta de Preferência (DPO) usando o conjunto completo de dados de preferência. A Adaptação de Baixo RANK (LoRA) é utilizada para melhorar a eficiência do treinamento.
   • Inferência com Alinhamento Forçado: Para garantir um alinhamento estrito em nível de frase entre a fonte e o alvo (crucial para avaliação e atualizações de memória), o LOONG emprega um algoritmo recursivo. Se uma saída do LLM falhar em alinhar-se com os limites de frase da fonte, o segmento é dividido recursivamente até que o alinhamento seja alcançado.

Principais Contribuições

• Agente LOONG: O desenvolvimento de um agente DocMT que recupera e identifica adaptativamente informações contextuais úteis por meio de raciocínio profundo, em vez de depender de janelas de contexto estáticas.
• Estratégia de Exploração Sequencial: Um método inovador para construir dados de preferência decompondo o processo de seleção de contexto em etapas sequenciais, permitindo feedback granular sobre a utilidade de tipos específicos de contexto (Essência, Exemplar, Entidade).
• Algoritmo com Alinhamento Forçado: Um algoritmo especializado para tradução em nível de documento que garante correspondência estrita em nível de frase entre os documentos fonte e alvo gerados, combinando os pontos fortes das abordagens Doc2Sent e Doc2Doc.

Resultados Experimentais
Avaliações empíricas foram conduzidas em tarefas de tradução Inglês $\Leftrightarrow$ Chinês, Alemão e Francês, através de vários modelos base (Qwen2.5/3, Llama3.1) e domínios (Notícias, Fala, Literário).

• Ganhos de Desempenho: O LOONG alcançou melhorias substanciais sobre as linhas de base (Frase, Segmento, Doc2Doc e o agente baseado em memória DELTA). Ele demonstrou ganhos médios de até 13,0 pontos nas métricas em nível de frase (sCOMET), em nível de documento (dCOMET) e LLM-como-Juiz.
• Robustez: O agente exibiu forte generalização em domínios não vistos (por exemplo, romances web, palestras TED) e idiomas (incluindo pares de baixo recurso como Tcheco, Português e Russo $\to$ Inglês).
• Resistência a Ruído: Em experimentos com ruído de pseudo-contexto injetado, o LOONG manteve desempenho estável, enquanto os métodos de linha de base sofreram degradação significativa.
• Estabilidade em Documentos Ultra-Longos: Em um estudo de caso traduzindo os primeiros 12 capítulos de Jornada ao Oeste (Chinês $\to$ Português), o LOONG completou com sucesso a tarefa sem transbordamento de contexto, enquanto métodos padrão de histórico completo falharam assim que o documento excedeu os limites do contexto.

Significado
O artigo afirma que o LOONG aborda os gargalos de longa data da tradução em nível de documento, especificamente a coesão e a coerência em textos ultra-longos. Ao preencher a lacuna entre as capacidades de raciocínio profundo e a tradução em nível de documento, o LOONG demonstra que a seleção de contexto adaptativa e orientada por raciocínio é superior à inclusão indiscriminada de contexto. O trabalho sugere que tais agentes podem ser implantados diretamente em diversos domínios sem ajuste adicional, oferecendo uma solução robusta para tarefas de tradução de documentos longos de alta qualidade, onde manter a consistência global e a precisão terminológica é crítico.