Resumo Técnico: O Preço do Raciocínio em RLVR para Tradução Automática Neural

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) emergiu como um paradigma de treinamento superior para Grandes Modelos de Linguagem (LLMs) em Tradução Automática Neural (NMT), particularmente para documentos jurídicos onde as capacidades de raciocínio são críticas. No entanto, existe uma tensão prática: embora modelos aprimorados pelo raciocínio geralmente produzam uma qualidade de tradução superior, eles geram significativamente mais tokens de saída, levando ao aumento da latência de inferência e dos custos computacionais.

A questão central abordada é se a inclusão de traços de raciocínio explícitos (processos de pensamento) é genuinamente necessária durante as fases de treinamento e de inferência. Especificamente, o artigo investiga o equilíbrio entre custo e qualidade: o ganho marginal na qualidade da tradução justifica o aumento substancial na geração de tokens e nos custos de inferência? Além disso, explora-se se configurações desalinhadas — como treinar com raciocínio, mas inferir sem ele, ou vice-versa — resultam em desempenho subótimo ou desperdício de recursos.

Metodologia

Os autores conduziram um estudo sistemático utilizando o conjunto de dados SwiLTra-Bench, um benchmark de tradução jurídica suíça. O design experimental envolveu o ajuste fino (fine-tuning) de modelos Qwen3.5 (variantes de 4B e 9B de parâmetros) usando Otimização de Política Relativa de Grupo (GRPO - Group Relative Policy Optimisation).

Configurações Experimentais

O estudo manipulou duas variáveis independentes:

1. Fase de Treinamento: Os modelos foram treinados com traços de raciocínio (exigindo que o modelo gere pensamentos dentro de tags <thoughts>) ou sem (impondo tags de pensamento vazias).
2. Fase de Inferência: Os modelos treinados foram avaliados habilitando ou desabilitando a geração de traços de raciocínio durante a inferência.

Isso resultou em quatro configurações distintas para cada tamanho de modelo:

• [T:✓, I:✓]: Treinado com raciocínio, inferido com raciocínio.
• [T:✓, I:✗]: Treinado com raciocínio, inferido sem raciocínio.
• [T:✗, I:✓]: Treinado sem raciocínio, inferido com raciocínio.
• [T:✗, I:✗]: Treinado sem raciocínio, inferido sem raciocínio.

Métricas de Avaliação e Estimativa de Custo

• Qualidade: A qualidade da tradução foi avaliada usando chrF, METEOR, COMET e MetricX. Os autores priorizaram o COMET devido à sua forte correlação com o julgamento de especialistas humanos em textos jurídicos.
• Custo: Os custos de inferência foram estimados com base no tempo de execução e em um custo horário padronizado de GPU ($0,79/hora), derivado de depreciação, consumo de energia e manutenção. Os custos de treinamento foram também estimados com base no número de amostras de treinamento (com checkpoints a cada 100 amostras) e no tempo total de execução.
• Eficiência: O estudo rastreou o número de tokens gerados para quantificar o overhead introduzido pelo raciocínio.

Principais Contribuições e Descobertas

1. A Necessidade de Configurações de Raciocínio Consistentes

Os experimentos revelaram que configurações desalinhadas são prejudiciais:

• Treinar com Raciocínio, Inferir sem ([T:✓, I:✗]): Esta configuração resultou em uma qualidade de tradução abaixo da baseline de modelos treinados sem raciocínio. O modelo falhou em aproveitar as capacidades de raciocínio aprendidas durante o treinamento quando estas foram suprimidas na inferência.
• Treinar sem Raciocínio, Inferir com ([T:✗, I:✓]): Embora esta configuração tenha melhorado a qualidade em relação à baseline, ela incorreu em um aumento massivo nos custos de inferência (2,3x a 2,5x mais tokens) sem atingir os mesmos níveis de qualidade dos modelos treinados com raciocínio.

2. A Superioridade de [T:✓, I:✓]

A configuração onde o raciocínio é habilitado em ambas as fases, treinamento e inferência ([T:✓, I:✓]), alcançou consistentemente a maior qualidade de tradução (por exemplo, uma pontuação COMET de 82,50 para o Qwen3.5 9B). Crucialmente, o treinamento com raciocínio atua como um mecanismo de "domesticação": ele força o modelo a gerar traços de raciocínio mais compactos.

• Modelos treinados com raciocínio geraram significativamente menos tokens durante a inferência em comparação com aqueles treinados sem ele, mas forçados a raciocinar na inferência.
• Para o Qwen3.5 9B, habilitar o raciocínio na inferência para um modelo treinado sem raciocínio aumentou a contagem de tokens em 230% em comparação com um modelo treinado com raciocínio.

3. Tradeoffs entre Custo-Qualidade e a Fronteira de Pareto

O estudo mapeou a relação entre o custo de inferência e a qualidade da tradução, identificando uma fronteira de Pareto.

• A configuração [T:✓, I:✓] para o modelo de 9B situa-se na fronteira, oferecendo o melhor equilíbrio entre qualidade e custo.
• A configuração [T:✗, I:✓] (treinar sem, inferir com) é estritamente dominada; ela custa significativamente mais para uma qualidade menor do que a sua contraparte [T:✓, I:✓].
• Os autores observam que, enquanto os custos de treinamento são uma despesa fixa única, os custos de inferência acumulam-se ao longo do tempo. Portanto, otimizar a eficiência da inferência (ao treinar com raciocínio para reduzir o inchaço de tokens) é economicamente superior para implantações de longo prazo.

4. Eficiência de Dados

O estudo observou que a qualidade da tradução atinge um platô após aproximadamente 1.000 a 1.500 amostras de treinamento no conjunto de dados SwiLTra-Bench. Além deste ponto, dados de treinamento adicionais geram retornos decrescentes que não justificam o aumento desproporcional do custo computacional.

Significância e Alegações

O artigo afirma que o "Preço do Raciocínio" não é meramente uma função da fase de inferência, mas é fundamentalmente moldado pelo paradigma de treinamento.

• O raciocínio não é apenas um artefato de tempo de inferência: A capacidade de raciocinar de forma eficaz e compacta deve ser cultivada durante o treinamento.
• Viabilidade Econômica: Para tradução automática jurídica, a abordagem mais economicamente defensável é treinar modelos com traços de raciocínio e manter esse modo durante a inferência. Esta abordagem maximiza a qualidade enquanto minimiza o "imposto sobre tokens" associado à geração de raciocínio não estruturado ou não treinado.
• Mudança Estratégica: As descobertas apoiam uma mudança na indústria, saindo da busca por modelos cada vez maiores para a engenharia de implantações eficientes e mensuráveis, onde o tradeoff custo-qualidade é gerenciado explicitamente através da consistência entre treinamento e inferência.

Os autores concluem que, para domínios jurídicos, limitar o treinamento a amostras de alta qualidade (aprox. 1.500) e manter um modo de "pensamento" consistente entre o treinamento e a inferência oferece o equilíbrio ideal entre confiabilidade jurídica e custo operacional.