💬 NLP

Reasoning Before Translation: Enhancing Legal Machine Translation with Structured Reasoning

Este artigo avalia e compara vários paradigmas de retreinamento, incluindo o ajuste fino supervisionado e o aprendizado por reforço com recompensas verificáveis, para o aprimoramento de modelos de linguagem pequenos em tradução automática jurídica suíça, constatando que, embora o aprendizado por reforço supere o ajuste fino e reduza a lacuna em relação aos modelos de raciocínio de fronteira, ele ainda fica aquém do desempenho destes e apresenta retornos decrescentes à medida que o tamanho do modelo aumenta.

Autores originais: Aixiu An, Michael Jungo, Eloi Eynard, Mark Drenhaus, Andreas Fischer, Jean Hennebert, Sébastien Rumley

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Aixiu An, Michael Jungo, Eloi Eynard, Mark Drenhaus, Andreas Fischer, Jean Hennebert, Sébastien Rumley

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a traduzir um contrato jurídico complexo de um idioma para outro. Isso não é como traduzir uma receita de cookies; é mais como traduzir o livro de regras de um videogame de alto risco, onde cada palavra altera as regras do jogo. No mundo da Inteligência Artificial, este é o domínio da Tradução Automática Neural (NMT). Pense na NMT como um cérebro de robô superinteligente que leu milhões de livros e aprendeu a adivinhar a próxima palavra em uma frase. Recentemente, cientistas descobriram que, se você der a esses robôs um passo de "pensamento" antes de falarem — como pedir que eles façam uma pausa e raciocinem sobre um problema — eles ficam muito melhores em tarefas difíceis. Esta é a era dos Modelos de Raciocínio. Mas aqui está o problema: os robôs maiores e mais inteligentes são incrivelmente caros para operar, como tentar alimentar uma cidade com uma única bateria. Por isso, pesquisadores estão perguntando: Podemos tornar robôs menores e mais baratos tão inteligentes quanto, ensinando-os como pensar, em vez de apenas dar a eles mais memória?

Este artigo mergulha exatamente nessa questão, olhando especificamente para o sistema jurídico suíço, que é um pesadelo para tradutores porque possui quatro línguas oficiais e leis que são escritas de formas muito estritas e complicadas. Os pesquisadores queriam ver se poderiam pegar modelos de IA pequenos e acessíveis e impulsionar suas habilidades de tradução jurídica usando dois métodos de treinamento diferentes: Ajuste Fino Supervisionado (SFT), que é como mostrar a um aluno as respostas corretas e as notas passo a passo de como chegar até lá, e Aprendizado por Reforço (RL), que é mais como um videogame onde o robô ganha pontos por boas traduções e perde pontos por traduções ruins, aprendendo através de tentativa e erro. Eles também testaram se forçar o robô a "pensar em voz alta" (gerar etapas de raciocínio) realmente ajudava, ou se apenas confundia o pobre coitado.

A equipe montou um experimento massivo usando um conjunto de dados de 40.000 sentenças jurídicas. Primeiro, tentaram o método de "pensar em voz alta" treinando modelos pequenos (como o Qwen3.5 4B, Qwen3.5 9B e Gemma 3 12B) para copiar as etapas de raciocínio de uma IA gigante e superinteligente. Surpreendentemente, isso não funcionou como esperado. Na verdade, para os modelos menores, forçá-los a escrever suas etapas de raciocínio tornou suas traduções piores do que se tivessem sido treinados apenas nas respostas finais. É como se dizer a um aluno nervoso para "escrever cada pensamento que você tem antes de responder" o fizesse pensar demais e errar o teste.

No entanto, quando mudaram para a abordagem de "videogame" usando Aprendizado por Reforço (especificamente um método chamado GRPO), os resultados foram fantásticos. Ao recompensar os modelos por traduções de alta qualidade e penalizar as ruins, os pequenos modelos aprenderam a traduzir leis suíças com uma precisão incrível. O melhor desempenho, um modelo de 12 bilhões de parâmetros chamado Gemma 3, tornou-se tão bom que sua qualidade de tradução ficou próxima de modelos de fronteira mais caros, que custam milhares de dólares para serem usados, embora ainda permanecesse ligeiramente inferior. Os pesquisadores descobriram que o aprendizado baseado em "recompensa" foi consistentemente melhor do que o método de "copiar as notas". Eles também descobriram que, à medida que os modelos ficavam maiores, o impulso extra desses métodos de treinamento sofisticados diminuía; os modelos minúsculos ganharam mais, enquanto os maiores melhoraram apenas um pouco.

Ao final, o artigo sugere que, embora os modelos de IA gigantes e caros ainda sejam os campeões, não precisamos necessariamente deles para tudo. Ao usar truques de treinamento inteligentes como o Aprendizado por Reforço, podemos tornar modelos de código aberto menores e mais baratos de operar, e surpreendentmente bons em lidar com traduções jurídicas complexas. O estudo descarta explicitamente a ideia de que simplesmente copiar "etapas de raciocínio" de uma IA grande ajuda os modelos pequenos; em vez disso, sugere que deixá-los aprender através de recompensas é o ingrediente secreto. Embora os modelos pequenos não tenham vencido os gigantes, eles fecharam a lacela significativamente, provando que, com o treinamento certo, um robô pequeno pode realizar um grande trabalho no mundo de alto risco do direito.

3. Experimento II (Supervised Fine-Tuning - SFT)

Metodologia: O treinamento consistiu em duas variantes: SFT Simples e SFT de Raciocínio. No SFT de Raciocínio, os modelos foram treinados para gerar um passo intermediário de raciocínio dentro de tags <think> precedendo a tradução final.
Treinamento: Utilizou-se LoRA (Rank 16, Alpha 32) com quantização de 4 bits em GPUs NVIDIA A40. Os comprimentos de sequência foram limitados a 512 tokens para o SFT Simples e 1024 para o SFT de Raciocínio para evitar repetições.

3. Experimento III (Aprendizado por Reforço - RL)

Algoritmo: Group Relative Policy Optimization (GRPO).
Mecanismo de Recompensa: Foi empregado um sistema de recompensa duplo:
- Recompensa de Formato (0.5–1.5): Baseada na presença e ordenação correta das tags <think> (raciocínio) e <translation>.
- Recompensa de Qualidade: O escore ChrF da tradução gerada em comparação com a referência (ground truth), usado diretamente como um sinal de recompensa contínuo.
Configuração: Tamanho do grupo $G=4$ , treinamento de época única com uma taxa de aprendizado reduzida ( $2e^{-5}$ ) para garantir estabilidade.

Métricas de Avaliação

O desempenho foi medido utilizando métricas lexicais (ChrF, METEOR), semânticas (COMET) e baseadas em LLM (MetricX). Uma avaliação humana também foi conduzida em um subconjunto de 240 amostras por um especialista jurídico para validar as métricas automáticas.

3. Principais Contribuições

Comparação Sistemática: Um benchmark detalhado comparando modelos de fronteira via prompting, SFT com raciocínio intermediário e otimização baseada em RL em diferentes escalas de modelos (4B–12B) em um domínio jurídico de alto risco.
Novo Conjunto de Dados: O lançamento de um conjunto de dados contendo 40.000 pares de tradução jurídica enriquecidos com etapas de raciocínio intermediário geradas automaticamente e filtradas por qualidade.
Receita de Treinamento de RL: Um framework de treinamento GRPO proposto com uma formulação de recompensa simples e verificável (combinando conformidade de formato e qualidade baseada em ChrF) adaptada para tradução jurídica.

4. Resultados

Modelos de Fronteira: O modelo OpenAI o3 alcançou o desempenho mais alto (COMET ~85.92), mas com um custo significativamente maior. O modelo Mistral-Small ofereceu uma alternativa de custo-benefício com desempenho comparável.
RL vs. SFT: O Aprendizado por Reforço superou consistentemente tanto o SFT Simples quanto o SFT de Raciocínio em todos os tamanhos de modelos e métricas.
- Desempenho do RL: O modelo Gemma 3 12B aprimorado por RL alcançou um escore COMET de 83.08, aproximando-se do desempenho do modelo de fronteira o4-mini (84.35).
- Desempenho do SFT: Contrariando a hipótese de que etapas de raciocínio explícitas melhoram o desempenho, o SFT de Raciocínio degradou a qualidade da tradução em comparação ao SFT Simples, particularmente em modelos menores (ex: Qwen3.5 4B). O próprio SFT Simples teve um desempenho marginalmente inferior aos modelos base originais.
Escala do Modelo e Retornos Decrescentes: O ganho de desempenho do RL foi mais pronunciado em modelos menores. A melhoria no escore COMET para o Qwen3.5 4B foi de +2.42 pontos, enquanto o Gemma 3 12B melhorou apenas +0.59 pontos, sugerindo retornos decrescentes à medida que o tamanho do modelo aumenta.
Correlação de Métricas: A avaliação humana revelou que o COMET teve a correlação mais forte ( $r=0.24$ ) com os julgamentos jurídicos dos especialistas, superando o ChrF, METEOR e MetricX.

5. Significância e Alegações

O artigo afirma que, embora os modelos de fronteira continuem sendo o padrão ouro para qualidade de tradução, o Aprendizado por Reforço com recompensas verificáveis é uma estratégia altamente eficaz para aprimorar modelos menores de código aberto no domínio jurídico.

Eficiência: Modelos pequenos aprimorados por RL podem alcançar qualidade de tradução competitiva usando mais de 100 vezes menos parâmetros do que os modelos de fronteira, oferecendo um caminho viável para sistemas de tradução jurídica locais e de baixo custo.
Mecanismo de Raciocínio: O estudo sugere que treinar explicitamente os modelos para gerar etapas de raciocínio via SFT pode ser contraproducente, potencialmente porque esses modelos já possuem capacidades intrínsecas de raciocínio provenientes do pré-treinamento. Em vez disso, o RL parece ser um mecanismo mais eficaz para internalizar estratégias de raciocínio e otimizar a qualidade da tradução através de sinais de recompensa.
Praticidade: As descobertas apoiam o uso de modelos pequenos aumentados por RL como uma alternativa prática às APIs proprietárias caras, desde que o equilíbrio entre custos de treinamento e economia de inferência seja favorável.

Os autores concluem que seu trabalho fornece evidências empíricas de que a integração de raciocínio explícito via RL, em vez da simples imitação de etapas de raciocínio, avança significativamente a tradução automática neural (NMT) específica de domínio.