💬 NLP

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

Este artigo avalia como o escopo do prompt e as estratégias de seleção de demonstração afetam o desempenho de tradução automática de LLMs locais ajustados por instrução através de múltiplas famílias linguísticas, constatando que, embora sistemas dedicados de TA permaneçam superiores, o uso de prompts de poucos disparos baseados em incorporação (embedding) e prompts de escopo de família pode melhorar modelos maiores, apesar de introduzir desafios de saída estruturada para modelos menores.

Autores originais: Mihael Arcan

Publicado 2026-07-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mihael Arcan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que consegue falar quase qualquer idioma. Você pede a ele para traduzir uma frase de inglês para francês e ele faz um ótimo trabalho. Mas o que acontece se você pedir para ele traduzir essa mesma frase para francês, espanhol e italiano de uma só vez? Ou se você der a ele algumas frases de exemplo para mostrar como você gosta que as coisas sejam feitas antes de ele começar? Este artigo vive no mundo da Tradução Automática, que é a ciência de ensinar computadores a transformar uma língua em outra. Por muito tempo, testamos esses robôs pedindo-lhes uma coisa simples de cada vez: "Traduza isto". Mas a vida real é mais bagunçada. As pessoas frequentemente pedem vários idiomas ao mesmo tempo, ou dão ao robô uma "folha de cola" de exemplos para ajudá-lo a entender o estilo que desejam. A grande questão é: pedir mais coisas de uma vez, ou dar ao robô uma folha de cola, realmente o torna melhor ou apenas o confunde? Isso importa porque cada vez mais pessoas estão rodando esses "robôs" (chamados de Modelos de Linguagem de Grande Escala) em seus próprios computadores por questões de privacidade e velocidade, em vez de usar gigantescos servidores na nuvem. Precisamos saber se esses robôs locais estão prontos para o mundo real ou se eles só funcionam quando o teste é super simples.

Os autores deste artigo decidiram colocar esses robôs locais à prova de uma maneira muito específica. Eles não apenas pediram para traduzirem uma frase para um idioma; eles trataram a maneira como perguntavam a questão como uma variável. Eles testaram três robôs "locais" diferentes (modelos menores que você pode rodar no seu próprio computador) contra algumas máquinas de tradução dedicadas e muito sérias. Eles pediram aos robôs para traduzirem o inglês para nove idiomas europeus diferentes, agrupados em duas famílias: a família "Românica" (como francês, espanhol e italiano) e a família "Germânica" (como alemão, holandês e sueco).

Os pesquisadores tentaram três estratégias diferentes para dar "folhas de cola" aos robôs (chamadas de prompting de poucos disparos ou few-shot prompting). Primeiro, deram ao robô zero exemplos. Segundo, deram a ele cinco exemplos aleatórios. Terceiro, deram a ele cinve exemplos que foram cuidadosamente escolhidos para serem muito semelhantes à frase que queriam traduzir, seja olhando para as palavras usadas ou usando um programa de computador inteligente para encontrar significados semelhantes. Eles também testaram dois "escopos" diferentes: pedir para traduzir apenas um idioma de cada vez, ou pedir para traduzir todos os cinco idiomas de uma família de uma só vez, com as respostas organizadas ordenadamente em um formato JSON (uma estrutura de arquivo de computador específica).

Aqui está o que eles descobriram, e é um pouco de tudo: Primeiro, as máquinas de tradução dedicadas e tradicionais ainda são as campeãs. Elas são as mais confiáveis, especialmente ao traduzir para línguas germânicas. Os robôs locais estão melhorando e conseguem manter o nível para algumas línguas românicas, como espanhol e português, mas ainda não estão vencendo os profissionais.

Segundo, a estratégia da "folha de cola" depende inteiramente de qual robô você está usando. Para os dois robôs locais mais fortes (mistral:latest e qwen2.5:14b), dar exemplos realmente ajudou. Eles ficaram melhores em traduzir quando viram exemplos primeiro. Mas para o robô menor (llama3.2:3b), dar exemplos foi um desastre. Ele ficou pior quando teve que ler os exemplos extras. É como um aluno que vai muito bem em uma prova quando apenas lê a pergunta, mas fica confuso e comete erros quando você lhe mostra uma resposta de exemplo primeiro.

Terceiro, a maneira como você faz a pergunta importa muito. Quando os pesquisadores pediram aos robôs para traduzirem para todos os cinco idiomas de uma vez (o prompt de escopo de família), os robôs maiores lidaram bem com isso, produzindo uma lista organizada de traduções para cada idioma. Mas o robô menor? Ele desmoronou completamente. Ele frequentemente esquecia de traduzir alguns dos idiomas ou não conseguia seguir as instruções para colocar as respostas no formato correto. É como se o robô pequeno ficasse sobrecarregado com o grande pedido e simplesmente deixasse cair metade dos itens.

O artigo também analisou se a maneira "inteligente" de escolher exemplos (encontrar as frases mais semelhantes) era melhor do que apenas escolher exemplos aleatórios. Para os robôs que podiam usar exemplos, os exemplos inteligentes e similares ajudaram um pouco mais do que os aleatórios. Mas a diferença não foi enorme. O mais importante era simplesmente que o robô fosse capaz o suficiente para usar os exemplos de qualquer forma. Se o robô fosse muito pequeno ou estivesse confuso, nem mesmo os melhores exemplos poderiam salvá-lo.

Em resumo, este artigo sugere que não podemos apenas dizer "a tradução por IA é boa" ou "a tradução por IA é ruim". Depende de como você faz a pergunta. Se você quiser que um robô local traduza para você, precisa escolher um modelo que seja grande o suficiente para lidar com instruções complexas e múltiplos idiomas ao mesmo tempo. Se você escolher um modelo minúsculo e pedir para ele fazer muita coisa de uma vez, ou der a ele informações extras demais, ele pode falhar espetacularmente. Os autores concluem que, quando testamos essas ferramentas de tradução, não devemos olhar apenas para a qualidade da tradução; também precisamos verificar se o robô consegue seguir instruções complexas e entregar exatamente o que pedimos, sem deixar nada escapar.

Resumo Técnico: Avaliando o Escopo do Prompt e a Similaridade de Demonstração em Tradução Automática com LLMs Locais

Declaração do Problema

A avaliação tradicional de tradução automática (MT) trata a tradução como uma tarefa de par de idiomas único, onde um sistema traduz uma única frase de origem para uma única língua de destino. No entanto, os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como ferramentas de tradução de uso geral, onde os usuários podem solicitar múltiplos idiomas de destino simultaneamente, fornecer exemplos de contexto ou exigir saídas estruturadas (ex: JSON). Este artigo argumenta que os frameworks de avaliação atuais falham em capturar esses "graus de liberdade extras" inerentes ao uso de LLMs. Especificamente, investiga-se se o escopo do prompt (requisições de alvo único vs. família de alvos) e as estratégias de seleção de demonstração (aleatória, lexical vs. recuperação baseada em embeddings) impactam significativamente o desempenho de LLMs locais em hardware de consumo. O estudo foca na implantação local devido à sua relevância para privacidade, controle de custos e uso offline, observando que modelos locais menores podem ser mais sensíveis ao comprimento do prompt e às restrições de saída estruturada do que sistemas proprietários de alto nível.

Metodologia

Design Experimental

O estudo avalia a tradução de Inglês-para-Românicas e Inglês-para-Germânicas através de nove idiomas oficiais da UE (Francês, Espanhol, Italiano, Português, Romeno, Alemão, Holandês, Dinamarquês, Sueco) usando a divisão completa FLORES devtest (1.012 sentenças). As demonstrações são extraídas exclusivamente da divisão dev do FLORES para evitar vazamento de dados (data leakage).

As variáveis experimentais incluem:

Escopo do Prompt:
- Alvo único: O modelo traduz uma frase para um idioma.
- Escopo de família: O modelo traduz uma frase para todos os idiomas de uma família (Românica ou Germânica) em um único objeto JSON indexado por códigos de idioma FLORES.
Seleção de Demonstração (Few-shot):
- Zero-shot: Nenhum exemplo fornecido.
- Aleatória: $k=5$ exemplos selecionados uniformemente do conjunto dev.
- Similaridade Lexical: $k=5$ exemplos com maior similaridade de cosseno baseada em representações de bag-of-token da origem.
- Similaridade de Embedding: $k=5$ exemplos com maior similaridade de cosseno baseada em embeddings de sentenças multilingues.

Modelos e Baselines

LLMs Locais: Três modelos ajustados para instrução executados via Ollama (temperatura 0): llama3.2:3b, mistral:latest e qwen2.5:14b.
Baselines de MT Dedicados: OPUS-MT (MarianMT) e NLLB-200 (versões destiladas de 600M e 1.3B). Estes são avaliados apenas no cenário de alvo único, pois não foram projetados para o seguimento de instruções de múltiplos alvos estruturados.

Métricas de Avaliação

Qualidade de Tradução: chrF++ em nível de corpus, BLEU (via SacreBLEU) e COMET em nível de sentença.
Conformidade (apenas para escopo de família): Cobertura de alvos, taxa de saída completa, contagem de alvos ausentes e contagem de eco de prompt.
Análise Estatística: Reamostragem bootstrap pareada para intervalos de confiança e valores de p comparando o melhor LLM local contra o melhor baseline de MT.

Principais Resultados

1. Desempenho de LLMs Locais vs. MT Dedicado

Sistemas de MT dedicados permanecem como os baselines mais fortes no geral, particularmente para línguas germânicas, onde a lacuna de desempenho é substancial. LLMs locais são competitivos para alvos românicos específicos (notadamente Espanhol e Português), com o qwen2.5:14b frequentemente aproximando-se do desempenho de MT dedicado em configurações de alvo único. No entanto, nenhum LLM local iguala consistentemente os melhores baselines de MT em todas as métricas e idiomas.

2. Impacto de Prompting Few-shot

O efeito do prompting few-shot é altamente dependente do modelo:

mistral:latest e qwen2.5:14b: Ambos os modelos mostram melhorias significativas com prompting few-shot. A recuperação baseada em embeddings produz os melhores ganhos médios (ex: mistral ganha +4.60 chrF++ e +11.03 BLEU com recuperação por embedding).
llama3.2:3b: Este modelo menor degrada consistentemente em desempenho com prompting few-shot em todas as estratégias de recuperação, sugerindo que modelos menores podem ter dificuldade com o aumento do comprimento do contexto ou complexidade da instrução.

3. Eficácia da Estratégia de Recuperação

Embora a recuperação baseada em embedding forneça os melhores resultados médios para modelos que se beneficiam de exemplos, a margem sobre a recuperação aleatória e lexical é modesta. Crucialmente, a análise em nível de sentença revela que a pontuação de similaridade de um exemplo recuperado não prevê fortemente se esse exemplo específico melhorará a qualidade da tradução (correlação próxima de zero). Isso sugere que os exemplos ajudam através de múltiplos mecanismos (formatação, ancoragem de estilo, esclarecimento de tarefa) em vez de pura similaridade semântica.

4. Escopo de Família e Saída Estruturada

O prompting de escopo de família atua como um teste de estresse para a conformidade de saída estruturada:

Modelos Fortes (mistral, qwen): Mantêm alta cobertura (>96%) e produzem objetos JSON majoritariamente completos, embora a qualidade da tradução nos outputs produzidos seja ligeiramente inferior ao desempenho de alvo único.
Modelo Menor (llama3.2:3b): Sofre falhas severas de conformidade de saída estruturada. No cenário da família germânica, sua cobertura zero-shot cai para 0.343, e mesmo com recuperação por embedding, atinge apenas 0.493. Para este modelo, a tarefa de escopo de família é primariamente uma falha de conformidade de saída, não apenas de qualidade de tradução.

5. Comparação com MT Dedicado

Testes de significância pareada confirmam que as melhores condições de LLM local permanecem abaixo dos melhores baselines de MT dedicado em chrF++ para todos os alvos. A lacuna é menor para línguas românicas (média de -2.55 chrF++) do que para línguas germânicas (média de -7.26 chrF++). Pontuações COMET às vezes estreitam a lacuna ou mostram diferenças não significativas (ex: para o espanhol), mas não revertem a conclusão de que sistemas de MT dedicados são atualmente superiores no geral.

Significância e Alegações

O artigo não pretende introduzir um novo modelo de tradução ou um método para superar sistemas de MT dedicados. Em vez disso, sua principal contribuição é um design de avaliação e análise empírica demonstrando que:

O Escopo do Prompt é uma Variável Crítica: Avaliar LLMs unicamente em tradução de alvo único é insuficiente. O prompting de escopo de família revela modos de falha distintos (alvos omitidos, JSON malformado) que a avaliação de MT padrão ignora.
A Estratégia de Demonstração Importa: A escolha de exemplos few-shot (aleatórios vs. semânticos) impacta significativamente o desempenho, mas esse efeito é contingente à capacidade do modelo. Modelos menores podem ser prejudicados pelo contexto adicional.
Conformidade é Parte da Qualidade: Para tradução de múltiplos alvos, a "qualidade" deve incluir métricas de conformidade de saída estruturada (cobertura, completude). Um modelo que produz traduções fluentes, mas incompletas, não é funcionalmente equivalente a um que produz saídas completas.
Recomendações de Avaliação: A avaliação de MT baseada em LLM deve reportar resultados através de escopos de prompt, estratégias de recuperação e métricas de conformidade, não apenas pontuações específicas de par de idiomas.

Os autores concluem que, embora os LLMs locais sejam úteis e competitivos em contextos selecionados, eles devem ser implantados com mecanismos de validação em vez de serem assumidos como confiáveis, especialmente em contextos críticos de segurança onde saídas ausentes ou falhas estruturadas representam riscos reais.