💬 NLP

P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs

O artigo apresenta o P3B3, um benchmark e uma estrutura de avaliação curados por especialistas que revelam um viés significativo em favor do português do Brasil sobre o português de Portugal nos atuais Grandes Modelos de Linguagem, destacando a necessidade urgente de uma representação multilíngue mais equilibrada.

Autores originais: Rafael Ferreira, Inês Vieira, Inês Calvo, James Furtado, Iago Paulo, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

Publicado 2026-06-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rafael Ferreira, Inês Vieira, Inês Calvo, James Furtado, Iago Paulo, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de robôs muito inteligentes e cultos (Large Language Models, ou LLMs) que falam português. O problema é que o português não é apenas uma única voz; é como uma família com dois primos muito distintos: o Português Europeu (falado em Portugal) e o Português Brasileiro (falado no Brasil).

Embora compartilhem o mesmo nome de família, eles falam de forma diferente. Eles usam palavras diferentes para as mesmas coisas (como "ônibus" vs. "autocarro"), interagem de formas diferentes e até organizam suas frases de maneiras únicas.

O Problema: O "Viés Brasileiro"

Os pesquisadores neste artigo notaram algo estranho. Como a internet está inundada de textos do Brasil, esses robôs leram muito mais português brasileiro do que português europeu. É como se um estudante lesse apenas livros didáticos escritos em um dialeto; quando tentam falar, acidentalmente soam como se fossem daquela região, mesmo que estejam falando com alguém do outro lado do oceano.

A equipe queria saber: Esses robôs têm um primo favorito? E se dissermos a eles, "Por favor, fale como um europeu", eles conseguem realmente fazer isso?

A Solução: P3B3 (O "Teste de Sotaque")

Para descobrir, os pesquisadores criaram um teste especial chamado P3B3. Pense nisso como um "teste cego de sabor" para a linguagem.

A Configuração: Eles não apenas perguntaram aos robôs, "O que é um ônibus?" (o que poderia disparar uma resposta específica). Em vez disso, criaram conversas naturais de múltiplos turnos sobre tópicos cotidianos, como transporte e produtos de beleza.
O Truque: As perguntas foram desenhadas para serem "agnósticas à variedade". Isso significa que as perguntas não davam pistas sobre qual sotaque usar. Era como perguntar, "Como eu chego à loja?", sem dizer "em Lisboa" ou "em São Paulo".
O Objetivo: Eles queriam ver o que os robôs diriam naturalmente. Eles usariam o sotaque brasileiro por padrão, porque é o que leram mais? Ou conseguiriam mudar de marcha se solicitados?

Como Eles Mediram

Os pesquisadores usaram dois métodos para dar nota às respostas dos robôs:

A "Polícia da Gramática" (Classificadores): Programas de computador treinados para detectar palavras e regras gramaticais específicas que pertencem a Portugal ou ao Brasil.
O "Juiz Especialista" (LLM-as-Judge): Eles usaram uma IA superinteligente (Gemini) para ler as respostas e agir como um linguista humano, dando uma pontuação de 0 (Brasileiro Puro) a 10 (Europeu Puro) e explicando o porquê (ex: "Eles usaram a palavra 'ônibus' em vez de 'autocarro'").

O Que Eles Descobriram

Os resultados foram um pouco como um reality show onde os participantes têm dificuldade em esconder suas origens verdadeiras:

O Modo Padrão: Quando deixados sozinhos (sem instruções), quase todos os robôs falavam naturalmente em português brasileiro. Era a sua "zona de conforto". Mesmo os robôs que foram especificamente treinados para serem europeus (como o AMALIA) foram os únicos que conseguiram manter consistentemente o sotaque europeu.
O "Teste de Troca": Quando os pesquisadores disseram explicitamente aos robôs, "Por favor, fale brasileiro", a maioria deles fez um ótimo trabalho. Mas quando disseram, "Por favor, fale europeu", foi muito mais difícil para eles. Muitos robôs tiveram dificuldade em manter a consistência. Eles começavam a falar o europeu, mas acabavam escorregando acidentalmente de volta para palavras ou gramática brasileira após algumas frases.
O Tamanho Importa: Os robôs mais novos, maiores e mais poderosos eram melhores em seguir instruções e trocar de sotaque do que os mais antigos e menores. No entanto, mesmo os melhores às vezes voltavam às suas raízes brasileiras durante conversas longas.

O Panorama Geral

O artigo conclui que, embora esses modelos de IA estejam melhorando, eles ainda possuem um forte "viés brasileiro" devido aos dados nos quais foram treinados. Eles são como atores que são ótimos em interpretar um personagem brasileiro, mas têm dificuldade em manter o personagem como um europeu durante uma peça inteira, mesmo quando o diretor lhes pede.

Os pesquisadores construíram este teste (P3B3) para que, no futuro, os desenvolvedores possam verificar se seus robôs estão se tornando mais equilibrados e justos para todos os falantes de português, garantindo que um usuário em Lisboa tenha a mesma experiência de alta qualidade e precisão cultural que um usuário no Rio de Janeiro.

Resumo Técnico: P3B3 – Um Benchmark de Conversação de Múltiplos Turnos para Medir o Viés de Variedades de Português Europeu e Brasileiro em LLMs

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam integrais à comunicação quotidiana, a sua capacidade de capturar a variação linguística regional torna-se crítica para o uso equitativo da linguagem e preservação cultural. Embora o português seja uma língua pluricêntrica com mais de 250 milhões de falantes, a divergência entre o português europeu (pt-PT) e o português brasileiro (pt-BR) é substancial, abrangendo escolhas lexicais (ex: autocarro vs. ônibus), formas de tratamento (tu vs. você) e sintaxe (ex: colocação clítica).

Apesar destas diferenças, a maioria dos frameworks de treino e avaliação trata o português como uma língua uniforme. Dada a predominância esmagadora de dados brasileiros nos conjuntos de dados de grande escala, os modelos frequentemente exibem um "viés silencioso", recorrendo por defeito ao pt-BR mesmo quando o contexto sugere pt-PT. Este comportamento corre o risco de degradar a experiência do utilizador e contribuir para o nivelamento linguístico, onde as variações regionais são sub-representadas. O artigo aborda duas questões primárias: (i) até que ponto os atuais LLMs exibem uma preferência por uma variedade de português e (ii) se os modelos podem ser efetivamente direcionados para uma variedade alvo.

Metodologia

O Benchmark P3B3

Os autores introduzem o P3B3, um benchmark curado por especialistas que consiste em 74 diálogos de múltiplos turnos (203 turnos no total) desenhados para provocar marcadores linguísticos específicos de cada variedade sem priming explícito. O benchmark adere a três diretrizes fundamentais:

Agnóstico à Variedade: Os prompts não contêm referências explícitas a variedades específicas para evitar efeitos de priming.
Sensibilidade à Variedade: Os prompts são desenhados para provocar naturalmente diferenças léxicas e gramaticais inerentes ao pt-PT e pt-BR.
Conversacional: Estruturas de múltiplos turnos acumulam o histórico do diálogo para observar como os vieses evoluem ao longo do contexto, em vez de depender de inputs isolados de turno único.

Os diálogos cobrem diversos domínios do quotidiano (ex: transporte, produtos de beleza) e foram construídos manualmente por dois especialistas em linguística para garantir a validade e a subtileza nos sinais de variação.

Configuração Experimental

O estudo avalia uma gama diversificada de LLMs multilingues com instrução ajustada (incluindo modelos de pesos abertos como Llama, Gemma, Qwen e modelos especializados como AMALIA e Sabiá) sob três configurações de prompting:

Sem Prompt (No-Prompt): Sem especificação explícita de variedade, medindo o viés inerente.
Prompt pt-BR: Instrução explícita para responder em português brasileiro.
Prompt pt-PT: Instrução explícita para responder em português europeu.

Framework de Avaliação

Para avaliar o alinhamento de variedade e a controlabilidade, os autores empregam uma estratégia de avaliação de método duplo:

Classificadores de Encoder: Utilizando modelos baseados em BERT finamente ajustados (PeroVaz e PtBrVId) para pontuar os outputs numa escala de probabilidade.
LLM-as-Judge: Utilizando o Gemini-3-Flash para atribuir uma pontuação de 0 (pt-BR) a 10 (pt-PT) com raciocínio de cadeia de pensamento (chain-of-thought). Este método foi validado contra anotações humanas de especialistas linguísticos, mostrando uma forte concordância ( $\kappa$ ponderado de 0.81 para a melhor configuração).

Resultados Principais

Viés Inerente (Configuração No-Prompt)

A maioria dos modelos avaliados exibe um forte viés inerente para o pt-BR, provavelmente refletindo desequilíbrios nos dados de treino.

O AMALIA-9B, um modelo especificamente pré-treinado e ajustado para pt-PT, é o único modelo consistentemente enviesado para pt-PT (pontuação: 91.2).
O Gervásio, um modelo baseado em LLaMA ajustado para pt-PT, ainda exibe um viés pt-BR, sugerindo que os dados de pré-treino e a escala desempenham um papel crítico na captura do comportamento específico da variedade.
Modelos maiores e mais recentes (ex: Qwen-3.5 27B, Gemma-4-31B, Gemini-3-Flash) mostram um comportamento mais equilibrado, com pontuações variando entre 44.5 e 63.7, embora ainda pendendo para o pt-BR.

Controlabilidade

Direcionamento (Steering) para pt-BR: Quando explicitamente instruídos para pt-BR, a maioria dos modelos mantém ou aumenta o seu uso da variedade, indicando fortes capacidades de seguimento de instrução, particularmente em modelos maiores.
Direcionamento para pt-PT: Os resultados são mais variáveis. Embora modelos como EuroLLM, Apertus-70B e AMALIA mostrem um forte alinhamento (≥86), os modelos baseados em LLaMA têm dificuldade em produzir outputs consistentes em pt-PT. Notavelmente, o Qwen-3.5 mostra uma melhoria substancial em relação ao Qwen-3 (de 32.7 para 86.1), sugerindo que as mudanças no treino melhoraram significativamente o tratamento do pt-PT.
Análise ao Nível do Turno: Na configuração pt-PT, os modelos com menor alinhamento inicial tendem a derivar para o pt-BR ao longo dos turnos subsequentes. Isto indica que uma instrução inicial única é frequentemente insuficiente para sustentar a adesão à variedade linguística através de múltiplos turnos, sugerindo que a controlabilidade degrada-se em contextos mais longos.

Métricas de Avaliação

O estudo valida que, embora os classificadores forneçam um sinal complementar de baixo custo, os métodos LLM-as-Judge produzem resultados mais alinhados e interpretáveis, performando melhor quando utilizam prompts baseados em categorias e o histórico completo do diálogo.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

Benchmark P3B3: Um novo benchmark de diálogo de múltiplos turnos, agnóstico à variedade e curado por especialistas, desenhado para avaliar sistematicamente o viés e a controlabilidade de variedades de português.
Framework de Avaliação: Uma metodologia validada por humanos que combina classificadores e LLM-as-Judge para avaliar o alinhamento de variedade, demonstrando que juízes LLM podem medir de forma fiável diferenças linguísticas subtis.
Evidência Empírica: Avaliação extensa revelando um viés generalizado para o pt-BR em diversos modelos e destacando os desafios em direcionar a geração para o pt-PT, particularmente em contextos de múltiplos turnos.

Os autores concluem que, embora modelos maiores e mais recentes mostrem uma melhor controlabilidade, o desempenho em pt-PT permanece menos consistente. Eles enfatizam a necessidade de uma representação multilingue mais equilibrada nos dados de treino e nos frameworks de avaliação para apoiar o desenvolvimento de sistemas multilingues equitativos. O trabalho também nota limitações, como o foco em domínios do quotidiano em vez de técnicos, e sugere trabalhos futuros que estendam o benchmark para outras variedades do português (ex: Angola, Moçambique, Cabo Verde).