💬 NLP

MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese

Este artigo apresenta o MTEB-BR, o primeiro benchmark dedicado composto por 22 tarefas nativas em português do Brasil para avaliar modelos de embedding de texto sem depender de traduções, revelando que um desempenho de alto nível é alcançável com modelos de código aberto e demonstrando que os rankings multilingues globais apenas predizem moderadamente a eficácia específica para o português.

Autores originais: Tardelli Ronan Coelho Stekel

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tardelli Ronan Coelho Stekel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: A Armadilha do "Perdido na Tradução"

Imagine que você está tentando comprar um carro de alta qualidade especificamente para dirigir em estradas brasileiras. Você vai a um site global de avaliação de carros, mas eles só têm avaliações de carros testados em rodovias americanas ou europeias. Eles te dizem: "Este carro é ótimo!", porque ele teve um bom desempenho naquelas pistas estrangeiras.

Mas aqui está o detalhe: as estradas brasileiras têm buracos diferentes, padrões de tráfego diferentes e climas diferentes. Um carro que vence em uma pista europeia pode ter dificuldades em uma brasileira.

Por muito tempo, essa foi a situação do Português Brasileiro no mundo da IA. Se você quisesse testar o quão bem uma IA entende frases em português, você tinha que usar:

Testes traduzidos: Pegar testes em inglês e traduzi-los para o português (o que muitas vezes perde o "tempero" e a nuance da língua).
Cobertura rasa: Pouquíssimos testes que não cobriam toda a gama de como as pessoas realmente falam e escrevem no Brasil.

A Solução: MTEB-BR (O "Teste de Direção Brasileiro")

Os autores criaram o MTEB-BR, um novo benchmark nativo. Pense nisso como construir uma pista de teste de direção dedicada diretamente em São Paulo, usando apenas as regras de trânsito e as condições das estradas brasileiras.

Sem Traduções Permitidas: Eles proibiram estritamente qualquer dado de teste que fosse traduzido do inglês. Cada pergunta, documento jurídico, nota médica ou postagem de rede social usada no teste foi criada originalmente em português do Brasil.
O Percurso: Eles construíram um circuito de obstáculos de 22 etapas cobrindo sete tipos diferentes de habilidades de direção:
- Classificação: Separar correspondências nos coletores corretos (ex: este tweet é de ódio?).
- Recuperação (Retrieval): Encontrar a agulha certa no palheiro (ex: encontrar uma lei específica em um banco de dados massivo).
- Agrupamento (Clustering): Agrupar itens semelhantes (ex: organizar prontuários médicos por tópico).
- E mais, incluindo domínios jurídicos, médicos e tributários.

A Corrida: Quem Venceu?

Eles colocaram 93 modelos de IA diferentes neste percurso. Alguns eram modelos gratuitos e de código aberto (como um carro DIY que você mesmo pode construir), e outros eram APIs comerciais fechadas e caras (como um carro de luxo que você tem que alugar por minuto).

Os Resultados:

O Empate na "Fronteira": Os 6 melhores modelos tiveram um desempenho tão próximo que o teste não conseguiu distinguir estatisticamente quem era realmente o "melhor". Todos eles estão no mesmo nível de elite. É como uma corrida onde os seis primeiros carros cruzaram a linha de chegada com um milímetro de diferença entre si.
O Vencedor Surpresa: Um dos melhores desempenhos foi de um modelo de código aberto (Qwen3-Embedding-8B). Isso é enorme porque significa que você não precisa pagar a uma empresa comercial para obter um desempenho de alto nível; você pode rodar esse modelo sozinho gratuitamente.
A Armadilha "Global": O artigo verificou se o "Campeão Mundial" de IA (aquele que vence em testes de inglês e multilíngues) também venceria aqui. A resposta foi não.
- Analogia: Imagine um piloto campeão de Fórmula 1. Se você o colocar em um carro de rali em uma estrada de terra lamacenta no Brasil, ele pode não vencer.
- Um modelo ficou em 3º lugar globalmente, mas caiu para o 49º lugar no Brasil. Isso prova que ser bom em inglês não significa automaticamente ser bom em português.

A "Camada Estatística" (O Caderno do Árbitro)

A maioria dos benchmarks apenas fornece uma pontuação única e um ranking (1º, 2º, 3º). Os autores sentiram que isso era simples demais, como dizer "O Carro A é mais rápido que o Carro B" sem mencionar a margem.

Eles adicionaram uma camada estatística para agir como um árbitro cuidadoso:

Intervalos de Confiança: Em vez de apenas dizer "O Modelo A pontuou 0,68", eles dizem "O Modelo A pontuou 0,68, com uma margem de erro de 0,05". Isso te diz se a diferença entre dois modelos é real ou apenas um acaso.
Teoria de Resposta ao Item (IRT): Esta é uma forma sofisticada de perguntar: "Quais partes do teste realmente separam os bons motoristas dos ruins?"
- Eles descobriram que as tarefas de Recuperação (encontrar informações) foram as melhores para separar os modelos.
- As tarefas de Agrupamento (agrupar coisas) foram as piores para distinguir os modelos.
- Analogia: É como perceber que um teste de matemática é ótimo para identificar gênios, mas um concurso de ortografia não é muito bom para distinguir um aluno do ensino médio de um universitário.

A Conclusão para os Usuários

Se você é um desenvolvedor ou dono de negócio no Brasil:

Não confie cegamente nos rankings globais. Um modelo que é o nº 1 no mundo pode ser mediano no Brasil.
Você não precisa pagar. Você pode obter desempenho de alto nível com modelos gratuitos hospedados por você mesmo.
Olhe para a "Fronteira". Como os 6 melhores modelos estão empatados estatisticamente, sua escolha não deve ser baseada em uma diferença mínima de pontuação. Em vez disso, escolha com base no custo (grátis vs. pago), velocidade e licença (você pode usá-lo comercialmente?).

Em resumo, o MTEB-BR é a primeira vez que falantes de português do Brasil têm uma maneira justa, nativa e estatisticamente rigorosa de julgar modelos de IA, provando que a nuance local importa e que você não precisa de uma API comercial para obter os melhores resultados.

Problema
Apesar de o português brasileiro ser falado nativamente por mais de 200 milhões de pessoas, não existe um benchmark abrangente e nativo para avaliar modelos de embedding de texto. Os frameworks de avaliação atuais, como o MTEB e o MMTEB, dependem fortemente de corpora traduzidos (ex: mMARCO-PT, uma tradução automática do MS MARCO em inglês) ou oferecem uma cobertura multilíngue tênue. Os autores argumentam que a tradução introduz artefatos sistemáticos — incluindo ruído de tradução, desvio de domínio e achatamento idiomático — que mascaram as diferenças reais de desempenho entre os modelos em textos nativos. Embora existam extensões específicas para idiomas como chinês, francês, alemão e outros, o português carecia de um benchmark dedicado e nativo que excluísse dados traduzidos por máquina.

Metodologia
O artigo apresenta o MTEB-BR, um benchmark projetado com um único critério de inclusão: origem nativa.

Suíte de Tarefas: O benchmark consiste em 22 tarefas distribuídas em sete categorias do MTEB: classificação, classificação multilabel, classificação de pares, similaridade semântica de texto (STS), agrupamento (clustering), recuperação (retrieval) e reclassificação (reranking). Estas tarefas foram extraídas de 17 corpora distintos abrangendo os domínios jurídico, médico, tributário, científico, enciclopédico e de redes sociais. Crucialmente, conjuntos de dados traduzidos por máquina (especificamente mMARCO-PT e mkqa-PT) foram excluídos por construção.
Painel de Modelos: Os autores avaliaram 93 modelos, variando de 23M a 27B de parâmetros. Isso inclui 73 modelos de pesos abertos (embedders de decoder-LLM, encoders multilíngues, encoders específicos para português e baselines de Sentence-Transformer) e 20 APIs comerciais fechadas (da Google, OpenAI, Voyage, Mistral e Amazon).
Rigor Estatístico: Além das estimativas pontuais padrão, os autores introduzem uma "camada estatística" para complementar o leaderboard. Isso inclui:
- Intervalos de confiança bootstrap por tarefa (95% CI a partir de 10.000 reamostragens).
- Testes de significância de bootstrap pareado para determinar se um modelo supera outro de forma confiável.
- Análise de Teoria de Resposta ao Item (IRT) para medir a discriminação da tarefa (o quão agudamente uma tarefa separa os modelos) e a habilidade do modelo.
- Análise de correlação cruzada de leaderboard contra o leaderboard multilíngue global do HuggingFace MTEB.
Protocolo de Avaliação: As métricas seguem as convenções padrão do MTEB (acurácia, V-measure, nDCG@10, MAP, correlação de Spearman). Todos os modelos foram avaliados com um limite uniforme de contexto de 512 tokens para garantir a comparabilidade.

Principais Resultados

Separação de Modelos: O benchmark separa claramente aproximadamente 78,7% de todos os pares de modelos em cerca de uma dúzia de níveis distinguíveis. No entanto, os seis melhores modelos formam um "nível de fronteira convergente", onde suas diferenças de desempenho são estatisticamente indistinguíveis (dentro de uma dispersão de média de 0,020).
Aberto vs. Fechado: Um modelo de pesos abertos e auto-hospedável (Qwen3-Embedding-8B, Apache-2.0) alcança o nível de fronteira líder, ocupando o segundo lugar geral com uma média de 22 tarefas de 0,6704. Isso demonstra que embeddings de alta qualidade para o português não exigem estritamente APIs comerciais.
Discriminação de Tarefas: Tarefas de recuperação (retrieval) são as mais eficazes em separar modelos, mostrando os maiores escores de discriminação (valores de $a_t$ de IRT entre 1,49 e 2,05). Por outro vez, tarefas de agrupamento (clustering) e certas sondagens de classificação (ex: checagem de fatos) apresentam os menores índices de discriminação.
Correlação Multilíngue: O ranking de um modelo no leaderboard multilíngue global prevê seu ranking em português apenas moderadamente (Spearman $\rho = 0,75$ sobre 55 modelos compartilhados). Divergências significativas existem; por exemplo, um modelo classificado em 3º lugar global caiu para 49º no MTEB-BR. Isso sugere que benchmarks nativos medem capacidades que os boards multilíngues não captam, particularmente no que diz respeito à recuperação nativa.
Encoders Específicos de Português: Encoders específicos para português geralmente ficaram atrás dos encoders multilíngues gerais em tarefas de recuperação. No entanto, os autores atribuem isso aos objetivos de treinamento (ex: masked language modeling vs. fine-tuning para recuperação) e não à especialização linguística. Modelos de português ajustados para recuperação (variantes Serafim) tiveram desempenho comparável aos modelos multilíngues.

Significância e Alegações
O artigo afirma que o MTEB-BR fornece aos profissionais uma ferramenta para escolher modelos de embedding baseados em evidência nativa, em vez de proxies traduzidos. Suas principais contribuições são:

Uma Suíte de Tarefas Nativa: O primeiro benchmark consolidado para o português brasileiro que exclui estritamente dados traduzidos por máquina, oferecendo um reflexo mais acurado do desempenho em textos nativos.
Transparência Estatística: A introdução de uma camada estatística (intervalos de confiança, significância pareada, IRT) permite que a comunidade distinga entre lacunas reais de desempenho e ruído estatístico, particularmente no topo do leaderboard onde os modelos convergem.
Insights de Custo-Qualidade: O benchmark identifica uma "fronteira de Pareto" onde modelos de pesos abertos (como o Qwen3-Embedding-8B) e APIs comerciais específicas oferecem o melhor equilíbrio entre qualidade e custo, desafiando a suposição de que apenas grandes APIs proprietárias podem alcançar o estado da arte.
Limitações de Boards Globais: A correlação moderada com os leaderboards globais serve como um alerta de que benchmarks multilíngues são insuficientes como proxies para implantação específica de idioma, especialmente para tarefas de recuperação.

Os autores liberam todo o código (Apache-2.0), o conjunto completo de resultados (CC-BY 4.0) e um leaderboard interativo, visando estabelecer um template estatístico reutilizável para futuras extensões de MTEB específicas de idiomas.

O Problema: A Armadilha do "Perdido na Tradução"

A Solução: MTEB-BR (O "Teste de Direção Brasileiro")

A Corrida: Quem Venceu?

A "Camada Estatística" (O Caderno do Árbitro)

A Conclusão para os Usuários

Mais como este