Resumo Técnico: MTEB-PT, um Benchmark para Codificadores de Sentenças em Português

Problema

Apesar de o português ser uma das línguas mais faladas globalmente, ele permanece significativamente sub-representado na avaliação de embeddings de texto. As práticas atuais de avaliação dependem fortemente de abordagens centradas no inglês ou de agregados multilíngues amplos (como o MMTEB), que falham em revelar comportamentos específicos da língua. Consequentemente, não está claro quais modelos de embedding são genuinamente eficazes para o português, como os rankings mudam entre diferentes famílias de tarefas e se o desempenho multilíngue se traduz de forma confiável em robustez específica para o português. As avaliações existentes para o português têm sido limitadas a subconjuntos estreitos de tarefas (por exemplo, apenas Similaridade Semântica de Texto ou tarefas específicas de NLI), carecendo de um framework unificado e multitarefa.

Metodologia

Construção do Benchmark (MTEB-PT)

Os autores introduzem o MTEB-PT, um recorte de benchmark em português derivado do ecossistema MMTEB. Ele compreende 14 conjuntos de dados existentes abrangendo quatro famílias distintas de tarefas:

1. Similaridade Semântica de Texto (STS): 3 conjuntos de dados (ex: Assin2STS, SICK-BR-STS) avaliando similaridade semântica par a par.
2. Classificação: 5 conjuntos de dados cobrindo detecção de intenção, análise de sentimento, toxicidade e discurso de ódio.
3. Recuperação (Retrieval): 3 conjuntos de dados (ex: WebFAQRetrieval, WikipediaRetrievalMultilingual) envolvendo o ranking assimétrico de consulta-documento.
4. Reclassificação (Reranking): 3 conjuntos de dados (ex: WikipediaRerankingMultilingual) focando no reordenamento de candidatos.

Os critérios de seleção priorizaram conjuntos de dados de licença aberta, disponíveis publicamente e de qualidade suficiente, que já estão integrados ao ecossistema MTEB/MMTEB. O benchmark inclui tanto tarefas simétricas (STS) quanto tarefas assimétricas de contexto longo (recuperação/reclassificação) para testar rigorosamente as capacidades dos modelos.

Protocolo de Avaliação

O estudo avalia 17 modelos (open-source, closed-source e modelos da comunidade) sob um protocolo unificado:

• Formatação de Entrada: Adesão aos templates de inferência específicos do modelo (ex: prefixos query: e passage: para modelos da família E5) quando documentado; caso contrário, texto bruto.
• Métricas:
  • STS: Correlação de rank de Spearman sobre similaridade de cosseno.
  • Classificação: Regressão logística sobre embeddings congelados.
  • Recuperação: nDCG@10.
  • Reclassificação: Precisão Média (MAP) ou nDCG@10, dependendo da tarefa.
• Truncamento de Dimensões: Uma análise da degradação de desempenho à medida que as dimensões do embedding são reduzidas (do tamanho total até 64 dimensões) para avaliar a eficiência de armazenamento e latência.

Ajuste Fino (Fine-Tuning) em Português e MRL

Para estabelecer baselines fortes, os autores realizaram o ajuste fino de três modelos de backbone representativos (multilingual-e5-large, bertimbau-large e modbertbr) utilizando:

• Dados: Uma combinação de pares de STS em português, pares de implicação de NLI e pares positivos orientados à recuperação (de MLDR).
• Objetivo: Supervisão contrastiva usando CoSENT para pares pontuados e Multiple Negatives Ranking Loss para pares positivos.
• Técnica: O Aprendizado de Representação Matryoshka (MRL) foi aplicado, permitindo que os modelos suportem truncamento dimensional progressivo (64, 128, 256, 512 e dimensões totais) sem necessidade de novo treinamento.

Principais Contribuições

1. Benchmark MTEB-PT: O primeiro benchmark unificado em português cobrindo STS, classificação, recuperação e reclassificação, construído a partir de 14 conjuntos de dados dentro do framework MTEB.
2. Avaliação Sistemática: Uma comparação abrangente de 17 modelos, revelando que o desempenho em português é altamente dependente da tarefa e que os rankings multilíngues não preveem uniformemente os resultados específicos para o português.
3. Baselines Fortes em Português: Lançamento de três modelos adaptados para o português e treinados com MRL (e5-large-matryoshka, bertimbau-large-matryoshka e modbertbr-matryoshka) que servem como pontos de referência para pesquisas futuras.
4. Análise de Eficiência Dimensional: Uma investigação sobre como os embeddings em português retêm a qualidade sob compressão, demonstrando que modelos treinados com MRL permanecem competitivos mesmo com truncamento agressivo.

Resultados

Desempenho Dependente da Tarefa

• STS: O ajuste fino específico para o português gera os ganhos mais significativos. Modelos como e5-large-matryoshka e serafim-900m superam modelos multilíngues gerais.
• Classificação: As lacunas de desempenho entre os modelos são menores. Codificadores multilíngues de propósito geral costumam performar tão bem quanto ou melhor que modelos especializados em português, sugerindo que a classificação é menos sensível ao alinhamento de sentenças finas do que o STS.
• Recuperação & Reclassificação: Estas tarefas assimétricas de contexto longo mostram a maior divergência em relação aos rankings de STS. Modelos de código fechado e codificadores multilíngues orientados para busca (ex: qwen3-embedding-0.6b, text-embedding-3-large) dominam. Modelos com limites de contexto curtos (ex: 128 tokens) sofrem significativamente aqui.
• Rankings Multilíngues vs. Português: Embora parte da estrutura seja preservada, os rankings multilíngues não são preditores confiáveis para o desempenho em português. A discrepância é mais pronunciada em recuperação e reclassificação, onde modelos otimizados para busca superam aqueles otimizados para similaridade semântica simétrica.

Impacto do Ajuste Fino e MRL

• Adaptação: O ajuste fino de codificadores pré-treinados em português (como o bertimbau-large) com supervisão contrastiva melhora drasticamente suas capacidades de embedding de sentença, particularmente no STS.
• Benefícios do MRL: Modelos treinados com MRL mantêm a robustez sob truncamento dimensional. Embora o e5-large-matryoshka apresente os ganhos mais fortes no STS, os modelos adaptados também melhoram o desempenho de recuperação em relação aos seus backbones não ajustados, embora não substituam totalmente os modelos de topo otimizados para busca.

Truncamento Dimensional

• Tarefas Simétricas (STS/Classificação): O desempenho permanece relativamente estável mesmo com dimensões de embedding reduzidas.
• Tarefas Assimétricas (Recuperação/Reclassificação): Estas tarefas são mais sensíveis ao truncamento. No entanto, modelos treinados com MRL degradam de forma mais suave do que as baselines sem MRL, oferecendo um compromisso viável para implementações com restrição de armazenamento.

Significância e Alegações

O artigo argumenta que o desempenho médio multilíngue é insuficiente para selecionar codificadores de sentenças para o português. Os autores enfatizam que:

• A Diversidade de Tarefas é Crítica: Um modelo forte em STS pode falhar em recuperação, e vice-versa. A seleção deve ser baseada no domínio de aplicação específico.
• A Adaptação Específica da Língua Importa: Embora modelos multilíngues sejam fortes, o ajuste fino em dados de português (especialmente para tarefas simétricas) proporciona melhorias mensuráveis.
• O Comprimento de Contexto é um Gargalo: O suporte a contexto longo é um fator decisivo para tarefas de recuperação e reclassificação, onde modelos de contexto curto apresentam baixo desempenho, independentemente de suas capacidades multilíngues.
• Eficiência é Alcançável: Através do MRL, é possível obter embeddings de português compactos e de alta qualidade que permanecem competitivos sob restrições dimensionais, facilitando a implementação em ambientes de baixos recursos.

Os autores concluem que o MTEB-PT fornece uma base necessária e diversificada em tarefas para avaliar codificadores de sentenças em português, indo além das limitações de métricas multilíngues agregadas. Eles disponibilizam o benchmark, os modelos ajustados e o código para apoiar a pesquisa reprodutível neste domínio.