💬 NLP

SEA-Embedding: Open and Reproducible Text Embeddings for Southeast Asia

Este artigo apresenta o SEA-Embedding, um pipeline de incorporação de texto (text-embedding) totalmente aberto e reprodutível, treinado exclusivamente com dados publicamente disponíveis para abordar a falta de robustez e reprodutibilidade nos modelos de linguagem do Sudeste Asiático, enquanto analisa sistematicamente os principais fatores de design para alcançar o estado da arte no benchmark SEA-BED.

Autores originais: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante onde cada livro é escrito em uma língua diferente do Sudeste Asiático. Agora, imagine que você quer construir um bibliotecário superinteligente que possa entender instantaneamente que uma história sobre "chuva" em tailandês significa o mesmo que "chuva" em vietnamita, embora as palavras pareçam completamente diferentes. Esse bibliotecário é chamado de Text Embedding (Incorporação de Texto).

Por muito tempo, os melhores bibliotecários do mundo foram construídos por grandes empresas de tecnologia usando receitas secretas e dados privados. Você não conseguia ver como eles funcionavam e, muitas vezes, eles tinham dificuldade em entender as línguas do Sudeste Asiático, tratando-as como cidadãs de segunda classe em comparação ao inglês ou chinês.

O artigo que você compartilhou apresenta o SEA-Embedding, um novo bibliotecário completamente de código aberto (open-source) construído especificamente para o Sudeste Asiático. Veja como eles o construíram e por que ele funciona, explicado de forma simples:

1. O Problema: Os Bibliotecários "Caixa Preta"

A maioria dos melhores bibliotecários de hoje são "caixas pretas". Sabemos que eles são inteligentes, mas não sabemos exatamente quais livros leram ou como aprenderam. Como seus dados de treinamento são secretos, não podemos consertá-los se cometerem erros, e eles frequentemente falham ao serem questionados sobre a diversidade de dialetos e línguas do Sudeste Asiático.

2. A Solução: Uma Cozinha Transparente e Aberta

Os autores construíram o SEA-Embedding como um livro de receitas que qualquer pessoa pode usar. Eles não usaram ingredientes secretos. Usaram apenas dados que já são públicos e gratuitos na internet.

O Objetivo: Criar um bibliotecário que não seja apenas inteligente, mas também reprodutível. Se você quiser construir sua própria versão, pode seguir exatamente os passos deles e obter o mesmo resultado.

3. Os Três Ingredientes Secretos (A "Receita")

Os pesquisadores testaram três coisas principais para ver o que torna um bibliotecário verdadeiramente robusto para esta região. Pense nisso como os três pilares de sua construção:

A. A Lista de Leitura (Composição de Dados)

Para ser um bom bibliotecário, você precisa ler muitas coisas diferentes.

A Mistura: Eles não leram apenas um tipo de livro. Eles combinaram 245 milhões de pares de textos gerais (como notícias e histórias para entender as línguas amplamente) com 14 milhões de textos de instrução (como pares de perguntas e respostas para entender como realizar tarefas).
A Analogia: Imagine treinar um chef. Se você der apenas um livro de receitas, ele conhecerá as receitas, mas não saberá improvisar. Se você der apenas uma lista de pedidos, ele saberá o que as pessoas querem, mas não saberá cozinhar. O SEA-Embedding dá ao modelo tanto o livro de receitas quanto os pedidos, para que ele entenda a língua e como usá-la.

B. Os Treinos de Exercício (Design de Objetivos)

Como você ensina o bibliotecário a ser consistente?

Aprendizado Contrastivo Simétrico (SCL): Isso é como um jogo de "Encontre o Par". O modelo recebe duas frases que significam a mesma coisa e recebe o comando: "Estas são gêmeas!". Ele também vê frases que são diferentes e recebe o comando: "Estes são estranhos!". Eles adicionaram um toque especial chamado "reponderação focal" (focal reweighting), que é como dar atenção extra do professor aos alunos que estão com mais dificuldade, em vez de focar apenas nos mais fáceis.
Correspondência de Distribuição de Similaridade (SDM): Esta é a "Aula de Mestre". O modelo (o aluno) tenta copiar o comportamento de um modelo especialista pré-existente muito forte (o professor). O aluno não copia apenas as respostas; ele tenta copiar a maneira como o professor pensa sobre a semelhança entre duas coisas.
O Resultado: Essa combinação força o modelo a criar um mapa mental muito organizado, onde ideias semelhantes estão sempre próximas, independentemente da língua em que estejam.

C. O Ponto de Partida (Codificador Base)

Você pode começar com um aluno inteligente ou um menos experiente.

A equipe testou sua receita em diferentes modelos "base" (alguns pequenos, outros grandes).
A Descoberta: Não importava qual aluno eles usassem como base, a receita funcionava. Ela melhorou cada um deles. No entanto, começar com um aluno um pouco maior e mais inteligente (o modelo E5-Large) deu os melhores resultados finais.

4. Os Resultados: Um Novo Campeão

Quando testaram seu novo bibliotecário contra os atuais campeões (os modelos "caixa preta"):

O SEA-Embedding venceu. Ele alcançou a pontuação média mais alta em um teste difícil chamado SEA-BED, que abrange 10 línguas do Sudeste Asiático e 9 tipos diferentes de tarefas.
É especialmente bom nas partes difíceis: Ele teve um desempenho significativamente melhor em línguas de baixo recurso (como o lao e o khmer) em comparação com outros modelos que geralmente favorecem línguas grandes como o indonésio ou o tailandês.
É aberto: Ao contrário dos vencedores do passado, você pode ver o código deles, baixar seus dados e realizar o experimento você mesmo.

Resumo

O artigo afirma que, ao ser transparente, usar uma mistura de dados gerais e de instrução, e utilizar um método de treinamento de dois passos específicos (aprender com correspondências e copiar um mestre professor), eles criaram o melhor modelo de incorporação de texto para o Sudeste Asiático até o momento. É um modelo que funciona melhor, é mais justo com as línguas menores e é aberto para que todos possam inspecionar e melhorar.

Resumo Técnico: SEA-Embedding

Declaração do Problema

Os embeddings de texto são críticos para aplicações de processamento de linguagem natural (NLP) de jusante, mas os modelos de estado da arte atuais enfrentam duas limitações significativas em relação às línguas do Sudeste Asiático (SEA):

Falta de Reprodutibilidade: A maioria dos modelos de alto desempenho depende de dados de treinamento fechados ou não divulgados, o que impede a análise sistemática e o retreinamento.
Robustez Insuficiente: Modelos que se destacam em benchmarks globais (ex: MMTEB) frequentemente apresentam desempenho inferior em avaliações específicas de SEA (ex: SEA-BED). A diversidade linguística na região é alta, e os ganhos de desempenho de configurações de alto recurso nem sempre se transferem efetivamente para as línguas de SEA.

Metodologia

Os autores introduzem o SEA-Embedding, um pipeline de embedding de texto totalmente aberto e reproduzível, treinado exclusivamente com dados publicamente disponíveis. O pipeline foi projetado para investigar sistematicamente três fatores centrais do design de embeddings robustos: Composição de Dados, Objetivo de Treinamento e Inicialização do Codificador Base.

1. Composição de Dados (RQ1)

O pipeline utiliza um conjunto de dados de categoria dupla totalizando 259 milhões de amostras:

Datasets Gerais (245M de amostras): Obtidos de recursos como FineTranslations e CCMatrix para garantir uma ampla cobertura regional nas línguas de SEA.
Datasets de Instrução (14M de amostras): Obtidos de datasets multilingues de tarefas de jusante (ex: MIRACL, SEA-Instruct) com instruções específicas de tarefas prefixadas para aumentar a consciência de tarefa e a generalização.
Formato: Os dados são formatados como tripletos (âncora, positivo, negativo) ou pares de texto (âncora, positivo).

2. Design do Objetivo de Treinamento (RQ2)

Os autores propõem um objetivo de dois estágios para equilibrar a discriminação local com a consistência global:

Aprendizado Contrastivo Simétrico (SCL): Diferente do aprendizado contrastivo padrão, este estágio emprega InfoNCE Simétrico com reponderação focal. Ele trata os pares âncora-positivo e positivo-âncora de forma simétrica e utiliza um peso focal ( $w_i = (1 - j_i)^\gamma$ ) para enfatizar exemplos difíceis.
Correspondência de Distribuição de Similaridade (SDM): Este estágio realiza a destilação de conhecimento para fazer com que a distribuição de similaridade do modelo estudante corresponda à distribuição do modelo professor sobre uma grande fila de memória (65.536 entradas).
- Modelo Professor: Um codificador pré-treinado forte (Wang et al., 2024c).
- Mecanismo: O estudante imita a distribuição de similaridade do professor usando Divergência KL ( $L_{sdm} = KL(D_t \parallel D_s)$ ).
- Design de Temperatura: A temperatura do estudante ( $\tau_s$ ) é definida como menor que a do professor ( $\tau_t$ ) para criar uma distribuição de estudante mais nítida, forçando o estudante a aprender um espaço de embedding mais preciso.

3. Inicialização do Codificador Base (RQ3)

O pipeline é instanciado em diferentes codificadores base para testar a transferibilidade e os compromissos entre eficiência e desempenho:

Escala Pequena: SEA-LION-ModernBERT-300M.
Escala Grande: E5-Large (600 milhões de parâmetros).
Ablação: O estudo também testa XLMR-Large, mmBERT-base e SEA-LION-ModernBERT-base para verificar se os benefícios do pipeline se generalizam além de inicializações específicas.

Resultados Principais

O modelo foi avaliado no SEA-BED, um benchmark fora de domínio que cobre 10 línguas do Sudeste Asiático, 9 tipos de tarefas e 169 datasets.

Desempenho de Estado da Arte:
- O SEA-Embedding-E5-Large-600M alcançou uma pontuação média de linguagem de 0,800 no SEA-BED, superando o melhor modelo aberto anterior (multilingual-e5-large-instruct com 0,789) e superando significativamente o muito maior Qwen3-Embedding-8B (0,773).
- O SEA-Embedding-ModernBERT-300M alcançou uma pontuação de 0,760, superando outros modelos pequenos como harrier-oss-v1-270m (0,753) e embeddinggemma-300m (0,704).
Ganhos em Línguas de Baixo Recurso: O modelo mostrou melhorias particularmente fortes em línguas de baixo recurso, como o Lao, Khmer e Myanmar, em comparação com modelos treinados principalmente em línguas de alto recurso de SEA (Indonésio, Tailandês, Vietnamita).
Insights de Ablação:
- Dados: A remoção de qualquer um dos datasets (geral ou de instrução) causou quedas significativas de desempenho. Crucialmente, remover dados de instrução não-SEA (ex: Árabe, Thai MIRACL) reduziu a pontuação de 0,800 para 0,755, indicando o valor da diversidade de tarefas multilingues.
- Objetivos: Remover a perda SDM reduziu a pontuação de 0,800 para 0,776. Substituir SDM por destilação de conhecimento padrão (L2-KD) ou CKD resultou em maior degradação. O design de temperatura ( $\tau_s < \tau_t$ ) também foi crítico.
- Modelos Base: O pipeline melhorou consistentemente diversos codificadores base (MLM e contrastivos pré-treinados), com ganhos variando de +0,294 a +0,366 em pontuações médias de linguagem, sugerindo que a receita não está presa a uma única inicialização.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

Framework Reproduzível: O SEA-Embedding fornece um pipeline transparente com código aberto, dados abertos (apenas dados publicamente disponíveis) e um ambiente totalmente reproduzível, permitindo comparações controladas e análise de falhas que são impossíveis atualmente com modelos fechados.
Insights Empíricos: O estudo isola os efeitos específicos da composição de dados, design de objetivo e inicialização do codificador base no desempenho em SEA, fornecendo uma "receita de design" para futuros modelos.
Desempenho Robusto: Estabelece um novo estado da arte para embeddings de texto de SEA, demonstrando que o alto desempenho pode ser alcançado através da engenharia sistemática de dados e objetivos abertos, em vez de depender de dados proprietários não divulgados.

Os autores observam que, embora o pipeline seja agnóstico à região e adaptável, o estudo atual foca na construção de uma base robusta em vez de cobrir exaustivamente cada dialeto ou aplicação específica de domínio (ex: texto financeiro), deixando esses pontos para trabalhos futuros.