💬 NLP

MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning

O artigo apresenta o MOSAIC, um framework de múltiplos estágios que adapta efetivamente modelos de embedding de texto de domínio geral para domínios especializados ao otimizar conjuntamente os objetivos de modelagem de linguagem mascarada e contrastiva, alcançando ganhos significativos de desempenho em NDCG@10 tanto em cenários de alto quanto de baixo recurso.

Autores originais: Vera Pavlova, Mohammed Makhlouf

Publicado 2026-01-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vera Pavlova, Mohammed Makhlouf

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante que leu milhões de livros de todos os gêneros imagináveis — história, ficção científica, culinária e esportes. Este bibliotecário é ótimo em encontrar conexões gerais entre histórias. No entanto, se você pedir a ele para encontrar versículos específicos do Alcorão ou explicar artigos de pesquisa médica complexos, ele pode ter dificuldades. Ele conhece a estrutura de uma frase, mas não conhece o vocabulário especializado ou as nuances culturais profundas desses campos específicos.

Este artigo apresenta o MOSAIC, um novo método para treinar um bibliotecário (um modelo de IA) para se tornar um especialista em um campo específico sem perder sua inteligência geral.

Veja como o MOSAIC funciona, dividido em etapas simples:

O Problema: A Armadilha do "Generalista"

A maioria dos modelos de IA atuais são "generalistas". Eles são treinados em enormes quantidades de texto da internet.

O Problema: Se você tentar ensinar um bibliotecário generalista sobre medicina apenas dando a ele livros médicos, ele pode esquecer como falar normalmente ou se confundir com as novas palavras.
O Jeito Antigo: Métodos anteriores tentavam ou ensinar ao bibliotecário apenas sobre as novas palavras (o que os tornava ruins em entender frases) ou ensinar apenas sobre conexões de frases (o que não os ajudava a aprender as novas palavras). Era como tentar ensinar alguém a dirigir um carro de corrida mostrando apenas o motor, ou apenas o volante, mas nunca ambos juntos.

A Solução: A Receita MOSAIC

A equipe criou um processo de treinamento de três estágios chamado MOSAIC. Pense nisso como treinar um novo funcionário para um trabalho especializado:

Estágio 1: Expansão do Vocabulário (Adicionando Novas Ferramentas)

Primeiro, a equipe analisa o campo específico (como Biomedicina ou textos Islâmicos) e encontra todas as palavras únicas que o bibliotecário generalista não conhece.

A Analogia: Imagine que o dicionário do bibliotecário tem 50.000 palavras. A equipe adiciona 9.000 novas palavras especializadas (como "infarto do miocárdio" ou termos específicos do Alcorão) ao dicionário.
O Truque: Eles não jogam fora o dicionário antigo; eles apenas o expandem. Esta é uma etapa barata e fácil que não exige a reconstrução de toda a biblioteca.

Estágio imposto: O Treinamento "Seletivo" (O Ingrediente Secreto)

Esta é a parte mais importante. A equipe treina o bibliotecário usando dois tipos de lições ao mesmo tempo:

A Lição de "Preencher a Lacuna" (MLM): O modelo vê uma frase com uma palavra faltando e tem que adivinhar qual é.
A Lição de "Combinar o Par" (Contrastiva): O modelo tem que descobrir quais duas frases combinam entre si e quais não combinam.

A Inovação: No passado, fazer ambas as lições ao mesmo tempo era um desastre. A lição de "Preencher a Lacuna" era muito barulhenta e abafava a lição de "Combinar o Par".

O Conserto do MOSAIC: Eles disseram ao modelo: "Quando você fizer a lição de 'Preencher a Lacuna', apenas adivinhe as novas palavras especializadas que você acabou de aprender".
A Analogia: Imagine um professor ajudando um aluno a estudar. Em vez de pedir ao aluno para definir cada palavra do livro (o que leva muito tempo e o confunde), o professor diz: "Apenas foque em definir estas 50 novas palavras difíceis". Isso mantém o aluno focado no novo material sem estragar sua habilidade de entender toda a história.

Estágio 3: O "Refinamento" (Polindo as Habilidades)

Depois que o modelo aprendeu as novas palavras e como elas se encaixam nas frases, a equipe interrompe totalmente a lição de "Preencher a Lacuna".

A Analogia: Agora que o bibliotecário conhece o novo vocabulário, ele volta a apenas praticar o "Combinar o Par". Isso garante que ele continue excelente em encontrar as conexões certas entre as frases, que é a habilidade mais importante para um mecanismo de busca.

Os Resultados: Funciona?

A equipe testou isso em dois mundos muito diferentes:

Biomedicina (Alto Recurso): Um campo com muitos dados (milhões de artigos médicos).
Textos Islâmicos (Baixo Recurso): Um campo com pouquíssimos dados disponíveis em inglês.

O Resultado:

Em ambos os casos, os modelos treinados com o MOSAIC tornaram-se muito melhores em encontrar informações relevantes do que os modelos generalistas originais.
No campo médico, eles melhoraram em até 13,4% na precisão em comparação com fortes concorrentes.
No campo islâmico, onde os dados são escassos, o modelo foi muito mais confiável. Ele cometeu menos erros de "zero" (onde encontrava absolutamente nada relevante) em comparação com outros modelos.

Por Que Isso Importa

O artigo afirma que este método é simples, barato e eficaz.

Não requer supercomputadores massivos para retreinar todo o modelo do zero.
Não requer mudanças arquitetônicas complexas.
Ele simplesmente adiciona novas palavras e usa um cronograma de treinamento inteligente para ensinar o modelo como usá-las sem esquecer suas habilidades gerais.

Em resumo, o MOSAIC é uma forma de pegar uma IA inteligente e generalista e dar a ela um diploma de especialização em um campo específico, tornando-a uma verdadeira especialista sem transformá-la em um novato confuso.

Resumo Técnico: MOSAIC

Declaração do Problema
O artigo aborda o desafio de adaptar modelos de embedding de texto de grande escala e domínio geral para domínios especializados. Modelos de domínio geral são treinados em vastos corpora usando abordagens de dois estágios (pré-treinamento seguido de ajuste fino supervisionado), mas frequentemente carecem de conhecimento específico do domínio, limitando seu desempenho em áreas especializadas. Os métodos de adaptação existentes enfrentam um dilema:

Expansão de Vocabulário sem Treinamento Conjunto: Simplesmente adicionar tokens específicos do domínio a um modelo pré-treinado e continuar o treinamento de Modelagem de Linguagem Mascarada (MLM) degrada as propriedades contrastivas do modelo, pois o codificador perde suas capacidades de discriminação de nível de sentença sob objetivos de predição de tokens.
Adaptação Apenas por Contraste: Continuar o treinamento usando apenas um objetivo contrastivo fornece sinais insuficientes para atualizar efetivamente os novos tokens do domínio, pois a matriz de embedding recebe sinais diluídos devido às funções de pooling.
Desafios de Otimização Conjunta: Tentar otimizar conjuntamente os objetivos MLM e contrastivo frequentemente leva a sinais de treinamento conflitantes. O loss de MLM costuma dominar devido ao seu tamanho de vocabulário maior e magnitudes de gradiente mais elevadas, sobrecarregando o objetivo contrastivo e resultando em um desempenho subótimo.

Metodologia: MOSAIC
Os autores propõem o MOSAIC (Masked Objective with Selective Adaptation for In-domain Contrastive Learning), um framework multiestágio projetado para equilibrar a supervisão de nível de token e de nível de sentença. O método baseia-se em um pré-requisito simples: expansão de vocabulário.

O framework consiste em três estágios:

Estágio 1: Aumentação de Vocabulário. O tokenizer do modelo é expandido com tokens específicos do domínio identificados a partir de um corpus de domínio. Esses novos tokens são adicionados à matriz de embedding e inicializados como a média de seus embeddings de subpalavras da base do modelo. Crucialmente, os pesos originais do codificador são preservados para manter as capacidades de discriminação de nível de sentença.
Estágio 2: Otimização Conjunta com Mascaramento Seletivo. O modelo passa por um treinamento conjunto combinando objetivos de MLM e contrastivos. Para mitigar o domínio do loss de MLM, os autores restringem o objetivo de MLM apenas aos novos tokens específicos do domínio (vocabulário restrito ao domínio). Isso reduz o denominador no loss do tipo InfoNCE, equilibrando as magnitudes de gradiente entre os objetivos de nível de token (MLM) e de nível de sentença (contrastivo). O loss conjunto é formulado como $L = \alpha \cdot L_{domain}^{MLM} + L_{CL}$ , onde $\alpha$ equilibra as contribuições.
Estágio 3: Treinamento Apenas Contrastivo. Após os tokens do domínio serem aprendidos, o modelo passa por um estágio final de treinamento usando apenas o objetivo contrastivo. Isso serve como um passo corretivo para reforçar a discriminação de nível de sentença, que pode ter sido diluída durante a fase de treinamento conjunto.

Principais Contribuições

Abordagem de Adaptação Inovadora: O artigo introduz o MOSAIC, um método que otimiza conjuntamente os objetivos MLM e contrastivos dentro de um framework de maximização de informação mútua especificamente para a adaptação de domínio de modelos de embedding de texto fortes existentes.
Mecanismo de Adaptação Seletiva: Os autores propõem restringir a supervisão de MLM apenas a tokens específicos do domínio, uma estratégia que alinha as magnitudes de gradiente e evita que o objetivo de MLM sobrecarregue o sinal contrastivo.
Validação Empírica em Recursos Diversos: O método é validado tanto em domínios de alto recurso (Biomédico) quanto de baixo recurso (Islâmico), demonstrando robustez mesmo com dados limitados de domínio.
Análise Abrangente: O estudo inclui extensos estudos de ablação analisando o impacto do objetivo conjunto, o hiperparâmetro de peso ( $\alpha$ ), estratégias de mascaramento e a ordem dos estágios de treinamento.

Resultos

Domínio de Alto Recurso (Biomédico): No subconjunto biomédico do MTEB, o MOSAIC alcançou melhorias de até 13,4% em NDCG@10 sobre baselines de domínio geral fortes. O pipeline completo de três estágios (MOSAIC-Bio-Stage3) superou a expansão de vocabulário ingênua e a adaptação apenas contrastiva, alcançando a pontuação média mais alta em tarefas de recuperação, agrupamento e similaridade semântica textual.
Domínio de Baixo Recurso (Islâmico): No domínio islâmico, caracterizado pela escassez de dados em inglês, o MOSAIC-ID-Stage3 alcançou um NDCG@10 de 36,8, superando baselines de domínio geral e uma variante apenas contrastiva. O modelo mostrou uma redução significativa de queries com scores de recuperação zero em comparação aos baselines.
Achados de Ablação:
- O fator de peso $\alpha$ é crítico; $\alpha=0,3$ gerou o equilíbrio ideal, enquanto valores mais altos causaram dominância de MLM e quedas de desempenho.
- Restringir o MLM aos tokens de domínio foi mais eficaz do que aplicá-lo ao vocabulário completo, mesmo com pesos muito baixos.
- A ordem dos estágios importa; realizar o treinamento conjunto antes do treinamento puramente contrastivo gerou melhores resultados do que o inverso.
- O método é computacionalmente eficiente, exigindo aproximadamente 3x o compute de um ajuste fino contrastivo padrão, significativamente menos que o pré-treinamento adaptativo de domínio (DAPT) completo.

Significância e Alegações
O artigo afirma que o MOSAIC fornece um mecanismo principiado e eficaz para adaptar embeddings de texto para domínios especializados sem exigir mudanças arquitetônicas complexas ou retreinamento em larga escala. Ao aproveitar as forças complementares da supervisão de nível de token e de nível de sentença através do mascaramento seletivo, o método permite que os modelos aprendam representações relevantes ao domínio enquanto preservam a robusta discriminação semântica do modelo original de domínio geral. Os autores enfatizam o valor prático desta abordagem para domínios de baixo recurso, onde a escassez de dados frequentemente impede métodos de adaptação tradicionais, facilitando assim o acesso equitativo a tecnologias de linguagem de ponta. O trabalho é apresentado como uma abordagem orientada a modelos que opera após o pré-treinamento do modelo de linguagem, distinguindo-se das técnicas anteriores baseadas em dados ou em adaptadores.