💬 NLP

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

O artigo apresenta o MixedPEFT, um novo método de adaptação de domínio não supervisionado e eficiente em parâmetros que combina adaptadores invertíveis e LoRA com treinamento de objetivo misto para otimizar simultaneamente a classificação de origem e o modelamento de linguagem mascarada de destino, alcançando o estado da arte no conjunto de dados MNLI ao utilizar apenas 7% dos parâmetros treináveis do modelo.

Autores originais: Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante e viajado pelo mundo (o Modelo de Linguagem Pré-treinado) que dominou todos os tipos de culinária imagináveis. No entanto, quando você pede para ele cozinhar um prato local específico usando apenas ingredientes de uma nova e desconhecida aldeia (o Domínio Alvo), ele tem dificuldades. Ou ele esquece suas habilidades originais, ou tenta aprender as receitas da nova aldeia provando cada ingrediente da vila, o que leva uma eternidade e é caro demais.

Este artigo, intitulado "MixedPEFT", propõe uma nova maneira inteligente de treinar este chef sem quebrar o banco ou fazê-lo esquecer suas raízes.

Aqui está a divisão da solução deles usando analogias do cotidiano:

O Problema: A Armadilha do "Tudo ou Nada"

Tradicionalmente, para ensinar ao chef o estilo da nova aldeia, você tinha que retreinar todo o seu cérebro (chamado de Ajuste Fino Total ou Full Fine-Tuning). Isso é como contratar um novo chef do zero ou forçar o antigo a desaprender tudo o que sabe. É:

Caro: Requer um poder computacional massivo.
Arriscado: O chef pode esquecer como cozinhar seus pratos famosos originais (Esquecimento Catastrófico).
Ineficiente: Você precisa de dados rotulados (um livro de receitas) para a nova aldeia, que muitas vezes não existem.

A Solução: A Equipe de "Assistentes Especializados"

Em vez de retreinar todo o chef, os autores sugerem contratar uma pequena equipe de assistentes especializados (PEFT - Ajuste Fino de Parâmetros Eficientes) para ajudar o chef a se adaptar. Eles apenas ajustam uma fração minúscula do conhecimento do chef (cerca de 7% do cérebro total), deixando o resto congelado e seguro.

Mas aqui está a reviravolta: a maioria dos métodos anteriores tentava usar apenas um tipo de assistente. Este artigo diz: "Vamos contratar uma equipe mista".

Os Dois Assistentes (A "União Customizada")

Os autores combinaram dois tipos específicos de assistentes que trabalham em diferentes partes da cozinha:

O "Adaptador Invertível": Pense nisso como um tradutor. Ele ajuda o chef a entender o dialeto local e as nuances culturais da nova aldeia sem mudar o estilo de cozinha central do chef. Ele preserva a identidade original enquanto adiciona o sabor local.
O "LoRA" (Adaptação de Baixo Rank): Pense nisso como um sub-chef especializado que foca apenas nas técnicas específicas necessárias para o novo prato (como uma técnica de corte específica ou uma mistura de temperos). É leve e muito eficiente para aprender novas tarefas.

Ao usar ambos ao mesmo tempo, o chef tem o melhor dos dois mundos: compreensão cultural profunda e maestria de tarefas específicas.

O Método de Treinamento: "O Treino de Objetivos Mistos"

Como eles treinam essa equipe? Eles usam um treino misto de duas fases:

Fase 1 (O Aquecimento): A equipe lê os diários de comida não rotulados da nova aldeia (dados não rotulados) apenas para sentir o "clima" dos ingredientes locais. Eles ainda não tentam cozinhar; eles apenas aprendem a "vibe" da aldeia usando uma técnica chamada Modelagem de Linguagem Mascarada (adivinhar palavras ausentes em frases).
Fase 2 (O Evento Principal): Esta é a grande inovação do artigo. Em vez de treinar na nova aldeia depois da antiga (ou vice-versa), eles fazem isso simultaneamente.
- Eles praticam cozinhar o prato específico para a Fonte (a tarefa original).
- Ao exato mesmo tempo, eles praticam adivinhar palavras ausentes nos diários da aldeia Alvo.

É como um chef praticando uma receita específica enquanto ouve simultaneamente o rádio local para se manter em sintonia com a cultura. Isso evita que o chef esqueça a receita original enquanto aprende a nova.

Os Resultados: Vencendo os Gigantes

Os autores testaram isso em um enorme conjunto de dados chamado MNI (que envolve 20 diferentes "gêneros" ou "dialetos" de linguagem).

Vencendo os Especialistas: O método deles superou o atual melhor método "leve" (UDapter) por uma margem clara.
Vencendo os Pesados: Surpreendentemente, o método deles (usando apenas 7% dos parâmetros) teve um desempenho melhor do que os métodos tradicionais "pesados" que retreinam 100% do modelo (como DANN e DSN).
Estabilidade: Eles provaram que usar essa pequena equipe não tornou os resultados instáveis ou "tremidos".

A Conclusão

O artigo afirma que, ao combinar dois tipos diferentes de "assistentes" (métodos PEFT) e treiná-los com um objetivo de duplo propósito (aprender a tarefa e o novo domínio ao mesmo tempo), você pode obter uma IA mais inteligente e adaptável.

A lição principal: Você não precisa reconstruir todo o motor para tornar um carro mais rápido em uma nova estrada. Às vezes, você só precisa da combinação certa de ferramentas leves e um cronograma de treinamento inteligente para superar a maquinaria pesada.

Resumo Técnico: MixedPEFT

Problema
Modelos de linguagem pré-treinados (PrLMs) frequentemente sofrem uma degradação significativa de desempenho quando implantados em novos domínios devido a mudanças de domínio (domain shifts). Métodos tradicionais de Adaptação de Domínio Não Supervisionada (UDA) abordam isso aproveitando dados de origem rotulados e dados de destino não rotulados. No entanto, as abordagens de UDA existentes baseiam-se predominantemente no ajuste fino completo (full fine-tuning), que é computacionalmente caro, propenso ao esquecimento catastrófico e impraticável para modelos de grande escala que excedem 100 milhões de parâmetros. Métodos de Ajuste Fino de Parâmetros Eficientes (PEFT), como Adapters e Low-Rank Adaptation (LoRA), oferecem uma solução ao atualizar apenas subconjuntos de parâmetros menores, mas sua aplicação à UDA tem sido limitada. A maioria dos trabalhos existentes foca em métodos PEFT únicos ou estratégias de treinamento sequencial que falham em explorar totalmente o potencial da otimização simultânea tanto para a adaptação de domínio quanto para o desempenho da tarefa, muitas vezes ficando aquém das linhas de base (baselines) totalmente ajustadas.

Metodologia
O artigo propõe o MixedPEFT, um novo framework que combina arquiteturas PEFT customizadas com treinamento de objetivo misto para abordar a adaptação de domínio não supervisionada. A metodologia é construída sobre dois pilares centrais:

Unificação de PEFT Customizada (Arquitetura):
Em vez de depender de uma única técnica PEFT, os autores empregam uma "união customizada" que integra Invertible Adapters e Low-Rank Adaptation (LoRA).
- Invertible Adapters: Escolhidos por sua capacidade de preservar informações enquanto aprendem transformações específicas do domínio.
- LoRA: Selecionado por sua eficiência em capturar adaptações específicas da tarefa dentro dos mecanismos de atenção com carga computacional mínima.
- Integração: Esses métodos são combinados aditivamente ( $h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$ ) dentro das camadas do transformer. Esta configuração utiliza aproximadamente 7,68 milhões de parâmetros treináveis (7,055% de um modelo BERT-base), evitando a sobrecarga de parâmetros enquanto aproveita as forças complementares de ambas as técnicas.
Treinamento de Objetivo Misto (Otimização):
O processo de treinamento consiste em duas fases projetadas para otimizar simultaneamente a adaptação de domínio e o desempenho da tarefa:
- Fase 1 (Pré-treinamento Adaptativo de Domínio): O modelo passa por um pré-treinamento contínuo em dados de domínio de destino não rotulados usando o objetivo de Modelagem de Linguagem Mascarada (MLM). Apenas os parâmetros PEFT são atualizados.
- Fase 2 (Ajuste Fino de Objetivo Misto): A inovação central envolve uma função de perda unificada que otimiza simultaneamente o desempenho de classificação nos dados de origem rotulados e o MLM nos dados de destino não rotulados. A perda total é definida como $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$ . O parâmetro de ponderação $\alpha$ é ajustado dinamicamente com base nos tamanhos relativos dos conjuntos de dados de origem e de destino para garantir uma contribuição equilibrada de ambos os objetivos.

Principais Contribuições
Os autores delineiam três contribuições primárias:

Abordagem Nova: Uma estratégia de UDA de parâmetros eficientes especificamente projetada com uma combinação de PEFT customizada (Invertible Adapters + LoRA) e uma metodologia de treinamento de objetivo misto que otimiza simultaneamente os objetivos de adaptação de tarefa e de domínio.
Validação Abrangente: Experimentos extensos no conjunto de dados Multi-Genre Natural Language Inference (MNLI) através de 20 mudanças de domínio distintas, demonstrando melhorias significativas sobre as linhas de base de PEFT e de ajuste total (fully-tuned), utilizando apenas 7% dos parâmetros do modelo.
Generalizabilidade: Demonstração de que a metodologia de objetivo misto é eficaz quando integrada com diferentes frameworks de unificação, validada por experimentos usando tanto a união customizada quanto o framework UniPELT.

Resultados
Avaliado no conjunto de dados MNLI, o método proposto alcançou os seguintes resultados:

Desempenho vs. SOTA de PEFT: A abordagem de união customizada alcançou uma pontuação média de Macro F1 de 76,39%, superando o estado da arte atual de parâmetros eficientes (UDapter) em 1,41 pontos percentuais e a abordagem sequencial dos próprios autores em 0,95 pontos percentuais.
Desempenho vs. Linhas de Base de Ajuste Total: Notavelmente, o método superou os métodos tradicionais de UDA de ajuste total, excedendo o DANN em 1,26 pontos percentuais e o DSN em 0,86 pontos percentuais, apesar de usar apenas 7% dos parâmetros treináveis em comparação com os 100% exigidos por essas linhas de base.
Eficiência: A abordagem atingiu 96,7% do desempenho do Limite Superior (treinamento supervisionado total nos dados de destino).
Estudos de Ablação: Experimentos comparando métodos PEFT únicos (apenas Invertible Adapters) contra a abordagem combinada confirmaram que as combinações de PEFT são essenciais para maximizar a eficácia do treinamento de objetivo misto, já que métodos únicos não conseguem explorar totalmente o potencial da estratégia de otimização simultânea.
Estabilidade: A análise de desvio padrão indicou que os ganhos de desempenho foram alcançados sem comprometer a estabilidade do modelo, mostrando variância comparável aos métodos estabelecidos.

Significância
O artigo afirma estabelecer novos marcos para a adaptação de domínio não supervisionada de parâmetros eficientes. Demonstra que combinações cuidadosamente projetadas de métodos PEFT, quando pareadas com a otimização concorrente de objetivo misto, podem superar tanto os métodos de parâmetros eficientes existentes quanto as abordagens de ajuste total computacionalmente caras. O trabalho sugere que a sinergia entre técnicas PEFT complementares e a otimização simultânea é um fator crítico para superar as limitações das mudanças de domínio sem o custo computacional do ajuste fino completo.