💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

Este estudo demonstra que a aplicação de métodos de ajuste fino de parâmetros eficientes, especificamente adaptadores e a Adaptação de Baixo Rank (LoRA) à atenção deformável, permite que modelos baseados em transformer alcancem um desempenho competitivo em segmentação de instâncias ao ajustar apenas 1-6% dos parâmetros, reduzindo significativamente o custo computacional em comparação ao ajuste fino tradicional.

Autores originais: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Publicado 2026-06-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Chef "Superdimensionado"

Imagine que você tem um chef mundialmente famoso (um Modelo Pré-treinado de Grande Escala) que passou anos aprendendo a cozinhar todos os pratos imagináveis. Este chef sabe tudo sobre comida, desde a confeitaria francesa até o sushi japonês.

Agora, você quer que este chef prepare um prato local muito específico: Segmentação de Instância. Em termos de visão computacional, isso significa não apenas dizer "aquele é um cachorro", mas desenhar um contorno perfeito ao redor de cada um dos cachorros em uma foto, distinguindo um do outro.

O Problema:
Para ensinar este chef o seu prato local específico, a maneira tradicional é fazê-lo reaprender tudo do zero ou, pelo menos, reaprender 40–55% de toda a sua base de conhecimento. Isso é como forçar o chef a esquecer seus últimos 10 anos de treinamento e começar de novo. Isso leva uma quantidade massiva de tempo, energia e dinheiro (poder de computação). Além disso, no processo, eles podem esquecer como cozinhar os outros pratos pelos quais eram famosos.

A Solução (PEFT):
Este artigo explora uma maneira mais inteligente chamada Ajuste Fino de Parâmetros Eficientes (PEFT). Em vez de retreinar o chef inteiro, damos a ele um pequeno "cartão de receita" especializado ou um "avental especializado" que o ajuda a se adaptar ao seu prato específico sem alterar seu conhecimento central.

Os pesquisadores testaram dois tipos desses "cartões de receita":

Adapters (Adaptadores): Pequenos módulos extras adicionados ao fluxo de trabalho do chef.
LoRA (Adaptação de Baixo Posto): Uma maneira de ajustar as notas existentes do chef com atualizações muito pequenas e eficientes.

Os Dois "Cartões de Receita" Explicados

1. Adapters: Os Módulos de "Missão Secundária"

Pense nos Adapters como adicionar uma pequena cozinha especializada à cozinha principal do chef.

Como funciona: Toda vez que o chef realiza um passo importante (como picar ou refogar), ele faz uma pausa e passa os ingredientes por esta pequena cozinha lateral. A cozinha lateral adiciona um pouco de "sabor local" ao prato antes que ele volte para o fluxo principal.
O Experimento: Os pesquisadores tentaram adicionar 1, 2, 3 ou 4 dessas cozinhas laterais em sequência.
A Descoberta: Eles descobriram que ter 2 ou 3 cozinhas laterais era o "ponto ideal". Isso dava os melhores resultados sem tornar a cozinha muito congestionada. Adicionar uma quarta não ajudou muito mais, mas tornou o processo mais lento.
O Custo: Este método exigiu o treinamento de apenas cerca de 1% a 6% dos parâmetros totais (os "ingredientes" que o chef precisa aprender), comparado aos 40–55% necessários para o método antigo.

2. LoRA: A "Caneta Marca-Texto"

Pense no LoRA como uma caneta marca-texto especial. Em vez de reescrever todo o livro de receitas do chef, você apenas destaca frases específicas no texto existente para mudar levemente o seu significado.

Como funciona: Os pesquisadores aplicaram este marca-texto especificamente às partes de "atenção" do modelo (onde o chef decide para onde olhar na imagem). Eles até testaram isso em um tipo complexo de atenção chamado "atenção deformável" pela primeira vez neste contexto.
A Descoberta: O LoRA é incrivelmente eficiente. Ele precisou aprender apenas cerca de 0,3% a 1% dos parâmetros.
A Ressalva: Embora o LoRA fosse super rápido e leve, ele nem sempre vencia. Em algumas tarefas muito bagunçadas ou difíceis (como imagens de raio-X de lixo), a "cozinha lateral" (Adapters) fazia um trabalho melhor porque tinha um pouco mais de capacidade para lidar com a complexidade. Em tarefas simples e cotidianas (como cenas de ruas da cidade), o LoRA brilhava.

O Teste de Direção: Quatro "Cozinhas" Diferentes

Os pesquisadores testaram esses métodos em quatro conjuntos de dados muito diferentes (tipos de imagens) para ver como funcionavam:

Golfinhos (NDD20): Imagens claras de golfinhos acima e abaixo da água.
- Resultado: Ambos os métodos funcionaram bem, mas os Adapters (com mais "cozinhas laterais") foram ligeiramente melhores em capturar os detalhes específicos dos golfinhos.
Lixo em uma Esteira Transportadora (ZeroWaste): Uma pilha bagunçada de plástico, metal e papelão.
- Resultado: Este era um trabalho difícil e desordenado. Os Adapters venceram aqui. Eles foram melhores em distinguir a diferença entre um saco plástico amassado e um pedaço de metal.
Raio-X de Resíduos (WIXray): Ver através do lixo para encontrar baterias ou vidro em um raio-X.
- Resultado: Esta foi a tarefa mais difícil. Os Adapters novamente superaram o LoRA. As "cozinhas laterais" foram melhores em aprender os padrões estranhos e novos das imagens de raio-X que o chef ainda não tinha visto antes.
Ruas da Cidade (Cityscapes): Carros, pessoas e prédios em uma cidade.
- Resultado: Este é um tipo de imagem muito comum, semelhante ao que o chef aprendeu originalmente. Aqui, o LoRA foi a superestrela. Ele foi tão eficiente que na verdade superou o método tradicional e os Adapters, usando quase nenhuma memória extra.

O Veredito: O Que Eles Aprenderam?

Eficiência é Rei: Você não precisa retreinar o modelo inteiro. Você pode obter 90–95% do desempenho treinando apenas 1–6% do modelo.
Um Tamanho Não Serve para Todos:
- Se a tarefa for complexa, bagunçada ou muito diferente do que o modelo aprendeu originalmente (como raios-X), use Adapters (especificamente 2 ou 3 deles). Eles são mais flexíveis.
- Se a tarefa for semelhante à vida cotidiana (como ruas da cidade), use o LoRA. É o mais eficiente e rápido.
Velocidade vs. Poder: Os Adapters adicionam um pouco de tempo ao processo (como adicionar uma cozinha lateral leva alguns segundos extras), mas o LoRA é instantâneo porque apenas ajusta as notas existentes.

Resumo

Este artigo prova que você não precisa de um computador gigante e caro para ensinar um modelo de IA massivo um novo trabalho específico. Ao usar pequenos complementos inteligentes (Adapters) ou ajustes eficientes (LoRA), podemos personalizar esses modelos gigantes para tarefas específicas como encontrar objetos em fotos, economizando enormes quantidades de tempo e dinheiro, mantendo excelentes resultados. A chave é escolher a ferramenta certa para o trabalho específico que você deseja realizar.

Resumo Técnico: Ajuste fino eficiente em parâmetros de grandes modelos pré-treinados para tarefas de segmentação de instâncias

Definição do Problema
O rápido avanço dos grandes modelos pré-treinados (LPMs) em visão computacional trouxe resultados de estado da arte em várias tarefas. No entanto, o aumento substancial nos parâmetros dos modelos cria barreiras significativas para a adaptação em tarefas subsequentes. O ajuste fino total tradicional exige a atualização de todos ou de grandes subconjuntos de pesos para cada nova tarefa, levando a altos custos computacionais e de memória, riscos de esquecimento catastrófico e sobreajuste (overfitting) em conjuntos de dados alvo menores. Métodos de Ajuste Fino Eficiente em Parâmetros (PEFT), como Adapters e Low-Rank Adaptation (LoRA), ganharam tração no Processamento de Linguagem Natural (NLP), mas sua aplicação em tarefas complexas de Visão Computacional (CV) — especificamente segmentação de instâncias usando arquiteturas baseadas em transformers — permanece subexplorada. Além disso, os métodos de PEFT existentes frequentemente enfrentam limitações de escalabilidade e não são otimizados para os requisitos únicos da segmentação de instâncias, como previsões precisas ao nível de pixel e a diferenciação de instâncias de objetos. Existe uma lacuna notável na literatura quanto à integração dessas técnicas dentro de módulos de atenção deformável, que são centrais para os modernos detection transformers (DETR).

Metodologia
Este estudo investiga a eficácia de duas estratégias de PEFT — Adapters arranjados sequencialmente e LoRA — aplicadas a dois grandes modelos pré-treinados de segmentação de instâncias: o Segment Everything Everywhere Model (SEEM) e o Mask DINO. A pesquisa foca na adaptação desses modelos através de quatro conjuntos de dados de referência de complexidade variada: NDD20 (segmentação de golfinhos), ZeroWaste (esteira de resíduos), WIXray (inspeção de resíduos em raios-X) e Cityscapes (cenas urbanas de rua).

Adapters: Os autores propõem uma nova integração sequencial de módulos adapter. Diferente das implementações padrão que colocam um único adapter por camada, este estudo introduz múltiplos blocos de adapter ( $I$ ) sequencialmente dentro de cada bloco transformer. Esses adapters são inseridos após as camadas de autoatenção (self-attention) e de atenção cruzada (cross-attention). A arquitetura inclui uma projeção linear descendente, uma ativação ReLU, uma projeção linear ascendente e uma conexão residual. O estudo explora diferentes configurações de conexão residual ( $\kappa$ , $\lambda$ , e $\kappa + \lambda$ ) para determinar o fluxo de sinal ideal.
LoRA em Atenção Deformável: Uma principal contribuição metodológica é a aplicação de LoRA a mecanismos de atenção deformável multiescala. Embora o LoRA seja tipicamente aplicado a camadas de atenção padrão (modificando as projeções de query e value), este trabalho estende a técnica para a atenção deformável. Aqui, matrizes LoRA são aplicadas às matrizes de peso responsáveis por prever deslocamentos ( $W_{offset}$ ) e projeções de valor ( $W_V$ ), permitindo que o modelo aprenda localizações de amostragem e interpretações de valores específicas da tarefa sem alterar os pesos pré-treinados principais.
Configuração Experimental: Os experimentos foram conduzidos utilizando GPUs NVIDIA Quadro RTX 8000. O estudo compara configurações de PEFT contra configurações de ajuste fino tradicional (cabeça de segmentação completa, apenas decodificador e apenas embeddings). Uma varredura de parâmetros foi realizada para os postos (ranks) de LoRA ( $r = \{2, 4, 8, 16\}$ ) e contagens de adapters ( $I = \{1, 2, 3, 4\}$ ).

Principais Contribuições

Primeira Aplicação de LoRA à Atenção Deformável: O artigo introduz uma abordagem LoRA especificamente para camadas de atenção deformável multiescala, alcançando eficiência de parâmetros ao atualizar apenas matrizes de baixo posto dentro desses mecanismos de atenção especializados.
Integração de Adapters Sequenciais: O estudo apresenta a primeira implementação de módulos adapter arranjados sequencialmente para grandes modelos pré-treinados de segmentação de instâncias, explorando a escalabilidade da adição de múltiplos blocos de adapter por camada transformer.
Benchmarking Abrangente: A pesquisa fornece uma análise comparativa de métodos PEFT através de quatro conjuntos de dados diversos, avaliando desempenho, eficiência de parâmetros e velocidade de inferência nas arquiteturas SEEM e Mask DINO.

Resultos
O estudo demonstra que os métodos PEFT podem alcançar um desempenho competitivo enquanto ajustam apenas uma pequena fração dos parâmetros do modelo:

Eficiência de Parâmetros: Configurações de Adapters exigiram entre 1,23% e 3,88% dos parâmetros para o SEEM e entre 0,5% e 6,35% para o Mask DINO. O LoRA foi ainda mais eficiente, utilizando aproximadamente 0,34% a 0,54% para o SEEM e 0,73% a 1,39% para o Mask DINO (espinha dorsal ResNet-50). Em contraste, o ajuste fino da cabeça completa exigiu 39,55% (SEEM) e 54,91% (Mask DINO) dos parâmetros.
Compromissos de Desempenho:
- Adapters: O aumento do número de adapters geralmente melhorou o desempenho, com 2 a 3 adapters por bloco oferecendo o equilíbrio ideal entre precisão e contagem de parâmetros. No conjunto de dados ZeroWaste, uma configuração de 4 adapters para o Mask DINO superou inclusive o estado da arte (SOTA) do ajuste fino de cabeça completa.
- LoRA: O LoRA exibiu forte eficiência, mas mostrou desempenho variável dependendo do conjunto de dados e da arquitetura. Destacou-se no conjunto de dados Cityscapes (superando o ajuste fino de cabeça completa para o Mask DINO com apenas 0,24% de parâmetros), mas teve desempenho inferior em comparação aos adapters em tarefas de mudança de domínio complexas, como WIXray (imagens de raio-X) e ZeroWaste.
- Dependência de Arquitetura: O Mask DINO (baseado em atenção deformável) frequentemente alcançou resultados comparáveis ou superiores ao modelo SEEM, que é maior, sugerindo que o mecanismo de atenção deformável combinado com o denoising contrastivo é altamente eficaz para localização de instâncias.
Velocidade de Inferência: Os adapters introduziram um leve sobrecarga computacional (1–2 ms por iteração por bloco de adapter adicionado) devido às camadas adicionais. O LoRA, no entanto, impôs uma sobrecarga de inferência negligenciável, pois os pesos são recompostos e fundidos com o modelo base antes da inferência.

Significância e Alegações
O artigo afirma demonstrar o potencial do PEFT para permitir o aprendizado por transferência escalável, customizável e computacionalmente eficiente para segmentação de instâncias. Os autores enfatizam que, embora os métodos PEFT nem sempre correspondam ao pico absoluto de desempenho do ajuste fino total, eles oferecem uma alternativa viável para ambientes com restrição de recursos. O estudo destaca que a escolha entre Adapters e LoRA é dependente do contexto: Adapters podem ser preferíveis para tarefas que exigem adaptação de domínio significativa ou manipulação de objetos deformáveis complexos, enquanto o LoRA é altamente eficaz para tarefas próximas à distribuição de pré-treinamento.

Os autores observam modestamente que, embora seus resultados sejam promissores, há espaço para otimização adicional. Eles reconhecem que lacunas de desempenho permanecem em certos cenários complexos (ex: WIXray) e que o aumento no tempo de inferência dos adapters pode limitar seu uso em aplicações de tempo real. O trabalho conclui chamando para mais pesquisas em estratégias híbridas, benchmarking mais amplo em diversas tarefas de visão e o desenvolvimento de novos variantes de adapters para realizar plenamente o potencial de adaptação de grandes modelos pré-treinados para aplicações especializadas de visão computacional.