Revisiting Model Stitching In the Foundation Model Era

Este artigo revisita a costura de modelos na era dos modelos fundamentais de visão, demonstrando que modelos heterogêneos podem ser integrados com sucesso através de uma nova estratégia de perda de correspondência de características, o que permite a criação da "VFM Stitch Tree" para otimizar o equilíbrio entre precisão e latência em modelos de linguagem multimodal.

O essencial

Imagine que você tem dois chefs de cozinha incríveis, mas muito diferentes:

1. O Chef "DINO": Ele é um mestre em observar detalhes visuais. Se você mostrar a ele uma foto de um pássaro, ele consegue identificar a cor da pena, a textura da asa e o formato do bico com precisão cirúrgica. Ele é como um biólogo visual.
2. O Chef "SIGLIP": Ele é um mestre em entender o contexto e a linguagem. Se você mostrar a mesma foto, ele sabe que aquele pássaro está "voando em direção ao pôr do sol" e pode descrever a cena com uma poesia. Ele entende a história por trás da imagem.

Até agora, se você quisesse uma resposta completa (detalhes visuais + contexto poético), teria que contratar os dois chefs para trabalhar juntos. Isso significa dobrar o custo, dobrar o tempo de preparo e usar o dobro de ingredientes (recursos de computador).

O Problema: "Costurar" os Chefs

A pergunta que os pesquisadores deste artigo fizeram foi: "Será que podemos pegar a parte inicial da cozinha do Chef DINO (onde ele começa a olhar a foto) e conectar com a parte final da cozinha do Chef SIGLIP (onde ele escreve a resposta), usando apenas uma pequena 'ponte' no meio?"

Essa "ponte" é o que chamam de camada de costura (stitch layer). A ideia é criar um "Híbrido" que usa a visão aguçada de um e a inteligência de outro, mas sem precisar pagar por dois chefs inteiros.

O Que Eles Descobriram (A História da Costura)

1. A Costura "Burra" Não Funciona
No passado, as pessoas tentavam apenas "colar" os dois modelos tentando fazer com que as imagens intermediárias fossem iguais.

• A Analogia: Imagine tentar conectar o final de um filme de terror ao início de um filme de comédia apenas porque os dois têm a mesma cor de tela. O resultado é confuso e o filme fica ruim.
• O Resultado: Quando tentaram costurar os modelos de forma simples, o resultado foi desastroso. O modelo híbrido ficava pior do que qualquer um dos originais.

2. O Segredo: Ensinar a Ponte a "Sonhar" com o Resultado Final
Os pesquisadores descobriram que o segredo não é fazer as peças do meio se parecerem, mas sim ensinar a "ponte" a imaginar como seria a resposta final do Chef SIGLIP.

• A Analogia: Em vez de apenas tentar igualar os ingredientes na mesa de corte, você diz para o ajudante (a ponte): "Não importa como você corta, o prato final tem que ter o mesmo sabor que o prato do Chef SIGLIP."
• O Resultado: Ao treinar a ponte para imitar o resultado final (e não apenas o meio), eles conseguiram costurar os modelos com sucesso. O modelo híbrido funcionou perfeitamente!

3. O Milagre: O Híbrido é Melhor que os Originais
O mais surpreendente foi que, em muitos casos, o modelo costurado não apenas funcionou, mas ficou melhor do que os dois chefs originais trabalhando sozinhos.

• Por que? Porque o Chef DINO trouxe a precisão visual e o Chef SIGLIP trouxe o contexto. Juntos, eles se complementaram. A "costura" permitiu que as qualidades de um preenchessem as falhas do outro.

A Grande Invenção: A "Árvore de Costura" (VFM Stitch Tree)

Com essa descoberta, os autores criaram algo chamado VFM Stitch Tree (Árvore de Costura de Modelos Visuais).

• Como funciona: Imagine uma árvore onde o tronco (as camadas iniciais) é compartilhado por todos os chefs. Todos começam a olhar a foto juntos. Mas, quando chega a hora de fazer algo específico (como desenhar ou escrever), o tronco se divide em galhos diferentes, onde cada chef faz o que sabe de melhor.
• A Vantagem: Você não precisa carregar dois troncos inteiros na sua mochila. Você carrega um tronco compartilhado e apenas os galhos finais de cada especialista.
• O Ganho: Isso permite que sistemas de Inteligência Artificial (como os que conversam com você) usem a inteligência de vários modelos diferentes, mas gastem muito menos energia e tempo. É como ter um "botão de controle" onde você pode escolher:
  • Quero o máximo de inteligência? Use quase todos os galhos (custo um pouco maior).
  • Quero ser super rápido e barato? Use apenas o tronco e um galho pequeno (custo mínimo, mas ainda muito inteligente).

Resumo em uma Frase

Os pesquisadores descobriram que, com a técnica certa de "costura", podemos misturar a inteligência de diferentes super-IA visuais em um único modelo eficiente, permitindo que elas trabalhem juntas sem dobrar o custo, criando um sistema mais inteligente e econômico.

Resumo técnico

1. Problema e Motivação

Na era dos Modelos Fundamentais de Visão (VFMs), como CLIP, DINOv2 e SigLIP, os modelos são pré-treinados em grandes volumes de dados heterogêneos com objetivos diversos (aprendizado auto-supervisionado vs. visão-linguagem) e arquiteturas variadas.

A questão central investigada é: Modelos VFMs heterogêneos são "costuráveis" (stitchable)?
A "costura de modelos" (model stitching) é uma técnica que conecta as camadas iniciais de um modelo fonte às camadas finais de um modelo alvo através de uma camada leve de costura (stitch layer). O objetivo é determinar se as representações internas desses modelos são compatíveis, permitindo que um modelo híbrido mantenha a precisão do modelo alvo sem precisar re-treinar todo o sistema.

O artigo questiona se as estratégias tradicionais de costura, que funcionavam bem em modelos menores treinados no mesmo conjunto de dados (ex: ResNet no CIFAR-10), ainda são eficazes para VFMs grandes e heterogêneos.

2. Metodologia

Os autores propõem um protocolo sistemático para avaliar e treinar a costura entre VFMs, focando em três aspectos principais: pontos de costura, famílias de camadas de costura e funções de perda de treinamento.

2.1. Configuração Experimental

• Modelos: Utilização de pares de VFMs heterogêneos, incluindo DINOv2 (auto-supervisionado, visão pura), SigLIP2 (visão-linguagem), CLIP e DINOv3.
• Tarefa: Ajuste fino (fine-tuning) para classificação de imagens (fMoW, iNaturalist, FGVC-Aircraft) e segmentação semântica (ADE20K).
• Mecanismo: Congelamento de todos os pesos originais dos modelos fonte e alvo; apenas a camada de costura é treinável.

2.2. Análise de Estratégias de Treinamento

Os autores compararam três abordagens para treinar a camada de costura:

1. Correspondência de Características de Camada (Layer Feature Matching - LFM): Treinar a camada para minimizar a distância entre as características intermediárias no ponto de costura.
   • Resultado: Falha em VFMs, especialmente em pontos de costura rasos. Pequenos erros nas camadas iniciais acumulam-se e são amplificados pelas camadas congeladas do alvo.
2. Treinamento com Perda de Tarefa (Task Loss Training - TLT): Otimizar diretamente a perda da tarefa downstream (ex: entropia cruzada).
   • Resultado: Funciona bem em pontos profundos, mas falha drasticamente em pontos rasos devido a problemas de otimização (gradientes fracos que precisam atravessar muitas camadas congeladas).
3. Correspondência de Características Finais (Final Feature Matching - FFM) + Ajuste Fino: Uma abordagem de dois estágios proposta pelos autores.
   • Estágio 1: Pré-treinar a camada de costura para corresponder às características finais (penúltima camada) do modelo alvo (usando perda L2). Isso alinha as representações finais sem rótulos de tarefa.
   • Estágio 2: Ajuste fino (fine-tuning) da camada de costura usando a perda da tarefa downstream.

2.3. Controle de Capacidade (Self-Stitch)

Para garantir que os ganhos não venham apenas da adição de parâmetros treináveis, os autores criaram uma linha de base de "Auto-Costura" (Self-Stitch), inserindo a mesma camada de costura em um único modelo (fonte→fonte e alvo→alvo). Se a costura cruzada (fonte→alvo) superar a auto-costura, isso indica fusão real de conhecimento complementar.

3. Principais Contribuições e Resultados

3.1. A Importância do Treinamento da Camada de Costura

• As abordagens convencionais (LFM e TLT puro) falham em VFMs heterogêneos, especialmente em costuras rasas.
• A estratégia de dois estágios (FFM + TLT) é crucial. O FFM inicializa a camada de costura em um "paisagem de perda" favorável, alinhando as representações finais antes da adaptação à tarefa.
• Com essa estratégia, modelos costurados consistentemente superam as sondas lineares (linear probes) de ambos os modelos constituintes individuais.

3.2. Fusão de Conhecimento Complementar

• Os modelos costurados (ex: DINOv2 → SigLIP2) superam consistentemente as linhas de base de Self-Stitch em todos os pontos de costura e tarefas.
• Isso demonstra que a melhoria não é apenas devido à capacidade extra da camada de costura, mas sim à fusão de especializações complementares. Por exemplo, o DINOv2 traz forte estrutura perceptiva, enquanto o SigLIP2 traz alinhamento semântico robusto.
• A análise de previsões mostra que o modelo costurado preserva ou "resgata" previsões corretas de pelo menos um dos modelos base com mais frequência do que introduz erros de interferência.

3.3. VFM Stitch Tree (VST)

Baseado na descoberta de que camadas iniciais podem ser compartilhadas entre VFMs, os autores propõem a Árvore de Costura de VFM (VST).

• Conceito: Compartilhar as camadas iniciais (rasas) entre múltiplos VFMs e manter apenas as camadas finais (especializadas) separadas, conectadas por camadas de costura.
• Benefício: Permite um trade-off controlável entre precisão e latência.
• Resultados Práticos: Em um cenário de Multimodal LLM (ex: MoF-LLaVA com CLIP e DINOv2):
  • A VST com 22 camadas compartilhadas e 1 especializada (apenas 4,3% de custo extra) recupera 45% do ganho de desempenho de rodar os dois modelos completos (que custariam 100% extra).
  • Com 14 camadas compartilhadas e 9 especializadas (39% de custo extra), recupera 84% do ganho total.

4. Significado e Impacto

• De Diagnóstico para Prática: O trabalho eleva a costura de modelos de uma ferramenta puramente diagnóstica (para medir similaridade de representações) para uma receita prática para integrar pontos fortes complementares de diferentes VFMs.
• Eficiência Computacional: A VST oferece uma solução viável para sistemas multimodais que necessitam de múltiplos encoders visuais, permitindo reduzir drasticamente o custo de memória e computação sem sacrificar significativamente a performance.
• Insights sobre Representações: O estudo revela que, apesar de treinados com objetivos e dados diferentes, os VFMs desenvolvem representações compatíveis em camadas profundas, e que a incompatibilidade em camadas rasas pode ser superada com o alinhamento correto das características finais.

Em resumo, o artigo demonstra que é possível criar modelos híbridos de alta performance combinando partes de diferentes modelos fundamentais, desde que se utilize uma estratégia de treinamento adequada (FFM + TLT), abrindo caminho para arquiteturas multimodais mais eficientes e adaptáveis.