🤖 machine learning

Self-Soupervision: Cooking Model Soups without Labels

Este artigo introduz o "Self-Soupervision", uma nova estrutura que estende os "model soups" para o aprendizado autossupervisionado ao permitir a combinação de diversos algoritmos de SSL e hiperparâmetros para criar modelos mais robustos e precisos sem depender de dados rotulados.

Autores originais: Anthony Fuller, James R. Green, Evan Shelhamer

Publicado 2026-06-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anthony Fuller, James R. Green, Evan Shelhamer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um mestre chef que já aprendeu a cozinhar uma sopa básica e deliciosa (esta é a "base" ou o modelo pré-treinado). Geralmente, se você quiser tornar essa sopa ainda melhor, pode enviar o chef para algumas escolas de culinária diferentes para aprender novas técnicas específicas e, depois, misturar todas essas versões da sopa em uma única tigela final, super deliciosa. Isso é o que o artigo chama de "Model Soup" (Sopa de Modelos).

No entanto, no passado, essas escolas de culinária exigiam um menu rigoroso de ingredientes rotulados (aprendizado supervisionado). Você tinha que dizer ao chef exatamente o que cada vegetal era.

A Grande Ideia: Cozinhar Sem um Livro de Receitas
Este artigo apresenta um novo método chamado "Self-Soupervision" (Autossupervisão de Sopa). Os autores perceberam que você não precisa de um menu rotulado para fazer uma ótima sopa. Em vez disso, você pode deixar o chef provar os ingredientes brutos, não rotulados, e descobrir os sabores por conta própria (Aprendizado Autossupervisionado).

Aqui está como eles "cozinham" essas novas sopas, divididas em etapas simples:

1. Os Ingredientes (O "Inter-Treinamento")

Em vez de apenas ajustar levemente a receita, os autores enviam sua "base" para quatro escolas de culinária diferentes e muito distintas.

Escola A ensina o modelo a reconstruir partes ausentes de uma imagem (como um quebra-cabeça).
Escola B ensina o modelo a distinguir duas imagens diferentes.
Escola C e Escola D usam outras técnicas únicas e não rotuladas.

Como essas escolas ensinam habilidades diferentes sem precisar de um professor para dizer "sim, isso é um gato", os "ingredientes" resultantes (os modelos) são muito diversos. Eles aprenderam coisas diferentes sobre o mundo apenas observando dados brutos.

2. A Mistura (A "Sopa")

Geralmente, misturar diferentes modelos é arriscado; é como misturar uma massa de bolo de chocolate com um ensopado salgado — pode ter um gosto terrível. Mas os autores descobriram que, quando você mistura esses "ingredientes de Self-Soup" específicos, eles se misturam perfeitamente.

O Resultado: A sopa final misturada é mais robusta e precisa do que qualquer um dos modelos de ingrediente individual sozinho. É como ter uma sopa que tem um ótimo sabor quer esteja chovendo, fazendo sol ou se você acidentalmente deixou cair um pouco de sujeira nela (lidando com dados "corrompidos" ou bagunçados).

3. O Tempero Secreto: "Self-Seasoning" (Auto-Tempero)

Normalmente, para escolher a mistura perfeita de ingredientes, você precisa de um provador com uma lista de respostas corretas (rótulos) para dizer qual mistura é a melhor.

A Inovação: Os autores inventaram o "Self-Seasoning". Esta é uma forma de encontrar a mistura perfeita sem um provador. O computador olha para a sopa e pergunta: "Esta mistura faz sentido?". Ele ajusta a receita até que a sopa seja o mais consistente e lógica possível, tudo isso sem precisar de nenhum dado rotulado.

Por que Isso Importa (O "Teste de Sabor")

O artigo testou essa receita de algumas maneiras específicas:

Lidando com Dados Bagunçados: Quando testaram a sopa em imagens "corrompidas" (como fotos com ruído estático ou filtros estranhos), a Self-Soup foi significativamente melhor do que as sopas padrão. Ela ganhou cerca de 3,5% a 7% mais precisão nesses testes bagunçados.
Aprendendo com Novos Ambientes: Eles mostraram que, se você deixar o chef provar o tipo de comida que ele irá servir eventualmente (mesmo sem rótulos), a sopa final é muito melhor em lidar com esse ambiente específico.
Sem Necessidade de Rótulos Extras: Eles provaram que você pode obter resultados tão bons quanto métodos que usam dados rotulados, mas sem o custo caro de rotular milhares de imagens.

A Conclusão

Pense neste artigo como um novo livro de receitas para chefs de IA. Ele diz: "Você não precisa de um livro de receitas rigoroso (rótulos) para fazer uma sopa de classe mundial. Se você deixar seu chef explorar diferentes ingredientes não rotulados e misturá-los usando nossa nova técnica de 'Self-Seasoning', você terá um modelo mais robusto, preciso e versátil".

O artigo afirma que isso funciona especificamente para tarefas visuais (como reconhecer imagens) e torna os modelos melhores em lidar com a bagunça do mundo real, mas não afirma resolver diagnósticos médicos ou outras aplicações específicas do mundo real fora desses benchmarks de imagem.

Resumo Técnico: Self-Soupervision: Cozinhando Sopas de Modelos sem Rótulos

1. Problema

Sopas de modelos (model soups) são uma técnica para melhorar a precisão da predição através da média dos parâmetros de múltiplos modelos (ingredientes) inicializados a partir de um único modelo pré-treinado (estoque). Embora eficaz, os métodos de sopa existentes dependem inteiramente do aprendizado supervisionado. Eles exigem dados rotulados para gerar ingredientes diversos, tipicamente variando hiperparâmetros de otimização ou realizando o ajuste fino (fine-tuning) em diferentes conjuntos de dados rotulados. Essa dependência limita o "cardápio" de possíveis sopas, impedindo a utilização da vasta quantidade de dados não rotulados disponíveis no mundo real. Além disso, os métodos existentes têm dificuldade em aproveitar mudanças de distribuição ou dados alvo não rotulados para melhorar a robustez sem rótulos explícitos.

O artigo questiona: Podemos generalizar as sopas de modelos para o Aprendizado Autossupervisionado (SSL)? Especificamente, podemos criar "ingredientes" diversos treinando em dados não rotulados usando diferentes algoritmos e perdas de SSL e, então, misturá-los com sucesso em um único modelo robusto?

2. Metodologia: Self-Soupervision

Os autores introduzem o Self-Soupervision, um framework que gera ingredientes de sopa de modelos através de execuções de treinamento autossupervisionado independentes antes do ajuste fino supervisionado e da mistura final.

Estrutura Central

O processo é definido formalmente como:
$\theta = \frac{1}{N \cdot M} \sum_{j=1}^{N} \sum_{i=1}^{M} \text{Train}(\underbrace{\text{Train}(\theta_{pt}, X_i)}_{\text{Inter-treinamento Autossupervisionado}}, X_j, Y_j)$
Onde:

$\theta_{pt}$ é o estoque pré-treinado.
$M$ é o número de execuções de inter-treinamento em dados não rotulados $X_i$ usando diferentes algoritmos ou hiperparâmetros de SSL.
$N$ é o número de execuções de ajuste fino em dados rotulados $X_j, Y_j$ para a tarefa alvo.
O modelo final $\theta$ é a média de todos os ingredientes resultantes.

Componentes Principais

Ingredientes de SSL Diversos: Em vez de variar apenas hiperparâmetros supervisionados, o método varia as execuções de treinamento autossupervisionado. Os ingredientes são criados por inter-treinamento em dados não rotulados usando diferentes famílias de SSL:
- Reconstrução: MAE (Masked Autoencoders).
- Contraste de Instância: MoCoV3.
- Contraste de Dimensão: MMCR e LeJEPA.
- Variação de Hiperparâmetros: Diferentes taxas de aprendizado e razões de mascaramento dentro do mesmo algoritmo.
Inter-treinamento Consciente de Mudanças (Shift-Aware): Para melhorar a robustez, os ingredientes podem ser inter-treinados em dados corrompidos ou deslocados (ex: ImageNet-C ou LAION-C) antes de serem ajustados finamente de volta na distribuição de treinamento limpa e rotulada. Isso permite que o modelo "prove" o deslocamento sem exigir rótulos para esse deslocamento.
Auto-tempero (Self-Seasoning): A mistura de sopa tradicional frequentemente utiliza "tempero" (seleção dos melhores pesos de mistura) baseado em um conjunto rotulado de poucos disparos (few-shot). Os autores propõem o Self-Seasoning, uma variante não supervisionada. Ele otimiza os coeficientes de mistura $\alpha$ minimizando a entropia das predições de vizinhos mais próximos em dados não rotulados, permitindo a criação de sopas totalmente não supervisionadas para tarefas de transferência.

3. Principais Contribuições

Generalização para SSL: O artigo demonstra que sopas de modelos podem ser construídas a partir de ingredientes treinados com diferentes perdas e algoritmos autossupervisionados, não apenas variações de ajuste fino supervisionado.
Descoberta de Conectividade de Modo Linear (LMC): Os autores mostram pela primeira vez que a LMC — a condição onde a interpolação linear dos pesos do modelo mantém alta precisão — mantém-se entre ingredientes treinados com algoritmos de SSL fundamentalmente diferentes (ex: misturando ingredientes de MAE e MoCoV3).
Robustez via Deslocamentos Não Rotulados: O método permite a criação de ingredientes "conscientes de deslocamento" ao inter-treinar em dados não rotulados corrompidos (ex: ImageNet-C ou LAION-C) antes do ajuste fino em dados limpos, aumentando significativamente a robustez em conjuntos de teste corrompidos sem exigir rótulos para a corrupção.
Transferência Totalmente Não Supervisionada: Através do Self-Seasoning, o artigo mostra que as sopas podem ser misturadas e otimizadas para novas tarefas usando apenas dados não rotulados, removendo a necessidade de rótulos específicos da tarefa durante a fase de mistura.

4. Resultados Experimentais

Os autores avaliaram o Self-Soupervision através das coleções ImageNet e VTAB (21 tarefas visuais diversas).

Robustez em Dados Corrompidos

ImageNet-C & LAION-C: As Self-Sopas que inter-treinam em dados não rotulados corrompidos (ImageNet-C/LAION-C) e depois realizam o ajuste fino em dados limpos alcançaram ganhos significativos sobre as sopas supervisionadas padrão.
- +3.5% de melhoria em ImageNet-C.
- +7.0% de melhoria em LAION-C.
Comparação: Estas Self-Sopas superaram ensembles de ingredientes individuais e as linhas de base de "SSL Continuado + Sopa Supervisionada" (que realizam o inter-treinamento apenas em dados limpos).

Aprendizado de Transferência (VTAB)

Dados Limpos: As Self-Sopas alcançaram ganhos modestos, mas consistentes, sobre as sopas puramente supervisionadas e as linhas de base de "SSL Continuado" em 21 tarefas VTAB.
Dados Corrompidos: As Self-Sopas mostraram força particular contra desfoque (blur), clima e corrupções digitais (+2% de ganho), embora tenham performado ligeiramente pior em ruído comparadas às sopas apenas supervisionadas.
Comparação com Ratatouille: As Self-Sopas igualaram o desempenho do "Model Ratatouille" (que requer conjuntos de dados rotulados auxiliares para o inter-treinamento) enquanto não exigiram nenhum conjunto de dados rotulados extra, provando a eficácia do uso de dados não rotulados para diversidade de ingredientes.

Desempenho do Self-Seasoning

Em cenários de poucos disparos (few-shot) (<500 amostras de treinamento), o Self-Seasoning (otimização de mistura não supervisionada) foi competitivo com o "Labeled Seasoning" (otimização supervisionada) e superou o ajuste fino padrão em tarefas naturais. Isso demonstra que sopas de alta qualidade podem ser criadas e ajustadas sem rótulos específicos da tarefa.

5. Significância e Alegações

O artigo afirma que o Self-Soupervision "expande vastamente o cardápio de sopas possíveis" ao aproveitar dados não rotulados e diversas perdas de SSL. Sua principal significância reside em:

Democratização da Robustez: Permite que praticantes melhorem a robustez do modelo contra mudanças de distribuição usando apenas dados deslocados não rotulados, contornando a necessidade de dados rotulados caros para o deslocamento.
Diversidade Algorítmica: Prova que misturar modelos treinados com diferentes objetivos de SSL (ex: reconstrução vs. contraste) é não apenas possível, mas produtivo, desafiando a suposição de que os ingredientes devem ser homogêneos em seu objetivo de treinamento.
Eficiência de Custo: O método melhora a precisão e a robustez sem aumentar os custos de inferência (a sopa final é um único modelo) e reduz a dependência de dados rotulados para o processo de "cozinhar".

Os autores concluem que, embora os ganhos em dados limpos sejam modestos, a capacidade de alavancar dados não rotulados para robustez e a habilidade de misturar algoritmos de SSL fundamentalmente diferentes representam um passo significativo à frente no aprendizado de fusão de modelos (model merging) e aprendizado autossupervisionado.