🤖 AI

Unsupervised Training of Vision Transformers with Synthetic Negatives

Este artigo demonstra que a integração de amostras negativas difíceis sintéticas no aprendizado autossupervisionado aumenta significativamente o poder discriminativo e o desempenho de arquiteturas de Vision Transformer como DeiT-S e Swin-T.

Autores originais: Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Professor Invisível na Máquina

Imagine que você está tentando ensinar um robô a reconhecer um gato. Antigamente, você teria que mostrar a ele milhares de fotos e rotular manualmente cada uma como "gato" ou "não é gato". Isso é como contratar um tutor humano para cada lição individual. Mas recentemente, cientistas descobriram uma maneira de deixar o robô aprender por conta própria, sem um humano apontando para a tela. Isso é chamado de aprendizado autossupervisionado (self-supervised learning). O robô olha para uma imagem, cria duas versões ligeiramente diferentes dela (como um corte ou mudança de cor) e tenta descobrir que essas duas versões são, na verdade, o mesmo objeto. Ele aprende comparando "amigos" (imagens semelhantes) contra "estranhos" (imagens diferentes).

No entanto, há um problema. Se os "estranhos" forem óbvios demais — como mostrar uma foto de uma torradeira ao lado de um gato — o robô não aprenderá nada de novo. É como um teste onde as respostas são fáceis demais; você não fica mais inteligente. Para aprender profundamente, o robô precisa de estranhos "difíceis": imagens que parecem quase um gato, mas não são. É aqui que entram os Vision Transformers. Estes são um novo tipo de arquitetura cerebral para computadores que são incrivelmente bons em detectar padrões em imagens, de forma semelhante a como nossos olhos focam em detalhes específicos em uma sala lotada. A grande questão que os pesquisadores estão fazendo é: Como podemos fazer com que essas máquinas poderosas aprendam ainda melhor, dando a elas o tipo certo de prática difícil?

A Grande Ideia do Artigo: Criando os Vilões "Falsos" Perfeitos

Este artigo, intitulado "Unsupervised Training of Vision Transformers with Synthetic Negatives", não inventa uma maneira totalmente nova de construir um cérebro de robô. Em vez disso, os autores — pesquisadores do Imperial College London — decidiram olhar para uma parte específica do processo de aprendizado que todos meio que ignoraram: os exemplos "negativos".

No mundo do aprendizado de máquina, um "negativo" é apenas um exemplo de algo que não é o alvo. Se você está ensinando um modelo a reconhecer um cachorro, uma foto de um gato é um negativo. Geralmente, os computadores apenas pegam negativos aleatórios de um monte de outras imagens. Mas os autores perceberam que esses negativos aleatórios são frequentemente fáceis demais. Eles são como escolher uma pessoa aleatória em uma multidão para comparar com uma celebridade específica; é óbvio que não são a mesma pessoa.

Os autores perguntaram: E se pudéssemos criar "negativos difíceis sintéticos"? Estes não são fotos reais de uma câmera. Em vez disso, são exemplos "falsos" criados matematicamente que ficam exatamente no limite de serem confusos. Eles parecem quase o alvo, forçando o computador a realmente apertar os olhos e descobrir as minúsculas diferenças.

Pense nisso como treinar para um torneio de artes marciais. Se você praticar apenas contra oponentes que são muito mais fracos que você, nunca ficará bom. Mas se você treinar contra um parceiro que é apenas um pouco melhor que você, ou que imita seus movimentos perfeitamente, terá que aprender muito mais rápido. O método dos autores, que eles chamam de SynBY, atua como um parceiro de treino inteligente. Ele pega as imagens "estranhas" que o computador já está observando, encontra aquelas que são as mais confusas (os negativos mais "difíceis") e depois as mistura para criar um novo exemplo superdesafiador. Este novo exemplo é então alimentado de volta no sistema para tornar o processo de aprendizado mais difícil e eficaz.

Como Eles Testaram e o Que Descobriram

A equipe testou essa ideia usando dois tipos populares de Vision Transformers: DeiT-S e Swin-T. Eles realizaram seus experimentos em um conjunto de dados massivo chamado ImageNet, que contém milhões de imagens. Eles compararam seu novo método (SynBY) contra a maneira padrão de fazer as coisas (MoBY).

Os resultados foram promissores. Quando usaram seus negativos difíceis sintéticos, ambos os modelos DeiT-S e Swin-T tornaram-se ligeiramente melhores em reconhecer imagens. Especificamente, os modelos melhoraram sua precisão em 0,2% em comparação com o método padrão. Embora esse número possa parecer pequeno, no mundo da IA de alto nível, um pequeno salto como esse é um grande negócio porque significa que os modelos estão aprendendo características mais "discriminativas" — eles estão ficando melhores em detectar os detalhes sutis que fazem de um gato um gato e não um cachorro.

Os autores também observaram como os modelos estavam pensando. Eles visualizaram a "atenção" dos modelos (quais partes da imagem o computador estava focando). Eles descobriram que, com seus negativos sintéticos, os modelos começaram a focar em partes mais específicas e significativas da imagem, em vez de apenas na forma geral. É como se o robô passasse de olhar para um borrão inteiro e dizer "isso é um animal" para olhar para os bigodes e as orelhas e dizer "isso é definitivamente um gato".

O Que Eles Descartaram e O Que Ainda é Desconhecido

Uma das descobertas mais interessantes do artigo é o que os autores não precisaram fazer. Métodos anteriores frequentemente exigiam uma série de "truques" extras para manter o aprendizado estável, como mudar a forma como o computador processa dados ou usar configurações muito específicas. Os autores descobriram que, ao usar seus negativos difíceis sintéticos, eles puderam, na verdade, descartar muitos desses truques extras. Os exemplos difíceis "falsos" eram tão bons em ensinar o modelo que o sistema não precisou de tanta ajuda para manter o rumo. Isso sugere que os negativos sintéticos atuam como um poderoso regulador natural, simplificando todo o processo.

No entanto, o artigo é cuidadoso para não exagerar os resultados. Os autores admitem que seus testes detalhados foram feitos em um subconjunto menor de imagens chamado ImageNet-100 para alguns experimentos, e eles ainda não testaram isso em tarefas mais complexas, como entender vídeos ou combinar imagens com texto. Eles também observam que, embora os modelos tenham melhorado, eles ainda não são tão bons quanto modelos treinados com rótulos humanos (aprendizado supervisionado). O artigo sugere que este é um passo sólido à frente, mas não é uma solução mágica que resolve tudo.

A Conclusão

Em resumo, este artigo sugere que, se você quer que um computador aprenda realmente bem a partir de imagens sem ajuda humana, você não deve apenas jogar exemplos aleatórios para ele. Você deve dar a ele os "difíceis" de propósito. Ao criar matematicamente exemplos "falsos" desafiadores que ficam exatamente no limite da confusão, os autores mostraram que os Vision Transformers podem aprender a ver o mundo com um foco mais aguçado. É um ajuste simples, mas eficaz: torne a prática mais difícil, e o aluno ficará mais esperto.

Resumo Técnico: Treinamento Não Supervisionado de Vision Transformers com Negativos Sintéticos

Declaração do Problema

Embora o aprendizado contrastivo auto supervisionado e os Vision Transformers (ViTs) tenham revolucionado o aprendizado de representações visuais, um gargalo persistente permanece: a qualidade das amostras negativas. Os métodos contrastivos padrão (ex: MoCo, SimCLR) tipicamente dependem da amostragem aleatória de exemplos negativos de um lote ou de um banco de memória. Os autores argumentam que esses negativos amostrados aleatoriamente são frequentemente "fáceis demais" de distinguir, o que limita o poder discriminativo das representações aprendidas. Embora negativos sintéticos difíceis tenham sido explorados em outros contextos, seu potencial dentro da arquitetura específica de Vision Transformers tem sido amplamente negligenciado.

Metodologia: SynBY

O artigo propõe o SynBY, um método que integra negativos sintéticos difíceis ao framework MoBY (Momentum-based Vision Transformer). A abordagem não introduz uma arquitetura nova, mas sim aumenta o objetivo de treinamento com exemplos sintetizados desafiadores.

Mecanismo Central

Integração ao Framework: O método baseia-se no MoBY, utilizando um codificador online ( $f_q$ ) com uma cabeça de projeção e de predição, e um codificador alvo ( $f_k$ ) com apenas uma cabeça de projeção.
Geração de Negativos Sintéticos Difíceis:
- A partir de uma fila de $K$ negativos reais, o sistema identifica os $N$ negativos mais difíceis ( $Q_N$ ) com base na similaridade de cosseno em relação ao embedding da consulta ( $q$ ).
- Uma função de síntese, $F$ , gera novos negativos sintéticos ( $s$ ) no espaço de características combinando a consulta e os negativos difíceis, controlada por parâmetros $\xi$ .
- O conjunto resultante de negativos sintéticos ( $Q_s$ ) é combinado com a fila de negativos reais existente para expandir a diversidade dos contrastes.
Objetivo de Treinamento: O modelo minimiza a perda InfoNCE, onde o denominador inclui tanto os negativos reais quanto os novos negativos sintéticos difíceis, forçando o modelo a aprender características mais discriminativas para distinguir a consulta desses exemplos desafiadores.

Principais Contribuições

Os autores afirmam explicitamente que o artigo não propõe um método novo per se, mas sim aborda o potencial subutilizado de negativos difíceis em ViTs. Suas contribuições específicas incluem:

Integração: Demonstrar a eficácia da integração de negativos sintéticos difíceis no framework MoBY para Vision Transformers (especificamente DeiT-S e Swin-T).
Ablação e Benchmarking: Fornecer um estudo de ablação abrangente no ImageNet-100 e ImageNet-12k, mostrando que o método fornece contraste suficiente para o aprendizado de características altamente discriminativas em várias configurações.
Simplificação da Estabilização: Mostrar que os negativos sintéticos atuam como um regularizador, potencialmente reduzendo a necessidade de "truques" complexos de estabilização (como embeddings de patch fixos) frequentemente exigidos por outros métodos contrastivos baseados em transformers.

Resultados Experimentais

O método foi avaliado no ImageNet ILSVRC-2012 e ImageNet-100 utilizando arquiteturas DeiT-Small e Swin-Tiny.

Ganhos de Desempenho: O SynBY supera o baseline MoBY em 0,2% na acurácia Top-1 em ambas as arquiteturas (DeiT-S: 73,0% vs. 72,8%; Swin-T: 75,2% vs. 75,0%). Também mantém a superioridade sobre o DINO e o MoCo-v3.
Padrões de Atenção: A visualização dos mapas de autoatenção (Figura 1) revela que o SynBY produz uma atenção mais focada com padrões de grão mais fino, destacando regiões semanticamente significativas de forma mais eficaz do que o baseline MoBY.
Insights de Ablação:
- Seleção de Dificuldade (Hardness Selection): O DeiT beneficia-se da mineração de negativos em níveis de dificuldade tanto baixos quanto altos, enquanto o Swin performa consistentemente bem em todos os níveis.
- Truques de Estabilização: Ao contrário do MoCo-v3, o SynBY não requer embeddings de patch fixos para estabilizar o treinamento; inclusive, fixar os embeddings de patch degradou o desempenho. No entanto, substituir a Normalização de Camada (Layer Normalization) por Normalização de Lote (Batch Normalization) antes dos blocos MLP resultou em melhorias.
- Drop Path: Uma taxa de drop path assimétrica (0,1 para o online, 0,0 para o alvo) provou ser ideal, sugerindo que os negativos sintéticos fornecem uma regularização inerente.
- Hiperparâmetros: O método é robusto aos hiperparâmetros padrão (tamanho da fila, temperatura, momentum), exigindo ajustes mínimos.

Significância e Alegações

O artigo posiciona sua contribuição como uma "técnica simples e eficaz" que aumenta o poder discriminativo das representações aprendidas sem um overhead computacional significativo.

Alegações Modestas: Os autores enfatizam que não estão propondo uma arquitetura fundamentalmente nova, mas sim uma integração "plug-and-play" de negativos sintéticos em frameworks contrastivos existentes.
Efeito de Regularização: Uma descoberta fundamental é que os negativos sintéticos fornecem regularização suficiente, permitindo uma implementação mais simples que evita alguns dos mecanismos de estabilidade complexos exigidos por métodos anteriores baseados em transformers.
Limitações: Os autores reconhecem que os estudos de ablação foram conduzidos principalmente no ImageNet-100, o que pode não refletir totalmente o comportamento em conjuntos de dados de maior escala, e que a avaliação foi limitada à classificação de imagens, e não a tarefas downstream complexas.
Direções Futuras: O artigo sugere que a integração de negativos sintéticos difíceis em frameworks de visão-linguagem representa uma direção promissora para o aprimoramento do aprendizado contrastivo cross-modal.