🤖 AI

Cluster Contrast for Unsupervised Visual Representation Learning

O artigo apresenta o Cluster Contrast (CueCo), um novo método de aprendizado de representação visual não supervisionado que combina sinergicamente objetivos de aprendizado contrastivo e de agrupamento para simultaneamente dispersar características dissemelhantes e alinhar as semelhantes, alcançando desempenho de estado da arte nos benchmarks CIFAR e ImageNet.

Autores originais: Nikos Giakoumoglou, Tania Stathaki

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nikos Giakoumoglou, Tania Stathaki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer animais, mas você tem uma montanha de fotos e zero rótulos. Você não pode dizer ao robô "isso é um gato" ou "isso é um cachorro". Este é o mundo do aprendizado não supervisionado, um ramo da inteligência artificial onde os computadores tentam aprender os padrões do mundo por conta própria, sem um professor apontando as coisas. Para fazer isso, os pesquisadores usam dois truques principais. O primeiro é o aprendizado contrastivo, que é como ensinar uma criança a notar diferenças: "Esta foto não é aquela foto". Isso força o computador a afastar coisas diferentes em sua mente para que elas não se misturem. O segundo truque é o agrupamento (clustering), que é como separar uma pilha de roupas bagunçadas. O computador olha para todas as meias e camisetas e tenta agrupar as semelhantes, mesmo que ainda não saiba como elas são chamadas. Por muito tempo, esses dois truques trabalharam em salas separadas, mas os cientistas se perguntaram: e se pudéssemos fazê-los trabalhar juntos na mesma sala para criar uma compreensão super inteligente de imagens?

Apresentamos o CueCo (Cluster Contrast), um novo método proposto pelos pesquisadores Nikolaos Giakoumoglou e Tania Stathaki, do Imperial College London. Pense no CueCo como um mestre coreógrafo para uma pista de dança lotada. No passado, os instrutores de dança (algoritmos) ou diziam a todos para se espalharem o máximo possível (aprendizado contrastivo) ou diziam a todos para se amontoarem em grupos apertados (agrupamento). O CueCo faz ambos ao mesmo tempo. Ele usa uma dinâmica de "empurra-puxa", muito parecida com ímãs. Ele empurra diferentes tipos de dançarinos (como gatos e cachorros) para longe para que não colidam, enquanto simultaneamente puxa dançarinos do mesmo tipo (todos os gatos) para um círculo apertado e aconchegante.

Os pesquisadores construíram um sistema com duas redes neurais: uma rede de "consulta" (query) que aprende e uma rede de "chave" (key) que se move lentamente, como uma sombra seguindo o aprendiz. Eles testaram isso em três conjuntos de dados de imagens famosos: CIFAR-10, CIFAR-100 e ImageNet-100. Os resultados foram impressionantes. Quando eles congelaram o aprendizado e apenas pediram a um classificador simples para ordenar as imagens, o CueCo alcançou 91,40% de precisão no CIFAR-10, 68,56% no CIFAR-100 e 78,65% no ImageNet-100. Esses números o colocam no mesmo nível dos melhores métodos disponíveis atualmente, provando que misturar o "empurrão" do contraste com o "puxão" do agrupamento cria um mapa mais organizado e útil do mundo visual.

A Magia do Empurra e do Puxa

Para entender como o CueCo funciona, imagine que você está organizando uma biblioteca enorme onde todos os livros estão misturados e você não sabe os títulos. Você tem dois objetivos: garantir que nenhum livro diferente pareça igual e garantir que todas as cópias do mesmo livro estejam empilhadas ordenadamente.

O Empurrão (Aprendizado Contrastivo)
Primeiro, o CueCo pega uma foto e cria duas versões ligeiramente diferentes dela, como tirar uma foto de um gato, depois recortá-la e girá-la levemente. Ele diz ao computador: "Estas duas visões são o mesmo gato". Mas ele também olha para fotos de cachorros e diz: "Estes são totalmente diferentes". Usando uma regra matemática chamada perda InfoNCE, o sistema age como uma força repulsiva. Ele empurra as características de "gato" para longe das características de "cachorro" no espaço de memória do computador. Isso garante que, se você vir um gato novamente, o computador não pense acidentalmente que é um cachorro. Ele espalha as diferentes classes, tornando-as distintas.

O Puxão (Agrupamento/Clustering)
Mas espalhar as coisas não é suficiente; você também precisa agrupar as coisas semelhantes. É aqui que entra o "puxão". Como o computador não possui rótulos reais, ele adivinha quais fotos pertencem juntas observando padrões. Ele cria "clusters" ou grupos. O CueCo então age como uma força de atração, puxando todas as fotos do mesmo tipo para perto, formando uma bola apertada. Ele utiliza duas ferramentas específicas para isso:

Perda de Contraste de Centroide (Centroid Contrastive Loss): Isso garante que cada foto se alinhe com o "centro de gravidade" de seu grupo. É como garantir que cada foto de gato esteja parada bem ao lado do imaginário "Centro do Gato".
Perda de Variância (Variance Loss): Isso garante que o grupo não seja apenas uma nuvem frouxa, mas uma bola compacta e apertada. Ela minimiza a distância entre as fotos e o centro do grupo, garantindo que os "gatos" estejam todos amontoados de perto, e não espalhados.

A Dinâmica da Pista de Dança
O artigo visualiza isso como forças na física. A parte contrastiva é uma força repulsiva (como dois polos norte de um ímã se empurrando), garantindo que diferentes classes não se fundam. A parte de agrupamento é uma força de atração (como polos opostos se puxando), garantindo que a mesma classe permaneça compacta. O objetivo é alcançar um equilíbrio perfeito onde o grupo do "gato" esteja longe do grupo do "cachorro", mas cada gato esteja de mãos dadas com todos os outros gatos.

Como Eles Fizeram

Os pesquisadores não apenas adivinharam; eles construíram um framework específico. Eles usaram uma estrutura de base ResNet-18, que é uma estrutura padrão e confiável para reconhecimento de imagens. Eles treinaram isso em três conjuntos de dados:

CIFAR-10: 10 tipos de imagens pequenas.
CIFAR-100: 100 tipos de imagens pequenas.
ImageNet-100: Um subconjunto de 100 tipos de um conjunto de dados muito maior e mais complexo.

Eles usaram um truque inteligente chamado codificador de momento (momentum encoder). Imagine que a rede de "consulta" é um aluno aprendendo rápido, e a rede de "chave" é um professor que atualiza lentamente. O professor é apenas uma média suave e lenta do aluno. Isso evita que o sistema fique confuso por mudanças repentinas e ajuda a manter os "grupos" (clusters) estáveis ao longo do tempo.

Para garantir que os grupos não ficassem presos em um padrão ruim (como colocar todas as fotos em uma única pilha gigante), eles usaram uma "fila" de imagens para calcular os centros dos grupos. Eles também resetavam esses grupos a cada 1.000 passos para manter as coisas frescas e equilibradas.

Os Resultados: Funciona?

A equipe testou seu método vendo quão bem o computador conseguia ordenar imagens sem nenhuma ajuda. Eles compararam o CueCo contra outros métodos de ponta como MoCo-v2, SimCLR e BYOL.

No CIFAR-10, o CueCo alcançou 91,40% de precisão. Isso é muito próximo dos melhores desempenhos, mostrando que ele pode lidar bem com tarefas simples.
No CIFAR-100, atingiu 68,56%.
No ImageNet-100, alcançou 78,65%.

Mas a verdadeira magia aconteceu na classificação de imagens não supervisionada. Normalmente, quando os computadores apenas agrupam coisas sem rótulos, eles fazem um trabalho medíocre. O CueCo, no entanto, mostrou que consegue agrupar imagens muito melhor do que os outros. No CIFAR-10, alcançou uma precisão de agrupamento de 75,06%, superando as versões reimplementadas do MoCo-v2 (63,51%) e SimCLR (74,50%). No CIFAR-100, marcou 33,82%, vencendo a competição novamente.

Os pesquisadores também realizaram um "estudo de ablação", que é como desmontar uma máquina para ver qual parte faz o quê. Eles descobriram que:

Usar apenas o "empurrão" (perda contrastiva) deu uma boa base.
Adicionar o "puxão" (perda de centroide) melhorou o agrupamento.
Adicionar a "estreiteza" (perda de variância) tornou os resultados ainda melhores.

Isso provou que todas as três partes do sistema "empurra-puxa" deles são necessárias para obter os melhores resultados.

Por Que Isso Importa

O artigo sugere que, ao combinar essas duas forças, podemos criar representações visuais que são tanto distintas (fáceis de diferenciar) quanto organizadas (fáceis de agrupar). Isso é um grande avanço porque significa que podemos não precisar de tantos exemplos rotulados por humanos para ensinar computadores a enxergar. O método não afirma ter resolvido o problema da IA completamente, mas oferece uma nova direção promissora. Mostra que um pouco de "empurrão" e um pouco de "puxão" podem ajudar um computador a entender o mundo de uma forma que é ao mesmo tempo ampla e detalhada, tudo isso sem um único professor humano dizendo: "Isso é um gato".

Resumo Técnico: Contraste de Agrupamento para Aprendizado de Representação Visual Não Supervisionado

Definição do Problema
O aprendizado de representação visual não supervisionado visa extrair características significativas de dados não rotulados, diminuindo a lacuna de desempenho em relação às técnicas supervisionadas. Embora o aprendizado contrastivo tenha alcançado resultados de estado da arte ao tratar cada imagem e suas aumentações como classes distintas (focando na invariância intra-imagem), ele foca primariamente em dispersar as características para garantir a separação interclasses. Por outro lado, métodos baseados em agrupamento (clustering) exploram semelhanças entre diferentes imagens para formar grupos, mas frequentemente sofrem com atrasos nos sinais de supervisão ou atribuições de agrupamento estáticas que falham em se adaptar às características evolutivas dos dados durante o treinamento. O desafio reside em combinar efetivamente o poder discriminativo do aprendizado contrastivo com as capacidades de coesão de agrupamento para refinar as representações de características sem anotações manuais.

Metodologia: Cluster Contrast (CueCo)
Os autores propõem o Cluster Contrast (CueCo), um framework auto-supervisionado que integra o aprendizado contrastivo e o agrupamento do espaço de características através de uma dinâmica de "empurrar-puxar" (push-pull). A arquitetura utiliza duas redes neurais: um codificador de consulta ( $f_\theta$ ) e um codificador de chave ( $f_\xi$ ), onde o codificador de chave é atualizado via uma média móvel lenta dos parâmetros do codificador de consulta.

O framework otimiza o espaço de características usando três componentes de perda distintos:

Perda Contrastiva ( $L_1$ ): Baseada no critério InfoNCE, este componente atua como uma "força repulsiva". Ele une pares positivos (visões aumentadas da mesma imagem) e afasta amostras negativas (visões de diferentes imagens). Isso garante que classes distintas sejam bem separadas no espaço de características.
Perda de Contraste de Centroide ( $L_2$ ): Este componente atua como uma "força atrativa" ao nível do cluster. Após atribuir as características a pseudo-clusters (via K-means em uma fila/queue), esta perda alinha as características com seu centroide de cluster atribuído enquanto as afasta de outros centroides. Isso refina a granularidade das representações.
Perda de Variância ( $L_3$ ): Este objetivo minimiza a distância euclidiana ao quadrado entre as características e seus centroides de cluster, escalonada pela variância do cluster. Isso garante que as características não apenas se alinhem aos centroides, mas também conformem a distribuição global do cluster, promovendo a compactação intra-classe e a uniformidade.

Mecanismo de Agrupamento Online
Para abordar a ineficiência computacional e a natureza estática do agrupamento offline (ex: executar K-means ao final de cada época), o CueCo emprega um esquema de agrupamento por momentum online. Em vez de re-agrupar todo o conjunto de dados, o método mantém uma fila de características. Os centroides de cluster ( $c_i$ ) e as variâncias ( $\sigma^2_i$ ) são atualizados continuamente em cada iteração usando uma abordagem baseada em momentum (semelhante à atualização do codificador de chave). Isso permite que a estrutura de agrupamento se adapte dinamicamente às características visuais mais recentes dos dados, facilitando a propagação estável do gradiente.

A função objetivo final é uma soma ponderada dessas perdas:
$L = \lambda_1 \cdot L_1 + \lambda_2 \cdot L_2 + \lambda_3 \cdot L_3$

Principais Contribuições
O artigo delineia três contribuições primárias:

Novo Framework de Mecanismo Duplo: Introdução do CueCo, que utiliza dinâmicas de "empurrar-puxar" para otimizar simultaneamente a separação interclasses (via perda contrastiva) e a coesão intra-classe (via perdas de agrupamento de espaço de características).
Análise Teórica: Uma análise abrangente demonstrando como a integração da perda contrastiva com o agrupamento de espaço de características melhora de forma coesa a representação de características.
Desempenho Empírico: Demonstração de desempenho de estado da arte em benchmarks padrão, validando a eficácia do método proposto.

Resultados Experimentais
Os autores avaliaram o CueCo utilizando um backbone ResNet-18 com protocolos de avaliação linear e tarefas de classificação de imagens não supervisionadas no CIFAR-10, CIFAR-100 e ImageNet-100.

Avaliação Linear (Acurácia Top-1):
- CIFAR-10: 91,40%
- CIFAR-100: 68,56%
- ImageNet-100: 78,65%
  Estes resultados são competitivos com outros métodos de estado da arte como MoCo-v3, BYOL e DINO, conforme mostrado na Tabela 1 do artigo.
Métricas de Agrupamento Não Supervisionado:
No CIFAR-10 e CIFAR-100, o CueCo superou versões reimplementadas do MoCo-v2 e SimCLR em todas as métricas padrão: Informação Mútua Normalizada (NMI), Informação Mútua Ajustada (AMI), Índice de Rand Ajustado (ARI) e Acurácia de Agrupamento (ACC). Por exemplo, no CIFAR-10, o CueCo alcançou 75,06% de acurácia de agrupamento comparado a 74,50% do SimCLR.
Estudos de Ablação:
Experimentos no CIFAR-100 confirmaram que, embora a perda contrastiva sozinha forneça uma base sólida, a adição da perda de contraste de centroide melhora as métricas de agrupamento, e a inclusão da perda de variância aumenta ainda mais tanto a avaliação linear quanto o desempenho de classificação não supervisionada.

Significância e Alegações
O artigo afirma que o CueCo estabelece um novo direcionamento para o avanço do aprendizado de representação visual não supervisionado ao integrar com sucesso os pontos fortes do aprendizado contrastivo e do agrupamento. Ao equilibrar as forças "repulsivas" do aprendizado contrastivo com as forças "atrativas" do agrupamento, o método produz representações mais discriminativas com estrutura de classe melhorada sem exigir dados rotulados. Os autores enfatizam que esta abordagem efetivamente dispersa e alinha as representações de características simultaneamente, levando a modelos robustos que se destacam particularmente em métricas de classificação de imagens não supervisionadas.

A Magia do Empurra e do Puxa

Como Eles Fizeram

Os Resultados: Funciona?

Por Que Isso Importa

Mais como este