Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling

Resumo Técnico: Cabeças de Classificação Supervisionada como Protótipos Semânticos

Enunciação do Problema
Modelos Visão-Linguagem (VLMs) como o CLIP demonstraram capacidades notáveis em classificação zero-shot e recuperação cross-modal ao mapear imagens e texto para um espaço de representação compartilhado. No entanto, alcançar esse alinhamento tipicamente requer treinamento end-to-end em conjuntos de dados massivos e pareados de imagem-texto, incorrendo em custos de dados e computação proibitivos. Embora métodos recentes de alinhamento post-hoc tentem reduzir esses custos aprendendo mapeamentos leves entre codificadores pré-treinados independentemente, eles ainda dependem fortemente de quantidades substanciais de dados pareados de imagem-texto para funcionar efetivamente. Este trabalho aborda o desafio de alcançar alinhamento visão-linguagem com dados pareados de imagem-texto mínimos ou inexistentes, explorando especificamente se informações semânticas já embutidas nos pesos de modelos de visão supervisionados podem ser reaproveitadas.

Metodologia
A ideia central deste trabalho é que os pesos da cabeça de classificação ($W$) de modelos de visão pré-treinados em conjuntos de dados supervisionados em grande escala (especificamente ImageNet-21K) funcionam como protótipos semânticos de alta qualidade. Esses pesos, tipicamente descartados após o pré-treinamento, são reciclados para alinhar codificadores de imagem e texto treinados independentemente de maneira post-hoc.

O framework proposto opera em dois regimes principais:

1. Alinhamento sem Pares Imagem-Texto: Os autores tratam os vetores de linha $w_i$ da matriz de pesos de classificação $W$ como âncoras semânticas. Esses vetores são emparelhados com os embeddings de texto dos nomes das classes correspondentes (por exemplo, "Um tanque") para formar um conjunto de dados de alinhamento sintético ($D_{weights}$). Este conjunto de dados é usado para treinar funções de alinhamento leves (como um MLP, CSA ou Text-to-Concepts) para mapear o espaço do codificador de imagem para o espaço do codificador de texto, contornando completamente a necessidade de pares reais de imagem-texto.
2. Aumento de Dados: Os autores demonstram que esses protótipos baseados em pesos são compatíveis com representações reais de imagem-texto. Eles propõem aumentar conjuntos de dados de alinhamento existentes ($D_{imgtxt}$) com os pares peso-texto ($D_{weights}$) para formar um conjunto de dados combinado ($D_{aug}$). Esta estratégia é projetada para impulsionar o desempenho de métodos de alinhamento post-hoc, particularmente em regimes de poucos dados.

Justificativa teórica é fornecida através da lente do Colapso Neural, sugerindo que, no limite do treinamento, as linhas de pesos do classificador convergem para os centróides de suas respectivas classes, efetivamente codificando a direção do conceito da classe. Validação empírica confirma que esses vetores de pesos alinham-se melhor com representações de texto do que embeddings de imagem médios, mesmo quando as condições estritas para o Colapso Neural não são totalmente atendidas.

Principais Contribuições

• Cabeças de Classificação como Protótipos Semânticos: O artigo fornece validação empírica e enquadramento teórico para tratar pesos de cabeças de classificação como protótipos semânticos significativos. Experimentos mostram que classificadores de similaridade cosseno usando esses pesos alcançam precisão comparável a baselines lineares, e esses pesos alinham-se mais fortemente com embeddings de texto do que características de imagem médias.
• Alinhamento Visão-Linguagem sem Pares Imagem-Texto: Os autores introduzem um framework de reciclagem de pesos que permite o alinhamento post-hoc de codificadores de imagem e texto usando apenas pesos de cabeças de classificação e nomes de classes, alcançando capacidades zero-shot sem qualquer dado pareado de imagem-texto.
• Compatibilidade e Aumento de Dados: O trabalho demonstra que representações de pesos são altamente compatíveis com pares reais de imagem-texto. Quando combinados com dados de imagem-texto disponíveis, eles servem como uma fonte de aumento robusta que melhora consistentemente o desempenho de métodos de alinhamento post-hoc de última geração.
• Análise Geométrica e de Domínio: O artigo analisa a distribuição geométrica desses pesos, identificando uma "lacuna de modalidade" entre vetores de pesos e características de imagem semelhante à lacuna texto-imagem. Também avalia o impacto do uso de pesos de conjuntos de dados gerais (ImageNet-21K) versus especializados (iNaturalist), encontrando que a diversidade geral produz desempenho superior a jusante.

Resultados
Os autores avaliaram sua abordagem em recuperação cross-modal (Flickr30K, MS-COCO) e tarefas de classificação (zero-shot e few-shot em nove conjuntos de dados diversos, incluindo CIFAR, Food101 e Places365).

• Alinhamento Zero-Shot: Usando apenas pesos de classificação do ImageNet-21K, o método alcançou desempenho competitivo em classificação e recuperação zero-shot, superando significativamente o acaso aleatório e demonstrando que estruturas semânticas de pré-treinamento supervisionado podem ser aproveitadas sem dados pareados.
• Benefícios de Aumento: Em regimes de poucos dados (por exemplo, usando apenas 1K pares de imagem-texto), o aumento com representações de pesos forneceu os ganhos de desempenho mais significativos. À medida que a quantidade de dados reais de imagem-texto aumentava, o benefício marginal do aumento diminuía, como esperado.
• Classificação Few-Shot: A abordagem superou significativamente baselines fortes como Classificador de Centróide Mais Próximo (NCC) e K-Vizinhos Mais Próximos (KNN) em configurações few-shot (1, 2 e 4 shots) em múltiplos conjuntos de dados.
• Comparação com Representações de Imagem: Quando comparado a conjuntos de dados de alinhamento compostos por representações de imagem médias de tamanho igual, a abordagem baseada em pesos produziu consistentemente maior precisão em tarefas de recuperação e classificação.

Significado e Alegações
O artigo alega oferecer uma nova perspectiva sobre o surgimento de semântica em modelos de visão profunda pré-treinados com supervisão. Ao reciclar pesos de cabeças de classificação descartados, os autores propõem uma estratégia que reduz as barreiras de dados e computação para alinhamento post-hoc, contribuindo para os objetivos da "IA Verde".

O trabalho sugere que o poder semântico do pré-treinamento supervisionado não se limita à tarefa específica para a qual foi treinado, mas pode ser extraído e reaproveitado para dotar backbones apenas de visão com capacidades de linguagem. Os autores permanecem modestos quanto às limitações atuais, observando que, embora a abordagem seja eficaz, a lacuna geométrica de modalidade entre pesos e imagens persiste e que estratégias mais sofisticadas de mitigação de lacunas são uma direção para trabalhos futuros. Eles enfatizam que este método não substitui a necessidade de pré-treinamento em grande escala, mas oferece um caminho eficiente para desbloquear alinhamento visão-linguagem para modelos onde tais recursos de pré-treinamento ou dados pareados não estão disponíveis.