Image Hashing via Cross-View Code Alignment in the Age of Foundation Models

1. O Problema

A recuperação de imagens em larga escala exige representações que sejam simultaneamente compactas (para economizar memória e acelerar o processamento) e discriminativas (para preservar a semântica).

• Desafio dos Modelos Fundamentais: Modelos fundamentais (Foundation Models) modernos, como DINOv2, DINOv3 e CLIP, fornecem embeddings visuais e multimodais ricos e semanticamente estruturados. No entanto, esses embeddings são de alta dimensão (ex: 768 dimensões), tornando a busca por vizinhos mais próximos (nearest neighbor search) computacionalmente cara e lenta em grandes bases de dados.
• Limitações do Hashing Existente: O hashing (conversão de embeddings em códigos binários) permite buscas rápidas usando a distância de Hamming. Contudo, os métodos atuais frequentemente dependem de:
  • Pipelines complexas e multi-etapa.
  • Funções de perda (loss functions) com múltiplos termos difíceis de otimizar.
  • Designs especializados para um único paradigma (ou apenas supervisionado, ou apenas não supervisionado).
  • Tempos de treinamento longos.

A questão central abordada pelo artigo é: É possível unificar o hashing supervisionado e não supervisionado em um único framework simples que aproveite eficientemente os embeddings de modelos fundamentais?

2. Metodologia: CroVCA e HashCoder

Os autores propõem uma nova abordagem chamada CroVCA (Cross-View Code Alignment) e uma rede leve chamada HashCoder.

A. Princípio CroVCA (Alinhamento de Código de Visão Cruzada)

O objetivo é aprender códigos binários que permaneçam consistentes entre "visões" semanticamente alinhadas.

• Visões Alinhadas:
  • Não supervisionado: Duas ampliações (augmentations) diferentes da mesma imagem.
  • Supervisionado: Uma imagem e um protótipo de classe (ou média do lote) da mesma classe.
• Objetivo de Otimização Unificado: O método busca maximizar a informação mútua entre os códigos das duas visões, decompondo-se em dois termos:
  1. Alinhamento (Consistência): Garantir que os códigos das duas visões sejam semelhantes. Isso é feito minimizando a Entropia Condicional, aproximada por uma Perda de Entropia Cruzada Binária (BCE) entre o código binário de uma visão (professor) e as probabilidades suaves da outra (aluno).
  2. Diversidade (Utilização do Espaço): Evitar o colapso dos códigos (onde todos os bits tendem a 0 ou 1). Isso é feito maximizando a Entropia Marginal. Como calcular a entropia de códigos discretos é intratável, os autores utilizam um surrogato de Taxa de Codificação (Coding-Rate) baseado na maximização do determinante da matriz de covariância dos logits (antes da binarização). Isso incentiva bits balanceados e decorrelacionados.

B. Arquitetura HashCoder

Para implementar o CroVCA, os autores projetam o HashCoder, uma rede MLP (Multi-Layer Perceptron) leve que atua como um "cabeçalho" (head) sobre os embeddings do modelo fundamental.

• Estrutura: Um MLP compacto seguido por uma camada de Batch Normalization final.
• Função da BatchNorm: A camada final de BatchNorm é crucial para forçar o uso balanceado dos bits (evitando viés para 0 ou 1), atuando como um regularizador implícito.
• Flexibilidade:
  • Pode ser usado como um sonda (probing head) em embeddings congelados (frozen).
  • Pode ser usado para ajuste fino (fine-tuning) eficiente do encoder usando LoRA (Low-Rank Adaptation), permitindo adaptação específica ao conjunto de dados ou transferência de grandes modelos pré-treinados.
• Variantes: Existem duas versões do HashCoder: uma pequena (2 camadas) para conjuntos de dados menores e uma maior (3 camadas) para escalas massivas.

3. Contribuições Principais

1. Unificação de Paradigmas: O CroVCA unifica hashing supervisionado e não supervisionado sob um único objetivo simples, eliminando a necessidade de designs específicos para cada paradigma.
2. HashCoder Leve: Introdução de uma rede MLP leve com normalização em lote para garantir códigos binários balanceados e diversificados.
3. Eficiência Extrema: O método permite a adaptação de modelos fundamentais com custos computacionais mínimos.
4. Desempenho de Estado da Arte (SOTA): Alcança resultados superiores ou competitivos em benchmarks padrão, treinando-se em apenas 5 épocas.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks padrão de recuperação de imagens (COCO, ImageNet100, ImageNet-1k, Flickr25K, NUS-WIDE, CIFAR10) utilizando backbones como DINOv2, DINOv3 e SWAG.

• Velocidade e Eficiência:
  • Hashing não supervisionado no COCO: < 2 minutos (1 GPU).
  • Hashing supervisionado no ImageNet100: ~3 minutos (1 GPU).
  • Treinamento realizado em apenas 5 épocas.
• Desempenho de Recuperação:
  • Não Supervisionado: Supera ou iguala métodos SOTA (como IPHASH, HARR, FSCH) em todos os conjuntos de dados e comprimentos de código (16, 32, 64 bits).
  • Supervisionado: Supera métodos SOTA como OrthoHash e FPPQ no ImageNet100, mesmo com 5 épocas de treinamento contra 90-100 épocas dos concorrentes.
• Qualidade Semântica (Análise Visual):
  • Visualizações t-SNE e buscas de vizinhos mais próximos mostram que os códigos de 16 bits preservam a estrutura de classes e semântica fina (ex: recuperar diferentes tipos de zebras ou pássaros indigos) muito melhor do que hashing baseado em PCA simples ou embeddings originais em termos de diversidade semântica.
• Transferibilidade:
  • Um único HashCoder treinado no ImageNet-1k transfere-se eficazmente para conjuntos de dados menores (como CIFAR10 e COCO) sem necessidade de retreinamento, mantendo alta performance.
  • Códigos de 256 bits gerados via probing em modelos congelados preservam a riqueza semântica dos embeddings originais, superando em alguns casos os embeddings contínuos originais em tarefas de recuperação.

5. Significado e Conclusão

O artigo demonstra que é possível criar sistemas de hashing eficientes e de alta performance na era dos modelos fundamentais sem a complexidade dos métodos anteriores.

• Simplicidade: A abordagem substitui pipelines complexas por um princípio unificado de alinhamento de visão cruzada e regularização de taxa de codificação.
• Acessibilidade: A capacidade de treinar em poucos minutos e com poucos dados (ou sem dados rotulados, no caso não supervisionado) torna a tecnologia viável para aplicações em tempo real e em dispositivos com recursos limitados.
• Impacto: O método permite que a rica semântica dos grandes modelos de visão seja comprimida em representações binárias ultra-compactas (até 16 bits) sem perda significativa de precisão na recuperação, abrindo caminho para aplicações de busca em larga escala, recomendação e sistemas embarcados.

O código do projeto está disponível publicamente, facilitando a reprodução e adoção da técnica.