Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning

1. Declaração do Problema

O artigo aborda três limitações críticas no cenário atual dos Modelos Fundamentais de Visão (VFMs):

1. Falta de Abertura: Os modelos mais avançados, como DINOv2, SigLIP 2 e SEER, dependem de conjuntos de dados proprietários (por exemplo, WebLI, LVD-142M) e frequentemente retêm o código de treinamento ou checkpoints intermediários. Isso cria barreiras para a reprodutibilidade, o progresso científico e a comparação justa.
2. Ambiguidade no Agrupamento: Os métodos existentes de aprendizado auto-supervisionado (SSL), como o DINOv2, utilizam algoritmos de agrupamento como Sinkhorn-Knopp para atribuir pseudo-rótulos. No entanto, esses métodos frequentemente lutam com ambiguidade semântica (por exemplo, agrupar veículos por cor versus modelo) e dependem de livros de códigos massivos. Eles tipicamente produzem embeddings de tamanho fixo que não se adaptam bem a diferentes restrições de downstream ou níveis de compressão.
3. Viés Posicional: As representações densas em Transformers de Visão (ViTs) frequentemente emaranham conteúdo semântico com posições espaciais absolutas (localização do patch). Os modelos podem aprender a reconhecer objetos com base em onde eles tipicamente aparecem em uma imagem (por exemplo, "vaca" sempre na parte inferior) em vez de suas características visuais, prejudicando a generalização para cenários fora da distribuição (OOD).

2. Metodologia

O Franca é um framework SSL totalmente de código aberto (dados, código, pesos) construído sobre a arquitetura DINOv2, mas aprimorado com três inovações técnicas-chave:

A. Representações Matryoshka Aninhadas (Agrupamento Multi-Cabeça)

Em vez de uma única cabeça de projeção, o Franca emprega um projetor de agrupamento multi-cabeça baseado em representações Matryoshka.

• Mecanismo: O codificador produz um vetor de características $z \in \mathbb{R}^d$. Este vetor é fatiado em subespaços progressivamente menores (por exemplo, $d, d/2, d/4, \dots, d/16$).
• Aprendizado Hierárquico: Cada subespaço passa por uma cabeça de projeção independente com um número correspondente de clusters (por exemplo, $c, c/2, c/4$).
• Benefício: Isso cria uma hierarquia de abstração semântica do grosso ao fino. Cabeças grossas capturam semântica global, enquanto cabeças finas capturam estruturas locais. Isso permite que o modelo aprenda representações densas de alta qualidade sem aumentar o tamanho do modelo e possibilita adaptação eficiente a restrições computacionais variáveis (por exemplo, classificação k-NN com características comprimidas).

B. CyclicMask

Para melhorar a modelagem de imagem mascarada (MIM), os autores introduzem o CyclicMask, uma alternativa ao mascaramento aleatório ou em blocos.

• Mecanismo: Em vez de mascarar patches aleatoriamente, o CyclicMask desloca circularmente a região visível através dos eixos espaciais.
• Benefício: Isso quebra a continuidade espacial simples e impede que o modelo dependa de correlações espaciais locais, forçando-o a aprender características semânticas mais robustas.

C. RASA (Remoção de Atributos Espaciais Absolutos)

Para abordar o emaranhamento de localização e semântica, o Franca introduz uma técnica leve de pós-pré-treinamento chamada RASA.

• Mecanismo:
  1. Uma cabeça linear é treinada para prever as coordenadas 2D normalizadas dos patches a partir das características da base codificada congelada.
  2. O subespaço posicional (spanido pelos vetores de base aprendidos) é identificado.
  3. O componente do vetor de características que reside dentro deste subespaço posicional é projetado para fora (subtraído).
  4. Este processo é iterativo (tipicamente 8 iterações), refinando o embedding para ser ortogonal à informação posicional.
• Benefício: As características resultantes são invariantes espacialmente, enfatizando o conteúdo semântico sobre a localização do patch. Isso é alcançado sem alterações arquiteturais ou sobrecarga de inferência, pois a matriz de transformação pode ser mesclada nos pesos da camada final do ViT.

D. Dados de Treinamento

O Franca é treinado inteiramente em dados de código aberto:

• Pré-treinamento: ImageNet-21K (para ViT-B) e LAION-COCO (600 milhões de imagens, um subconjunto do Re-LAION-2B) para ViT-L e ViT-G.
• Ajuste Fino: Uma mistura de ImageNet-1K, ADE20K, COCO, KITTI e VOC.
• Contraste: Ao contrário do DINOv2 (treinado no LVD-142M) ou SigLIP 2 (WebLI), o Franca não utiliza dados proprietários.

3. Principais Contribuições

1. Primeiro VFM de Alto Desempenho Totalmente Aberto: O Franca é o primeiro modelo fundamental de visão que é totalmente aberto (pesos, código, dados e checkpoints intermediários) e iguala ou supera modelos proprietários como DINOv2 e SigLIP 2.
2. Agrupamento Multi-Cabeça Matryoshka: Uma abordagem inovadora que melhora tarefas de previsão densa e permite compressão flexível de características sem degradação de desempenho, resolvendo o problema de ambiguidade do agrupamento de granularidade fixa.
3. Pós-treinamento RASA: Um método simples e eficaz para desentrelaçar vieses espaciais de características semânticas, impulsionando significativamente o desempenho em tarefas densas e detecção OOD.
4. Escalabilidade sem Destilação: Ao contrário do DINOv2, que depende de destilar conhecimento de um professor gigante (ViT-G) para modelos menores, o Franca alcança desempenho forte em todas as escalas (B, L, G) sem qualquer supervisão de professor.

4. Resultados Experimentais

O Franca foi avaliado em uma ampla gama de benchmarks, consistentemente superando ou igualando contrapartes proprietárias treinadas em conjuntos de dados muito maiores ou proprietários.

• Previsão Densa (Segmentação):
  • Aprendizado em Contexto: O Franca-L supera o DINOv2-L (destilado) em +5% mIoU no Pascal VOC e +4% no ADE20K, apesar do DINOv2 ser treinado em dados que incluem esses conjuntos de dados.
  • Segmentação Linear: O Franca-B (treinado no IN-21K) alcança 89,4 mIoU no VOC, igualando o DINOv2-B destilado (90,2) e superando significativamente o DINOv2-B não destilado (86,9).
  • Segmentação de Objetos em Vídeo (DAVIS): O Franca alcança resultados state-of-the-art (70,6% com ViT-B), superando o DINOv2 em 2%.
• Classificação e Robustez:
  • ImageNet-1K: Igual ao desempenho do DINOv2 (86,0% vs 86,0% para ViT-G) sem destilação.
  • Detecção OOD: Consistentemente supera o DINOv2 em cinco benchmarks de robustez (SSB-Hard, NINCO, iNaturalist, OpenImage-O, Texture), demonstrando generalização superior.
  • Classificação de Alta Granularidade: Supera o Web-SSL e iguala o OpenCLIP em 11 benchmarks de alta granularidade (por exemplo, Carros, Pets, CUB).
• Compreensão 3D:
  • Correspondência de Pontos Chave e Profundidade: O Franca mostra forte consciência geométrica, superando o DINOv2 no SPair-71k e igualando-o na estimativa de profundidade NYUv2, apesar de não ser treinado em dados específicos de 3D.
• Eficiência:
  • Matryoshka: Mantém alta precisão mesmo quando as características são comprimidas para 1/64 da dimensão original, enquanto o desempenho do DINOv2 colapsa.
  • Computação: O Franca-G treina em ~20 mil horas de GPU, uma ordem de magnitude menos que o MetaCLIP (368 mil horas de GPU) para horizontes similares.

5. Significado

O artigo estabelece um novo padrão para pesquisa de IA transparente e reprodutível. Ao demonstrar que dados abertos e inovações arquiteturais novas (agrupamento Matryoshka, RASA) podem rivalizar ou exceder modelos proprietários treinados em conjuntos de dados massivos e privados, o Franca democratiza o acesso a modelos de visão de alto desempenho.

As contribuições técnicas, particularmente o RASA, oferecem uma solução generalizável para o problema pervasivo do viés posicional em ViTs, enquanto o agrupamento Matryoshka fornece um framework escalável para aprender representações hierárquicas. Este trabalho sugere que a natureza de "caixa preta" dos modelos fundamentais proprietários não é uma necessidade para alto desempenho, incentivando uma mudança para ecossistemas totalmente abertos em visão computacional.