Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning

1. Enunciado del Problema

El artículo aborda tres limitaciones críticas en el panorama actual de los Modelos Fundacionales de Visión (VFMs):

1. Falta de Apertura: Los modelos más avanzados, como DINOv2, SigLIP 2 y SEER, dependen de conjuntos de datos propietarios (por ejemplo, WebLI, LVD-142M) y a menudo ocultan el código de entrenamiento o los puntos de control intermedios. Esto crea barreras para la reproducibilidad, el progreso científico y la comparación justa.
2. Ambigüedad en el Agrupamiento: Los métodos existentes de aprendizaje auto-supervisado (SSL) (por ejemplo, DINOv2) utilizan algoritmos de agrupamiento como Sinkhorn-Knopp para asignar pseudoetiquetas. Sin embargo, estos métodos a menudo luchan con la ambigüedad semántica (por ejemplo, agrupar vehículos por color frente a modelo) y dependen de libros de códigos masivos. Suelen producir incrustaciones de tamaño fijo que no se adaptan bien a diferentes restricciones aguas abajo o niveles de compresión.
3. Sesgo Posicional: Las representaciones densas en los Transformadores de Visión (ViTs) a menudo entrelazan el contenido semántico con las posiciones espaciales absolutas (ubicación del parche). Los modelos pueden aprender a reconocer objetos basándose en dónde suelen aparecer en una imagen (por ejemplo, "vaca" siempre en la parte inferior) en lugar de sus características visuales, lo que dificulta la generalización a escenarios fuera de distribución (OOD).

2. Metodología

Franca es un marco de trabajo SSL completamente de código abierto (datos, código, pesos) construido sobre la arquitectura DINOv2 pero mejorado con tres innovaciones técnicas clave:

A. Representaciones Matryoshka Anidadas (Agrupamiento Multi-Cabeza)

En lugar de una sola cabeza de proyección, Franca emplea un proyector de agrupamiento multi-cabeza basado en representaciones Matryoshka.

• Mecanismo: El codificador produce un vector de características $z \in \mathbb{R}^d$. Este vector se divide en subespacios progresivamente más pequeños (por ejemplo, $d, d/2, d/4, \dots, d/16$).
• Aprendizaje Jerárquico: Cada subespacio pasa a través de una cabeza de proyección independiente con un número correspondiente de grupos (por ejemplo, $c, c/2, c/4$).
• Beneficio: Esto crea una jerarquía de abstracción semántica de grueso a fino. Las cabezas gruesas capturan semánticas globales, mientras que las cabezas finas capturan estructuras locales. Esto permite que el modelo aprenda representaciones densas de alta calidad sin aumentar el tamaño del modelo y habilita una adaptación eficiente a diversas restricciones computacionales (por ejemplo, clasificación k-NN con características comprimidas).

B. CyclicMask

Para mejorar el modelado de imágenes enmascaradas (MIM), los autores introducen CyclicMask, una alternativa al enmascaramiento aleatorio o por bloques.

• Mecanismo: En lugar de enmascarar parches aleatoriamente, CyclicMask desplaza circularmente la región visible a través de los ejes espaciales.
• Beneficio: Esto rompe la continuidad espacial simple y evita que el modelo dependa de correlaciones espaciales locales, obligándolo a aprender características semánticas más robustas.

C. RASA (Eliminación de Atributos Espaciales Absolutos)

Para abordar el entrelazamiento de ubicación y semántica, Franca introduce una técnica ligera de post-entrenamiento llamada RASA.

• Mecanismo:
  1. Se entrena una cabeza lineal para predecir las coordenadas 2D normalizadas de los parches a partir de las características congeladas del esqueleto.
  2. Se identifica el subespacio posicional (abarcado por los vectores de base aprendidos).
  3. El componente del vector de características que yace dentro de este subespacio posicional se proyecta hacia afuera (se resta).
  4. Este proceso es iterativo (típicamente 8 iteraciones), refinando la incrustación para que sea ortogonal a la información posicional.
• Beneficio: Las características resultantes son invariantes espaciales, enfatizando el contenido semántico sobre la ubicación del parche. Esto se logra sin cambios arquitectónicos ni sobrecarga de inferencia, ya que la matriz de transformación puede fusionarse en los pesos finales de la capa ViT.

D. Datos de Entrenamiento

Franca se entrena completamente con datos de código abierto:

• Pre-entrenamiento: ImageNet-21K (para ViT-B) y LAION-COCO (600M imágenes, un subconjunto de Re-LAION-2B) para ViT-L y ViT-G.
• Ajuste fino: Una mezcla de ImageNet-1K, ADE20K, COCO, KITTI y VOC.
• Contraste: A diferencia de DINOv2 (entrenado en LVD-142M) o SigLIP 2 (WebLI), Franca no utiliza datos propietarios.

3. Contribuciones Clave

1. Primer VFM de Alto Rendimiento Completamente Abierto: Franca es el primer modelo fundacional de visión que es completamente abierto (pesos, código, datos y puntos de control intermedios) y iguala o supera a modelos propietarios como DINOv2 y SigLIP 2.
2. Agrupamiento Multi-Cabeza Matryoshka: Un enfoque novedoso que mejora las tareas de predicción densa y permite una compresión flexible de características sin degradación del rendimiento, resolviendo el problema de ambigüedad del agrupamiento de granularidad fija.
3. Post-entrenamiento RASA: Un método simple y efectivo para desentrelazar sesgos espaciales de características semánticas, mejorando significativamente el rendimiento en tareas densas y detección OOD.
4. Escalabilidad sin Destilación: A diferencia de DINOv2, que depende de destilar conocimiento de un maestro gigante (ViT-G) a modelos más pequeños, Franca logra un rendimiento sólido en todas las escalas (B, L, G) sin ninguna supervisión de maestro.

4. Resultados Experimentales

Franca fue evaluado en una amplia gama de puntos de referencia, superando consistentemente o igualando a contrapartes propietarias entrenadas en conjuntos de datos mucho más grandes o propietarios.

• Predicción Densa (Segmentación):
  • Aprendizaje en Contexto: Franca-L supera a DINOv2-L (destilado) en +5% mIoU en Pascal VOC y +4% en ADE20K, a pesar de que DINOv2 fue entrenado con datos que incluyen estos conjuntos de datos.
  • Segmentación Lineal: Franca-B (entrenado en IN-21K) logra 89.4 mIoU en VOC, igualando a DINOv2-B destilado (90.2) y superando significativamente a DINOv2-B no destilado (86.9).
  • Segmentación de Objetos en Video (DAVIS): Franca logra resultados de última generación (70.6% con ViT-B), superando a DINOv2 en un 2%.
• Clasificación y Robustez:
  • ImageNet-1K: Igualando el rendimiento de DINOv2 (86.0% vs 86.0% para ViT-G) sin destilación.
  • Detección OOD: Supera consistentemente a DINOv2 en cinco puntos de referencia de robustez (SSB-Hard, NINCO, iNaturalist, OpenImage-O, Texture), demostrando una generalización superior.
  • Clasificación de Granos Finos: Supera a Web-SSL y iguala a OpenCLIP en 11 puntos de referencia de granos finos (por ejemplo, Coches, Mascotas, CUB).
• Comprensión 3D:
  • Coincidencia de Puntos Clave y Profundidad: Franca muestra una fuerte conciencia geométrica, superando a DINOv2 en SPair-71k e igualándolo en la estimación de profundidad NYUv2, a pesar de no haber sido entrenado con datos específicos de 3D.
• Eficiencia:
  • Matryoshka: Mantiene una alta precisión incluso cuando las características se comprimen a 1/64 de la dimensión original, mientras que el rendimiento de DINOv2 colapsa.
  • Cálculo: Franca-G se entrena en ~20K horas de GPU, un orden de magnitud menos que MetaCLIP (368K horas de GPU) para horizontes similares.

5. Significado

El artículo establece un nuevo estándar para la investigación de IA transparente y reproducible. Al demostrar que los datos abiertos y las innovaciones arquitectónicas novedosas (agrupamiento Matryoshka, RASA) pueden rivalizar o superar a modelos propietarios entrenados en conjuntos de datos masivos y privados, Franca democratiza el acceso a modelos de visión de alto rendimiento.

Las contribuciones técnicas, particularmente RASA, ofrecen una solución generalizable al problema pervasive del sesgo posicional en los ViTs, mientras que el agrupamiento Matryoshka proporciona un marco escalable para aprender representaciones jerárquicas. Este trabajo sugiere que la naturaleza de "caja negra" de los modelos fundacionales propietarios no es una necesidad para un alto rendimiento, fomentando un cambio hacia ecosistemas completamente abiertos en visión por computadora.