Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Resumen Técnico: Redes de Funciones de Base Radial como Cabezales de Proyección en el Aprendizaje Auto-Supervisado

Planteamiento del Problema
En los flujos de trabajo estándar de Aprendizaje Auto-Supervisado (SSL), un codificador de base (p. ej., ResNet, ViT) se empareja con un cabezal de proyección MLP (Perceptrón Multicapa) poco profundo. Aunque el cabezal MLP es crucial para la estabilidad del entrenamiento y la calidad de la representación, convencionalmente se descarta después del preentrenamiento. La calidad del codificador (backbone) se evalúa entonces mediante un costoso procedimiento de linear probing con datos etiquetados. Los autores argumentan que descartar el proyector entrenado es computacional y teóricamente ineficiente. Además, la dependencia de datos etiquetados para la evaluación crea un cuello de botella, ya que impide la evaluación de la calidad de la representación en escenarios verdaderamente no supervisados o con escasez de etiquetas.

Metodología
El artículo propone reemplazar el cabezal de proyección MLP estándar por un cabezal de Red de Funciones de Base Radial (RBFN). Este cambio arquitectónico sirve a dos propósitos: mantener un rendimiento competitivo en el aprendizaje de representaciones y permitir la evaluación de la calidad sin etiquetas.

1. Cabezal de Proyección RBFN:

   • Los autores implementan un reemplazo directo (drop-in replacement) para los cabezales MLP compatible con el marco de trabajo LightlySSL.
   • La arquitectura consiste en capas lineales seguidas de capas RBF. La no linealidad es proporcionada por funciones de base radial (específicamente Gaussiana, multicuadrática inversa, multicuadrática y de placa delgada) en lugar de ReLU.
   • La capa RBF aprende un conjunto de centros de kernel ($c_i$) y parámetros de forma ($\varepsilon_i$). El resultado es una combinación lineal de estas funciones de base radial.
   • Los autores prueban esto a través de cinco arquitecturas de SSL canónicas: MoCo, SimCLR, BYOL, SwAV y SimSiam.

2. Métrica de Separación Normalizada por Escala (SNS):

   • Para evaluar la calidad de la representación sin etiquetas, los autores introducen la métrica SNS, derivada únicamente de los parámetros aprendidos de la RBFN ($c_i$ y $\varepsilon_i$).
   • SNS cuantifica la "separación" de los centros de los kernels en relación con sus escalas. Calcula una energía de interacción gaussiana entre pares de centros, normalizada por la dimensionalidad del espacio y la suma de sus parámetros de forma.
   • La métrica se maximiza cuando las distancias entre centros están bien ajustadas a las escalas de los kernels, lo que teóricamente indica un agrupamiento (clustering) bien estructurado de las características en el espacio de proyección.

3. Configuración Experimental:

   • Los experimentos se realizaron en cuatro conjuntos de datos: ImageNet-100 y tres subconjuntos de Google Open Images V7 (10, 30 y 50 clases).
   • Se realizó una búsqueda de cuadrícula (grid search) sobre los hiperparámetros de la RBFN, incluyendo el número de kernels, la profundidad del proyector, la normalización y el tipo de función de base radial.
   • El rendimiento se comparó contra cabezales MLP estándar utilizando métricas de linear probing (Regresión Logística) (Exactitud, Precisión, Exhaustividad, F1).
   • Se realizó un análisis de correlación (Pearson y Spearman) entre las puntuaciones de SNS y las métricas estándar de linear probing.

Contribuciones Clave

1. RBFN como Reemplazo Directo: Los autores demuestran que los cabezales de proyección RBFN son competitivos con los proyectores MLP estándar en cinco arquitecturas principales de SSL, sirviendo como un reemplazo directo sin una degradación significativa del rendimiento.
2. Métrica SNS: Introducen una novedosa métrica de calidad sin etiquetas (SNS) que correlaciona fuertemente con el rendimiento de la clasificación descendente (downstream). Esto permite la evaluación de la calidad de la representación del backbone utilizando únicamente los parámetros aprendidos durante el entrenamiento auto-supervisado.
3. Guías de Hiperparámetros: A través del análisis SHAP, el artículo proporciona recomendaciones empíricas para construir cabezales RBFN:
   • Utilizar funciones de base radial Gaussianas para la activación.
   • Construir cabezales con tres capas (lineal-RBF-lineal-RBF-lineal) en lugar de los dos estándares.
   • Establecer el número de kernels para que coincida con la dimensión de salida (por ejemplo, 128).
   • Evitar la normalización de la arquitectura RBFN en la mayoría de los casos.
4. Nuevo Recurso de Datos: Los autores lanzan una implementación compatible con PyTorch de los subconjuntos de Open Images V7 (10, 30, 50, 70, 100 clases) con clases disjuntas de ImageNet-1K para facilitar la investigación reproducible.

Resultados

• Paridad de Rendimiento: Los cabezales RBFN lograron un rendimiento comparable a los cabezales MLP por defecto. En ImageNet-100, los cabezales RBFN superaron ligeramente a los MLP en SimCLR (+4% de exactitud) y empataron con ellos en otros conjuntos de datos. En los subconjuntos de Open Images, las RBFN mostraron un déficit menor (1–3%) en subconjuntos más grandes, pero superaron a los MLP en un 2–4% cuando se usaron con BYOL.
• Correlación de la Métrica: La métrica SNS exhibió correlaciones positivas de fuertes a muy fuertes (Pearson $r$ entre 0.79 y 0.93) con las métricas establecidas de regresión logística (Exactitud, F1, etc.). Los valores p para estas correlaciones fueron extremadamente bajos, respaldando la hipótesis de que SNS es un proxy fiable de la calidad de la representación.
• Impacto de los Hiperparámetros: La elección de la función de base radial (Gaussiana) y la profundidad del proyector (3 capas) tuvieron el impacto más significativo en el rendimiento. El número de kernels y la normalización mostraron efectos insignificantes dentro de los rangos probados.

Significancia y Reivindicaciones
El artículo afirma que reemplazar los proyectores MLP con RBFNs ofrece un doble beneficio: mantiene el alto rendimiento requerido para el SSL al tiempo que desbloquea la capacidad de evaluar la calidad de la representación sin datos etiquetados. Al interpretar los centros y las formas aprendidos de la RBFN, los investigadores pueden juzgar la calidad de las representaciones del backbone mediante la métrica SNS. Los autores posicionan esto como un movimiento alejándose de la práctica de descartar proyectores "computacionalmente ineficientes" hacia un flujo de evaluación más interpretable y eficiente. Concluyen que un proyector RBFN entrenado puede actuar como un proxy fiable de la calidad del backbone, reduciendo potencialmente la dependencia de conjuntos de prueba etiquetados para la selección de modelos en el aprendizaje auto-supervisado.