Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Resumo Técnico: Redes de Função de Base Radial como Cabeças de Projeção em Aprendizado Autossupervisionado

Problema
Nos pipelines padrão de Aprendizado Autossupervisionado (SSL), um codificador de backbone (ex: ResNet, ViT) é pareado com uma cabeça de projeção MLP (Multilayer Perceptron) rasa. Embora a cabeça MLP seja crucial para a estabilidade do treinamento e a qualidade da representação, ela é convencionalmente descartada após o pré-treinamento. O backbone tem sua qualidade avaliada por meio de um procedimento custoso de linear probing em dados rotulados. Os autores argumentam que descartar o projetor treinado é computacionalmente e informacionalmente dispendioso. Além disso, a dependência de dados rotulados para avaliação cria um gargalo, pois impede a avaliação da qualidade da representação em cenários verdadeiramente não supervisionados ou com escassez de rótulos.

Metodologia
O artigo propõe substituir a cabeça de projeção MLP padrão por uma Rede de Função de Base Radial (RBFN). Essa mudança arquitetônica serve a dois propósitos: manter um desempenho competitivo de aprendizado de representação e permitir a avaliação de qualidade livre de rótulos.

1. Cabeça de Projeção RBFN:

   • Os autores implementam uma substituição direta (drop-in replacement) para cabeças MLP compatível com o framework LightlySSL.
   • A arquitetura consiste em camadas lineares seguidas por camadas RBF. A não-linearidade é fornecida por funções de base radial (especificamente Gaussiana, multiquádrica inversa, multiquádrica e thin-plate spline) em vez de ReLU.
   • A camada RBF aprende um conjunto de centros de kernel ($c_i$) e parâmetros de forma ($\varepsilon_i$). A saída é uma combinação linear dessas funções de base radial.
   • Os autores testam isso em cinco arquiteturas canônicas de SSL: MoCo, SimCLR, BYOL, SwAV e SimSiam.

2. Métrica de Separação Normalizada por Escala (SNS):

   • Para avaliar a qualidade da representação sem rótulos, os autores introduzem a SNS, uma métrica derivada exclusivamente dos parâmetros aprendidos da RBFN ($c_i$ e $\varepsilon_i$).
   • A SNS quantifica a "separação" dos centros de kernel em relação às suas escalas. Ela calcula uma energia de interação Gaussiana entre pares de centros, normalizada pela dimensionalidade do espaço e pela soma de seus parâmetros de forma.
   • A métmétrica é maximizada quando as distâncias entre os centros são bem ajustadas às escalas dos kernels, indicando teoricamente um agrupamento (clustering) bem estruturado de características no espaço de projeção.

3. Configuração Experimental:

   • Experimentos foram conduzidos em quatro conjuntos de dados: ImageNet-100 e três subconjuntos do Google Open Images V7 (10, 30, e 50 classes).
   • Uma busca em grade (grid search) foi realizada sobre os hiperparâmetros da RBFN, incluindo o número de kernels, profundidade do projetor, normalização e o tipo de função de base radial.
   • O desempenho foi comparado contra cabeças MLP padrão usando métricas de linear probing (Regressão Logística) (Acurácia, Precisão, Recall, F1).
   • Análises de correlação (Pearson e Spearman) foram realizadas entre os escores SNS e as métricas padrão de linear probing.

Principais Contribuições

1. RBFN como Substituição Direta: Os autores demonstram que cabeças de projeção RBFN são competitivas com projetores MLP padrão em cinco grandes arquiteturas de SSL, servindo como uma substituição direta sem degradação significativa de desempenho.
2. Métrica SNS: Eles introduzem uma nova métrica de qualidade livre de rótulos (SNS) que correlaciona fortemente com o desempenho de classificação subsequente. Isso permite a avaliação da qualidade da representação do backbone usando apenas os parâmetros aprendidos durante o treinamento autossupervisionado.
3. Diretrizes de Hiperparâmetros: Através de análise SHAP, o artigo fornece recomendações empíricas para construir cabeças RBFN:
   • Utilize funções de base radial Gaussianas para ativação.
   • Construa cabeças com três camadas (linear-RBF-linear-RBF-linear) em vez das duas padrão.
   • Defina o número de kernels para corresponder à dimensão de saída (ex: 128).
   • Evite a normalização da arquitetura RBFN na maioria dos casos.
4. Novo Recurso de Conjunto de Dados: Os autores liberam uma implementação compatível com PyTorch dos subconjuntos do Open Images V7 (10, 30, 50, 70, 100 classes) com classes disjuntas do ImageNet-1K para facilitar a pesquisa reprodutível.

Resultos

• Paridade de Desempenho: As cabeças RBFN alcançaram desempenho comparável às cabeças MLP padrão. No ImageNet-100, as cabeças RBFN superaram ligeiramente as MLPs no SimCLR (+4% de acurácia) e igualaram-se a elas em outros conjuntos de dados. Nos subconjuntos do Open Images, as RBFNs mostraram um déficit menor (1–3%) em subconjuntos maiores, mas superaram as MLPs em 2–4% quando usadas com BYOL.
• Correlação da Métrica: A métrica SNS exibiu correlações positivas de forte a muito fortes (Pearson $r$ variando de 0,79 a 0,93) com métricas estabelecidas de regressão logística (Acurácia, F1, etc.). Os p-valores para essas correlações foram extremamente baixos, sustentando a hipótese de que a SNS é um proxy confiável para a qualidade da representação.
• Impacto dos Hiperparâmetros: A escolha da função RBF (Gaussiana) e a profundidade do projetor (3 camadas) tiveram o impacto mais significativo no desempenho. O número de kernels e a normalização mostraram efeitos negligenciáveis dentro dos intervalos testados.

Significância e Alegações
O artigo afirma que substituir projetores MLP por RBFNs oferece um benefício duplo: mantém o alto desempenho exigido para SSL enquanto desbloqueia a capacidade de avaliar a qualidade da representação sem dados rotulados. Ao interpretar os centros e formas aprendidos da RBFN, pesquisadores podem aferir a qualidade das representações do backbone via métrica SNS. Os autores posicionam isso como um movimento de afastamento do descarte "computacionalmente dispendioso" de projetores em direção a um pipeline de avaliação mais interpretável e eficiente. Eles concluem que um projetor RBFN treinado pode atuar como um proxy confiável para a qualidade do backbone, potencialmente reduzindo a dependência de conjuntos de teste rotulados para a seleção de modelos em aprendizado autossupervisionado.