Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Sintesi Tecnica: Reti a Funzione di Base Radiale come Teste di Proiezione nell'Apprendimento Auto-Supervisionato

Problematica
Nelle pipeline standard di Apprendimento Auto-Supervisionato (SSL), un encoder di backbone (es. ResNet, ViT) è accoppiato a una testa di proiezione MLP (Perceptron Multistrato) superficiale. Sebbene la testa MLP sia cruciale per la stabilità dell'addestramento e la qualità delle rappresentazioni, viene convenzionalmente scartata dopo il pre-addestramento. La qualità del backbone viene quindi valutata tramite una costosa procedura di linear probing su dati etichettati. Gli autori sostengono che scartare il proiettore addestrato sia uno spreco computazionale e informativo. Inoltre, la dipendenza da dati etichettati per la valutazione crea un collo di bottiglia, poiché impedisce la valutazione della qualità delle rappresentazioni in scenari realmente non supervisionati o con scarsità di etichette.

Metodologia
Il documento propone di sostituire la testa di proiezione MLP standard con una Rete a Funzione di Base Radiale (RBFN). Questa modifica architettonica serve a due scopi: mantenere prestazioni competitive nell'apprendimento delle rappresentazioni e consentire una valutazione della qualità priva di etichette.

1. Testa di Proiezione RBFN:

   • Gli autori implementano una sostituzione diretta (drop-in replacement) per le teste MLP compatibile con il framework LightlySSL.
   • L'architettura consiste in strati lineari seguiti da strati RBF. La non-linearità è fornita da funzioni di base radiale (specificamente Gaussiana, multiquadratica inversa, multiquadratica e spline a piastra sottile) piuttosto che da ReLU.
   • Lo strato RBF apprende un insieme di centri di kernel ($c_i$) e parametri di forma ($\varepsilon_i$). L'output è una combinazione lineare di queste funzioni di base radiale.
   • Gli autori testano questa configurazione attraverso cinque architetture SSL canoniche: MoCo, SimCLR, BYOL, SwAV e SimSiam.

2. Metrica di Separazione Normalizzata per Scala (SNS):

   • Per valutare la qualità delle rappresentazioni senza etichette, gli autori introducono la SNS, una metrica derivata esclusivamente dai parametri della RBFN appresa ($c_i$ e $\varepsilon_i$).
   • La SNS quantifica la "separazione" dei centri del kernel rispetto alle loro scale. Calcola un'energia di interazione Gaussiana tra coppie di centri, normalizzata per la dimensionalità dello spazio e la somma dei loro parametri di forma.
   • La metrica è massimizzata quando le distanze inter-centro sono ben accoppiate alle scale dei kernel, indicando teoricamente un raggruppamento (clustering) ben strutturato delle feature nello spazio di proiezione.

3. Configurazione Sperimentale:

   • Gli esperimenti sono stati condotti su quattro dataset: ImageNet-100 e tre sottoinsiemi di Google Open Images V7 (10, 30 e 50 classi).
   • È stata eseguita una ricerca a griglia (grid search) sugli iperparametri della RBFN, inclusi il numero di kernel, la profondità del proiettore, la normalizzazione e il tipo di funzione di base radiale.
   • Le prestazioni sono state confrontate con le teste MLP standard utilizzando metriche di linear probing (Regressione Logistica) (Accuratezza, Precisione, Richiamo, F1).
   • È stata eseguita un'analisi di correlazione (Pearson e Spearman) tra i punteggi SNS e le metriche standard di linear probing.

Contributi Chiave

1. RBFN come Sostituzione Diretta: Gli autori dimostrano che le teste di proiezione RBFN sono competitive con i proiettori MLP standard in cinque grandi architetture SSL, fungendo da sostituzione diretta senza degradazione significativa delle prestazioni.
2. Metrica SNS: Introducono una nuova metrica di qualità priva di etichette (SNS) che correla fortemente con le prestazioni di classificazione a valle. Ciò consente la valutazione della qualità del backbone utilizzando solo i parametri appresi durante l'addestramento auto-supervisionato.
3. Linee Guida per gli Iperparametri: Attraverso l'analisi SHAP, il documento fornisce raccomandazioni empiriche per la costruzione di teste RBFN:
   • Utilizzare funzioni di base radiale Gaussiane per l'attivazione.
   • Costruire teste con tre strati (lineare-RBF-lineare-RBF-lineare) invece dei due standard.
   • Impostare il numero di kernel per corrispondere alla dimensione dell'output (es. 128).
   • Evitare la normalizzazione dell'architettura RBFN nella maggior parte dei casi.
4. Nuova Risorsa di Dataset: Gli autori rilasciano un'implementazione compatibile con PyTorch dei sottoinsiemi di Open Images V7 (10, 30, 50, 70, 100 classi) con classi disgiunte da ImageNet-1K per facilitare la ricerca riproducibile.

Risultati

• Parità di Prestazioni: Le teste RBFN hanno ottenuto prestazioni comparabili alle teste MLP predefinite. Su ImageNet-100, le teste RBFN hanno leggermente superato le MLP su SimCLR (+4% di accuratezza) e le hanno eguagliate su altri dataset. Sui sottoinsiemi di Open Images, le RBFN hanno mostrato un lieve deficit (1–3%) su sottoinsiemi più grandi, ma hanno superato le MLP del 2–4% quando utilizzate con BYOL.
• Correlazione della Metrica: La metrica SNS ha mostrato correlazioni positive da forti a molto forti (correlazione di Pearson $r$ compresa tra 0,79 e 0,93) con le metriche consolidate della regressione logistica (Accuratezza, F1, ecc.). I p-value per queste correlazioni sono estremamente bassi, a supporto dell'ipotesi che la SNS sia una proxy affidabile della qualità della rappresentazione.
• Impatto degli Iperparametri: La scelta della funzione di base radiale (Gaussiana) e della profondità del proiettore (3 strati) ha avuto l'impatto più significativo sulle prestazioni. Il numero di kernel e la normalizzazione hanno mostrato effetti trascurabili entro i range testati.

Significatività e Rivendicazioni
Il documento sostiene che sostituire i proiettori MLP con le RBFN offre un duplice beneficio: mantiene le alte prestazioni richieste per l'SSL pur sbloccando la capacità di valutare la qualità della rappresentazione senza dati etichettati. Interpretando i centri e le forme apprese della RBFN, i ricercatori possono valutare la qualità delle rappresentazioni del backbone tramite la metrica SNS. Gli autori posizionano questo lavoro come un passaggio lontano dallo scartare i proiettori in modo "computazionalmente dispendioso" verso un pipeline di valutazione più interpretabile ed efficiente. Concludono che un proiettore RBFN addestrato può fungere da affidabile proxy per la qualità del backbone, riducendo potenzialmente la dipendenza da set di test etichettati per la selezione del modello nell'apprendimento auto-supervisionato.