Riepilogo Tecnico: La Geometria delle Teste di Proiezione: Condizionamento, Invarianza e Collasso

Enunciato del Problema

L'apprendimento auto-supervisionato (SSL) si basa pesantemente su un componente architetturale specifico: la testa di proiezione non lineare. Nonostante la sua necessità per l'addestramento, questa testa viene tipicamente scartata ("l'effetto ghigliottina") prima del fine-tuning a valle, sollevando un puzzle teorico: se la testa è essenziale per minimizzare la perdita di pre-addestramento, perché la rappresentazione che produce è subottimale per l'inferenza? Inoltre, le spiegazioni esistenti (ad esempio, colli di bottiglia dell'informazione o prevenzione del collasso dimensionale) descrivono cosa accade ma non spiegano i meccanismi geometrici di come la testa alteri il paesaggio di ottimizzazione per filtrare simultaneamente l'informazione, accelerare la convergenza ed evitare i punti di sella collassati.

Metodologia

Gli autori sviluppano una teoria geometrica che modella la testa di proiezione come una metrica Riemanniana addestrabile sulla varietà della rappresentazione dello scheletro (backbone). Il quadro teorico centrale comprende:

1. Decomposizione dell'Hessiano Effettivo: Il paesaggio di ottimizzazione è analizzato tramite l'Hessiano effettivo ($H_{eff}$) dell'obiettivo SSL rispetto alla rappresentazione dello scheletro. Questo operatore è decomposto in una metrica di pullback ($G(z) = J_h^\top \nabla^2_h L J_h$) e un termine di interazione guidato dalla curvatura intrinseca della testa ($\sum [\nabla_h L]_i \nabla^2_z h_i$).
2. Condizionamento Geometrico: Il documento indaga come le teste lineari e non lineari condizionino il paesaggio della perdita. Le teste lineari sono analizzate per la loro capacità di eseguire uno sbiancamento (whitening) implicito del sottospazio, mentre le teste non lineari sono studiate per la loro capacità di adattare le metriche locali lungo traiettorie curve.
3. Analisi di Stabilità: La stabilità del collasso dimensionale (dove le rappresentazioni mappano su un vettore costante) è esaminata analizzando gli autovalori di $H_{eff}$ agli equilibri collassati. Gli autori distinguono tra flusso gradiente in tempo continuo e dinamiche in tempo discreto.
4. Singolarità della Metrica e Invarianza: La relazione tra obiettivi di invarianza e degenerazione della metrica è formalizzata. Gli autori dimostrano che imporre l'invarianza agli orbite di augmentazione necessita di una metrica di pullback singolare, distruggendo efficacemente l'informazione lungo gli spazi tangenti di augmentazione.
5. Validazione Empirica: La teoria è validata tramite il tracciamento dell'Hessiano (monitorando i numeri di condizione e gli autovalori negativi), l'analisi della compressione delle orbite (misurando la riduzione della varianza nelle varietà di augmentazione) e studi di ablazione sulle funzioni di attivazione (ReLU vs. attivazioni lisce come Swish/GELU) e sulla profondità della testa su varie architetture (ResNet, ViT) e dataset (CIFAR-10/100).

Contributi Chiave

1. Teste Lineari come Sbiancamento Implicito del Sottospazio

Gli autori dimostrano che le teste di proiezione lineari eseguono uno sbiancamento implicito del sottospazio. Imparando una matrice di pesi $W$, la testa induce una metrica di Mahalanobis che mappa isometricamente il sottospazio rilevante dello spazio delle rappresentazioni nello spazio degli embedding. Tuttavia, questo condizionamento è globale e insufficiente per varietà curve dove la curvatura locale varia.

2. Teste Non Lineari come Adattatori di Metrica Locale

Le teste non lineari (MLP) mostrano di possedere la capacità di adattare localmente la metrica lungo le traiettorie di ottimizzazione curve. Il documento dimostra che mentre le teste lineari non possono appiattire globalmente una varietà di perdita curva (Proposizione 3.3), teste non lineari sufficientemente profonde possono approssimare una metrica ideale che rende l'Hessiano effettivo $\epsilon$-isotropo lungo la traiettoria (Teorema 3.2).

3. Instabilità del Collasso Indotta dalla Curvatura

Un contributo centrale è la risoluzione geometrica del motivo per cui i metodi non contrastivi (ad esempio, BYOL, SimSiam) evitano il collasso dimensionale senza campioni negativi espliciti.

• Teorema 4.1: Gli autori dimostrano che per teste non lineari lisce, il termine di interazione nell'Hessiano effettivo inietta autovalori negativi agli equilibri collassati. Ciò trasforma lo stato collassato da un minimo stabile in un punto di sella instabile, fornendo un meccanismo di fuga naturale per la discesa del gradiente.
• Il Divario ReLU: Le attivazioni lineari a tratti (come ReLU) mancano di curvatura intrinseca del secondo ordine ($\nabla^2 \text{ReLU} = 0$). Di conseguenza, non possono generare questa curvatura negativa sotto flusso in tempo continuo. Il documento sostiene che le teste ReLU evitano il collasso solo tramite rumore in tempo discreto (dimensioni del passo finite) e BatchNorm, mentre le attivazioni lisce (Swish, GELU) forniscono una garanzia geometrica nativa di instabilità.

4. Degenerazione della Metrica e Compromesso Informazione-Invarianza

Il documento formalizza la strategia "addestra-con, deploy-senza" attraverso la singolarità della metrica.

• Proposizione 5.2: Per soddisfare gli obiettivi di invarianza, la testa di proiezione deve indurre una metrica di pullback singolare dove lo spazio tangente di augmentazione giace nello spazio nullo ($v^\top G(z) v = 0$).
• Teorema 5.3: Questa singolarità causa una carenza di rango nella Matrice di Informazione di Fisher rispetto allo scheletro. La testa agisce come un filtro passa-basso geometrico, annientando l'informazione lungo le direzioni di augmentazione.
• Conclusione: Scartare la testa è una necessità teorica. Lo scheletro preserva la piena dimensionalità della varietà dei dati, mentre la testa assorbe la degenerazione metrica richiesta per imporre l'invarianza. Utilizzare la testa per l'inferenza manterrebbe l'informazione distrutta (o la sua mancanza), mentre lo scheletro grezzo mantiene le semantica linearmente separabili.

Risultati

• Tracciamento dell'Hessiano: Il tracciamento empirico conferma che le teste lisce iniettano attivamente autovalori negativi nell'Hessiano effettivo, innescando una "transizione di fase" che fa fuggire gli stati collassati. Al contrario, le teste ReLU e lineari non mostrano tale curvatura negativa e rimangono intrappolate in bacini collassati sotto flussi simili a tempo continuo, a meno che non siano assistite da dinamiche discrete.
• Compressione delle Orbite: Gli esperimenti mostrano che la testa di proiezione comprime le orbite di augmentazione di fattori da ~20x (ResNet) a ~4000x (ViT), preservando al contempo la separazione semantica inter-classe. Ciò conferma che la testa agisce come un compressore geometrico selettivo.
• Modelli Fondamentali: L'analisi di modelli pre-addestrati (DINO, VICReg, Barlow Twins) rivela una dicotomia geometrica. Le teste DINO agiscono come compressori geometrici (collassando le orbite per imporre l'invarianza), mentre le teste di riduzione della ridondanza (VICReg) agiscono come espansori dimensionali (preservando la varianza per soddisfare i vincoli di decorrelazione). In entrambi i casi, la testa disaccoppia lo scheletro dai vincoli rigidi dell'obiettivo.
• Ablazione della Profondità: Le teste più profonde (MLP a 3 strati) dimostrano una capacità superiore di deformare la varietà e isolare le singolarità metriche, risultando in una migliore accuratezza dello scheletro a valle rispetto a teste superficiali o lineari, che non riescono a proteggere adeguatamente lo scheletro dalla degenerazione metrica.

Significato

Il documento afferma di fornire una spiegazione geometrica meccanicistica della necessità empirica delle teste di proiezione nell'SSL. Risolve due puzzle centrali:

1. Evitamento del Collasso: Dimostra che la curvatura intrinseca delle teste non lineari lisce è sufficiente a destabilizzare le soluzioni banali collassate, offrendo un'alternativa geometrica alle spiegazioni che si basano esclusivamente su BatchNorm o rumore in tempo discreto.
2. L'Effetto Ghigliottina: Dimostra che la testa deve essere scartata perché induce una singolarità metrica che distrugge l'informazione richiesta per i compiti a valle. La testa funge da "buffer geometrico universale", assorbendo i vincoli distruttivi dell'obiettivo di pre-addestramento per proteggere lo scheletro semantico.

Il lavoro suggerisce che sostituire ReLU con attivazioni lisce non è meramente euristico, ma un requisito topologico per un'ottimizzazione robusta nell'SSL, e che la standard architettura MLP a 2-3 strati è validata empiricamente come la capacità minima richiesta per soddisfare queste condizioni geometriche.