Sintesi Tecnica: Campionamento di Hard-Negative per l'Apprendimento Contrastivo

Definizione del Problema

L'Apprendimento Contrastivo (CL) mira a apprendere rappresentazioni in cui punti dati simili siano vicini e quelli dissimili siano lontani. Sebbene il campionamento di hard-negative (la selezione di campioni negativi difficili da distinguere dall'ancora) sia empiricamente noto per migliorare le prestazioni a valle, il suo impatto teorico sulla geometria dei minimi globali è ancora poco esplorato. Nello specifico, manca una comprensione rigorosa riguardo a:

1. Se il campionamento di hard-negative alteri la geometria ottimale della rappresentazione rispetto al CL standard.
2. Le condizioni sotto le quali si verifica il Neural Collapse (NC) — una geometria in cui le medie delle classi formano un Frame Compatto Equiangolare (ETF) e la varianza intra-classe svanisce — sia in contesti Supervisionati (SCL) che Unsupervised (UCL).
3. Il fenomeno del Dimensional Collapse (DC), dove le rappresentazioni collassano in un sottospazio a dimensione inferiore, e come il campionamento di hard-negative e la normalizzazione delle feature influenzino tale processo.

Gli studi teorici esistenti spesso si basano su ipotesi forti, come l'indipendenza condizionale delle viste positive aumentate rispetto all'etichetta, e si concentrano su funzioni di perdita specifiche come InfoNCE.

Metodologia

Gli autori propongono un quadro teorico unificato per analizzare le perdite CL sotto un modello di dati latenti generale.

1. Perdita Generalizzata e Funzioni di Hardening

Il documento definisce una funzione di perdita contrastiva generale $\ell_k$ utilizzando una funzione $\psi_k$ convessa e non decrescente per argomento. Questa sottende popolari perdite come InfoNCE e Triplet Loss.
Per modellare il campionamento di hard-negative, gli autori introducono una funzione di hardening $\eta: \mathbb{R}^k \to \mathbb{R}$, che è non negativa e non decrescente per argomento. Questa funzione ricalibra la distribuzione di campionamento dei campioni negativi, aumentando la probabilità di selezionare negativi che sono più allineati con l'ancora nello spazio delle rappresentazioni.

2. Quadro Teorico

L'analisi copre quattro scenari:

• SCL: Supervised Contrastive Learning (etichette disponibili).
• HSCL: Hard-negative SCL.
• UCL: Unsupervised Contrastive Learning (etichette latenti).
• HUCL: Hard-negative UCL.

Gli autori derivano i limiti inferiori per le perdite attese in questi scenari. Uno strumento teorico chiave è la disuguaglianza di confronto di Harris, utilizzata per dimostrare che la perdita attesa con il campionamento di hard-negative è inferiore o uguale alla perdita del CL standard.

3. Ottimizzazione e Geometria

Il documento investiga i minimi globali di queste perdite. Definisce il Neural Collapse (NC) come lo stato in cui:

• Le medie delle classi formano un Frame Compatto Equiangolare (ETF) normalizzato.
• La varianza intra-classe è zero (tutti i campioni di una classe mappano sullo stesso punto).
• La dimensione della rappresentazione $d_Z \ge C-1$ (dove $C$ è il numero di classi).

Gli autori analizzano anche il Dimensional Collapse (DC), definito come la matrice di covarianza empirica delle medie di classe che presenta valori singolari nulli o ordini di grandezza inferiori al valore massimo, indicando una perdita di capacità rappresentativa.

Contributi Chiave

1. Limiti Inferiori Teorici e Dominanza (Teorema 1)

Gli autori dimostrano che, per qualsiasi mappatura di rappresentazione $f$, le perdite di Hard-SCL (HSCL) e Hard-UCL (HUCL) sono inferiori rispetto alle loro controparti standard (SCL e UCL). Ciò è stabilito tramite la disuguaglianza di Harris, dimostrando che il campionamento di hard-negative "inclina" efficacementmente la distribuzione di campionamento per minimizzare ulteriormente la perdita, a condizione che la funzione di perdita sia non decrescente per argomento.

2. Ottimalità del Neural Collapse (Teoremi 2 & 3)

• SCL/HSCL: Il documento dimostra che i minimi globali per entrambi SCL e HSCL corrispondono alla geometria del Neural Collapse. Fondamentalmente, questo risultato non richiede l'ipotesi che i campioni positivi siano condizionalmente indipendenti data l'etichetta, un vincolo comune nella letteratura precedente. Il valore della perdita ottimale è identico per entrambi SCL e HSCL quando viene raggiunto il NC.
• UCL/HUCL: Gli autori stabiliscono che il NC è la geometria ottimale per l'UCL se la dimensione dell'embedding è sufficientemente grande rispetto al numero di classi latenti. Per l'HUCL, la geometria ottimale dipende dal livello di durezza (hardness) e dalla possibilità di "collisione di classe" (campioni negativi che condividono la classe latente con l'ancora).

3. Validazione Empirica della Dinamica di Ottimizzazione

Il documento fornisce la prima dimostrazione empirica che:

• Ottimizzazione Adam con Hard Negatives: Utilizzando Adam con inizializzazione casuale e livelli di durezza appropriati, HSCL e HUCL possono convergere verso la geometria NC, a patto che venga applicata la normalizzazione delle feature (unit-ball o unit-sphere).
• Dimensional Collapse: Senza il campionamento di hard-negative o la normalizzazione delle feature, le rappresentazioni apprese tramite Adam soffrono di Dimensional Collapse (DC), fallendo nel raggiungere la geometria NC.
• Normalizzazione: La normalizzazione delle feature è critica per mitigare il DC. Senza di essa, sia i metodi casuali che quelli con hard-negative falliscono nel raggiungere il NC.

Risultati Sperimentali

Dati Sintetici

• SCL/HSCL: Convergenza verso il NC indipendentemente dal livello di durezza ($\beta$).
• UCL: Convergenza verso il NC solo quando le coppie positive erano costruite usando informazioni sulle etichette (soddisfacendo le assunzioni teoriche). Utilizzando il rumore Gaussiano additivo (violando l'indipendenza condizionale), il NC non è stato osservato.
• HUCL: Non ha raggiunto la convergenza verso il NC; le medie delle classi hanno deviato significativamente dalla geometria ETF, con una deviazione che aumentava all'aumentare della durezza.

Dataset del Mondo Reale (CIFAR100, CIFAR10, TinyImageNet)

• Prestazioni a Valle (Downstream): Il campionamento di hard-negative a livelli di durezza moderata ($\beta=5, 10$) ha migliorato l'accuratezza della classificazione a valle di oltre 40 punti percentuali rispetto allo standard SCL e UCL.
• Metriche NC: In contesti supervisionati, l'aumento della durezza ha portato il modello più vicino al NC. In contesti non supervisionati, è esistito un livello di durezza ottimale ($\beta=5$); livelli di durezza superiori hanno peggiorato le metriche NC e aumentato il DC.
• Sensibilità all'Inizializzazione: Partendo da un'inizializzazione "vicina al NC", i contesti supervisionati (SCL/HSCL) hanno mantenuto le proprietà di NC. I contesti non supervisionati (HUCL) con alta durezza ($\beta=10, 30$) si sono allontanati dal NC, mostrando un significativo DC.
• Dimensione del Batch: Il NC era raggiungibile con batch size tra 64 e 512. Tuttavia, batch size molto piccoli (32) hanno ostacolato il NC in dataset ad alta cardinalità a causa della ridotta diversità delle coppie negative.

Significato e Rivendicazioni

Il documento sostiene di fornire una prova teorica più semplice, compatta e trasparente dell'ottimalità del Neural Collapse nell'apprendimento contrastivo, rimuovendo la necessità dell'ipotesi di indipendenza condizionale sui campioni positivi nel setting supervisionato.

Gli autori sottolineano che, sebbene il campionamento di hard-negative riduca teoricamente il limite inferiore della perdita, la sua utilità pratica è sfumata:

1. È essenziale per prevenire il Dimensional Collapse nell'addestramento ottimizzato con Adam, un fenomeno di cui lo standard CL spesso soffre in assenza di normalizzazione.
2. Migliora significativamente le prestazioni di classificazione a valle.
3. Tuttavia, in contesti non supervisionati, un'eccessiva durezza può essere deleteria, causando potenzialmente collisioni di classe che impediscono il raggiungimento della geometria ottimale di NC.

Il lavoro conclude identificando problemi aperti, tra cui la derivazione di un limite inferiore stretto per l'HUCL che tenga conto delle collisioni di classe e la comprensione delle condizioni sotto le quali il DC può essere evitato senza necessariamente raggiungere il pieno Neural Collapse.