Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Sintesi Tecnica: "Non Troppo Generativo, Non Troppo Discriminativo: Il Punto Dolce dell'Allineamento Umano"

Enunciato del Problema
Un dibattito centrale nella visione computazionale riguarda se le rappresentazioni visive simili a quelle umane siano meglio spiegate dall'apprendimento discriminativo (mappatura degli input su etichette) o dall'apprendimento generativo (inferenza degli input da un modello interno del mondo). I confronti esistenti tra questi paradigmi sono confusi da differenze simultanee nell'architettura, nella scala del modello e nei dati di addestramento. Di conseguenza, rimane incerto se le differenze osservate nell'allineamento umano derivino dall'obiettivo di apprendimento stesso o da proprietà del modello correlate. Il documento ipotizza che la dicotomia tra obiettivi generativi e discriminativi possa essere l'asse sbagliato per comprendere la visione allineata all'uomo, suggerendo invece che l'equilibrio ottimale risieda da qualche parte nel mezzo.

Metodologia
Per isolare l'effetto dell'obiettivo di apprendimento, gli autori impiegano Joint Energy-Based Models (JEM). I JEM definiscono una singola funzione di energia sulle coppie input-etichetta, $E_\theta(x, y)$, permettendo a una singola rete di supportare simultaneamente la previsione discriminativa ($p(y|x)$) e la modellazione della densità generativa ($p(x)$).

• Interpolazione: Gli autori introducono un coefficiente di miscelazione $\alpha \in [0, 1]$ per controllare l'obiettivo di addestramento. La funzione di perdita è un'interpolazione tra la verosimiglianza logaritmica discriminativa ($L_D$) e quella generativa ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Qui, $\alpha=0$ corrisponde a un addestramento puramente discriminativo, e $\alpha=1$ a un addestramento puramente generativo. Il rapporto delle norme del gradiente garantisce che entrambi i termini contribuiscano a una scala comparabile.
• Architettura e Addestramento: Gli esperimenti utilizzano un'architettura Wide ResNet. Per gli esperimenti su scala ImageNet, l'addestramento avviene nello spazio latente di un AutoencoderKL preaddestrato per rendere fattibile computazionalmente l'addestramento ibrido. I modelli sono addestrati su tutto il continuum di $\alpha$ (11 modelli da 0.0 a 1.0 con passi di 0.1).
• Valutazione: I modelli risultanti sono valutati su sei distinti benchmark di allineamento umano che coprono percezione di basso livello, percezione di medio livello, incertezza, robustezza, conflitto di indizi e attribuzione di caratteristiche diagnostiche. Questi includono:
  1. Somiglianza Percettiva (BAPPS): Compiti 2AFC e JND.
  2. Percezione della Lucentezza: Correlazione con giudizi umani su superfici sintetiche.
  3. Incertezza di Risposta (CIFAR-10H): Entropia incrociata tra le distribuzioni di risposta del modello e quelle umane.
  4. Robustezza (OOD): Coerenza degli errori con gli umani sotto spostamenti di distribuzione.
  5. Conflitto di Indizi Forma-Texture: Bias verso la forma rispetto alla texture in immagini conflittuali.
  6. Caratteristiche Diagnostiche (ClickMe): Allineamento delle mappe di attribuzione del modello con l'attenzione visiva umana.

Risultati Chiave
Su tutti e sei i benchmark, l'allineamento umano è massimizzato in modo coerente a valori intermedi di $\alpha$, piuttosto che agli estremi ($\alpha=0$ o $\alpha=1$).

• Somiglianza Percettiva: I modelli ibridi ($\alpha \approx 0.6$) ottengono i punteggi 2AFC più alti, pur corrispondendo ai baseline discriminativi nei compiti JND, superando sia i modelli puramente generativi che quelli puramente discriminativi.
• Percezione della Lucentezza: Mentre lavori precedenti suggerivano che i modelli generativi (PixelVAE) superavano quelli discriminativi (ResNet), gli esperimenti controllati con JEM mostrano che il JEM puramente discriminativo supera già il JEM puramente generativo. L'allineamento ottimale si verifica a $\alpha \approx 0.5$, superando sia i baseline PixelVAE che ResNet.
• Incertezza di Risposta: I modelli ibridi ($\alpha \approx 0.8$) riproducono meglio l'intera distribuzione delle risposte umane, bilanciando la struttura categorica con la sensibilità all'ambiguità.
• Bias Forma-Texture: Il bias verso la forma aumenta in modo monotono con $\alpha$. I modelli ibridi raggiungono un bias verso la forma vicino a 0.7, significativamente più alto dei baseline discriminativi standard (es. ResNet-50) e avvicinandosi ai livelli dei grandi modelli generativi.
• Caratteristiche Diagnostiche: L'allineamento con le mappe di salienza umana raggiunge il picco a $\alpha \approx 0.3$. I modelli puramente generativi perdono selettività, mentre i modelli puramente discriminativi producono mappe di attribuzione diffuse.
• Raffinamento al Momento del Test: Gli autori dimostrano che applicare la Dinamica di Langevin Stocastica (SGLD) per raffinare gli input al momento del test amplifica le risposte coerenti con la forma nei modelli ibridi e generativi senza riaddestramento, rivelando il paesaggio energetico favorevole alla forma indotto dall'obiettivo generativo.

Significato e Affermazioni
Il documento afferma di riformulare il dibattito generativo-discriminativo. I risultati suggeriscono che la dicotomia non è il quadro corretto per comprendere la visione allineata all'uomo. Invece, rappresentazioni simili a quelle umane emergono dal bilanciare entrambi gli obiettivi:

• L'apprendimento discriminativo fornisce la struttura categorica necessaria.
• L'apprendimento generativo fornisce sensibilità alla distribuzione degli input e coerenza globale (es. forma).

Gli autori sostengono che l'allineamento umano non è una singola proprietà scalare, ma una famiglia di vincoli in cui l'equilibrio ottimale tra modellazione generativa del mondo e etichettatura discriminativa varia in base al compito (ad esempio, le caratteristiche diagnostiche favoriscono un regime più discriminativo, mentre l'incertezza di risposta favorisce uno più generativo). Lo studio conclude che l'IA allineata all'uomo richiede di andare oltre la domanda "quale obiettivo è migliore?" verso la comprensione di "come dovrebbero essere bilanciati questi obiettivi?".

Limitazioni
Gli autori riconoscono che l'addestramento basato su energia rimane computazionalmente oneroso e richiede una stabilizzazione attenta. Il $\alpha$ ottimale varia tra i benchmark, indicando che l'allineamento umano è multidimensionale. Inoltre, sebbene gli obiettivi ibridi migliorino l'allineamento con la percezione e l'incertezza umana, non garantiscono intrinsecamente equità, sicurezza o robustezza, poiché possono anche riprodurre errori e pregiudizi umani.