Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Technische Samenvatting: "Niet te genererend, niet te discriminerend: Het menselijke uitlijningssweet spot"

Probleemstelling
Een centrale discussie in computationele visie betreft de vraag of mensachtige visuele representaties het beste worden verklaard door discriminerend leren (het toewijzen van invoer aan labels) of genererend leren (het afleiden van invoer uit een intern wereldmodel). Bestaande vergelijkingen tussen deze paradigma's worden verward door gelijktijdige verschillen in architectuur, modelschaal en trainingsdata. Bijgevolg blijft het onduidelijk of waargenomen verschillen in menselijke uitlijning voortkomen uit het leerdoel zelf of uit gecorreleerde model eigenschappen. Het artikel stelt dat de tegenstelling tussen genererende en discriminerende doelen mogelijk de verkeerde as is voor het begrijpen van mensgericht visie, en suggereert in plaats daarvan dat de optimale balans ergens in het midden ligt.

Methodologie
Om het effect van het leerdoel te isoleren, maken de auteurs gebruik van Joint Energy-Based Models (JEMs). JEMs definiëren een enkele energiefunctie over invoer-labelparen, $E_\theta(x, y)$, waardoor een enkel netwerk gelijktijdig discriminerende voorspelling ($p(y|x)$) en genererende dichtheidsmodellering ($p(x)$) kan ondersteunen.

• Interpolatie: De auteurs introduceren een mengcoëfficiënt $\alpha \in [0, 1]$ om het trainingsdoel te controleren. De verliesfunctie is een interpolatie tussen de discriminerende log-likelihood ($L_D$) en de genererende log-likelihood ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Hierbij komt $\alpha=0$ overeen met puur discriminerende training, en $\alpha=1$ met puur genererende training. De verhouding van de gradiëntnorm zorgt ervoor dat beide termen op een vergelijkbare schaal bijdragen.
• Architectuur en Training: De experimenten maken gebruik van een Wide ResNet-architectuur. Voor experimenten op ImageNet-schaal vindt training plaats in de latente ruimte van een vooraf getrainde AutoencoderKL om hybride training computationeel haalbaar te maken. De modellen worden getraind over het volledige continuüm van $\alpha$ (11 modellen van 0,0 tot 1,0 in stappen van 0,1).
• Evaluatie: De resulterende modellen worden geëvalueerd aan de hand van zes verschillende benchmarks voor menselijke uitlijning die variëren van laag-niveau perceptie, mid-niveau perceptie, onzekerheid, robuustheid, cue-conflict tot diagnostische kenmerktoewijzing. Deze omvatten:
  1. Perceptuele Gelijkenis (BAPPS): 2AFC- en JND-taken.
  2. Glansperceptie: Correlatie met menselijke oordelen over synthetische oppervlakken.
  3. Responsonzekerheid (CIFAR-10H): Cross-entropy tussen model- en menselijke responsverdelingen.
  4. Robuustheid (OOD): Foutconsistentie met mensen onder verdelingsverschuivingen.
  5. Vorm–Textuur Cue-Conflict: Bias ten opzichte van vorm versus textuur in conflicterende afbeeldingen.
  6. Diagnostische Kenmerken (ClickMe): Uitlijning van modeltoewijzingskaarten met menselijke visuele aandacht.

Belangrijkste Resultaten
Over alle zes benchmarks heen wordt menselijke uitlijning consistent gemaximaliseerd bij intermediaire waarden van $\alpha$, en niet bij de uitersten ($\alpha=0$ of $\alpha=1$).

• Perceptuele Gelijkenis: Hybride modellen ($\alpha \approx 0,6$) behalen de hoogste 2AFC-scores terwijl ze discriminerende baselines evenaren op JND-taken, en presteren beter dan zowel puur genererende als puur discriminerende modellen.
• Glansperceptie: Hoewel eerdere studies suggereerden dat genererende modellen (PixelVAE) beter presteerden dan discriminerende modellen (ResNet), tonen de gecontroleerde JEM-experimenten aan dat het puur discriminerende JEM al beter presteert dan het puur genererende JEM. De optimale uitlijning treedt op bij $\alpha \approx 0,5$, wat zowel de PixelVAE- als de ResNet-baselines overtreft.
• Responsonzekerheid: Hybride modellen ($\alpha \approx 0,8$) reproduceren het beste de volledige verdeling van menselijke responsen, waarbij ze categorische structuur balanceren met gevoeligheid voor ambiguïteit.
• Vorm–Textuur Bias: De vormbias neemt monotoon toe met $\alpha$. Hybride modellen bereiken een vormbias van ongeveer 0,7, significant hoger dan standaard discriminerende baselines (bijv. ResNet-50) en benaderend de niveaus van grote genererende modellen.
• Diagnostische Kenmerken: Uitlijning met menselijke salientiekaarten piekt bij $\alpha \approx 0,3$. Puur genererende modellen verliezen selectiviteit, terwijl puur discriminerende modellen diffuse toewijzingskaarten produceren.
• Refinement tijdens Testtijd: De auteurs tonen aan dat het toepassen van Stochastic Gradient Langevin Dynamics (SGLD) om invoer tijdens de testtijd te verfijnen, vorm-consistente responsen in hybride en genererende modellen versterkt zonder hertraining, waardoor het vorm-bevoordelende energielandschap dat door het genererende doel wordt geïnduceerd, zichtbaar wordt.

Betekenis en Aanspraken
Het artikel claimt de discussie tussen genererend en discriminerend te herformuleren. De resultaten suggereren dat de tegenstelling niet het juiste kader is voor het begrijpen van mensgericht visie. In plaats daarvan ontstaan mensachtige representaties door het balanceren van beide doelen:

• Discriminerend leren biedt de nodige categorische structuur.
• Genererend leren biedt gevoeligheid voor de invoerverdeling en globale coherentie (bijv. vorm).

De auteurs betogen dat menselijke uitlijning geen enkele scalair eigenschap is, maar een familie van beperkingen waarbij de optimale balans tussen genererend wereldmodelleren versus discriminerend labelen varieert per taak (bijv. diagnostische kenmerken bevoordelen een meer discriminerend regime, terwijl responsonzekerheid een meer genererend regime bevoordeelt). De studie concludeert dat mensgericht AI vereist dat we voorbij de vraag "welk doel is het beste?" gaan, en in plaats daarvan begrijpen "hoe moeten deze doelen worden gebalanceerd?".

Beperkingen
De auteurs erkennen dat energievormige training computationeel veeleisend blijft en zorgvuldige stabilisatie vereist. De optimale $\alpha$ varieert per benchmark, wat aangeeft dat menselijke uitlijning multidimensionaal is. Bovendien garanderen hybride doelen, hoewel ze de uitlijning met menselijke perceptie en onzekerheid verbeteren, niet inherent rechtvaardigheid, veiligheid of robuustheid, aangezien ze ook menselijke fouten en vooroordelen kunnen reproduceren.