Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Technische Zusammenfassung: „Nicht zu generativ, nicht zu diskriminativ: Der Sweet Spot der menschlichen Ausrichtung"

Problemstellung
Eine zentrale Debatte in der computergestützten Vision betrifft die Frage, ob menschähnliche visuelle Repräsentationen am besten durch diskriminatives Lernen (Zuordnung von Eingaben zu Labels) oder durch generatives Lernen (Inferenz von Eingaben aus einem internen Weltmodell) erklärt werden. Bestehende Vergleiche zwischen diesen Paradigmen sind durch gleichzeitige Unterschiede in Architektur, Modellgröße und Trainingsdaten verfälscht. Folglich bleibt unklar, ob die beobachteten Unterschiede in der menschlichen Ausrichtung auf dem Lernziel selbst oder auf korrelierten Modelleigenschaften beruhen. Die Arbeit unterstellt, dass die Dichotomie zwischen generativen und diskriminativen Zielen möglicherweise die falsche Achse zum Verständnis der menschlich ausgerichteten Vision ist, und schlägt stattdessen vor, dass das optimale Gleichgewicht irgendwo dazwischen liegt.

Methodik
Um den Effekt des Lernziels zu isolieren, setzen die Autoren Joint Energy-Based Models (JEMs) ein. JEMs definieren eine einzelne Energiefunktion über Eingabe-Label-Paare, $E_\theta(x, y)$, wodurch ein einziges Netzwerk gleichzeitig diskriminative Vorhersage ($p(y|x)$) und generative Dichtemodellierung ($p(x)$) unterstützt.

• Interpolation: Die Autoren führen einen Mischungskoeffizienten $\alpha \in [0, 1]$ ein, um das Trainingsziel zu steuern. Die Verlustfunktion ist eine Interpolation zwischen der diskriminativen Log-Likelihood ($L_D$) und der generativen Log-Likelihood ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Hier entspricht $\alpha=0$ rein diskriminativem Training und $\alpha=1$ rein generativem Training. Das Verhältnis der Gradientennormen stellt sicher, dass beide Terme in einer vergleichbaren Skala beitragen.
• Architektur und Training: Die Experimente nutzen eine Wide ResNet-Architektur. Für Experimente im ImageNet-Maßstab findet das Training im latenten Raum eines vortrainierten AutoencoderKL statt, um hybrides Training rechnerisch machbar zu machen. Die Modelle werden über den gesamten Kontinuum von $\alpha$ hinweg trainiert (11 Modelle von 0,0 bis 1,0 in Schritten von 0,1).
• Evaluation: Die resultierenden Modelle werden über sechs verschiedene Benchmarks zur menschlichen Ausrichtung evaluiert, die niedrige Wahrnehmung, mittlere Wahrnehmung, Unsicherheit, Robustheit, Hinweis-Konflikte und diagnostische Merkmalsattribution abdecken. Dazu gehören:
  1. Perzeptuelle Ähnlichkeit (BAPPS): 2AFC- und JND-Aufgaben.
  2. Glanz-Wahrnehmung: Korrelation mit menschlichen Urteilen über synthetische Oberflächen.
  3. Antwortunsicherheit (CIFAR-10H): Kreuzentropie zwischen Modell- und Antwortverteilungen von Menschen.
  4. Robustheit (OOD): Fehlerkonsistenz mit Menschen unter Verteilungsverschiebungen.
  5. Form–Textur-Hinweis-Konflikt: Verzerrung zugunsten von Form gegenüber Textur in konfliktbehafteten Bildern.
  6. Diagnostische Merkmale (ClickMe): Ausrichtung der Attributionskarten des Modells mit menschlicher visueller Aufmerksamkeit.

Hauptergebnisse
Über alle sechs Benchmarks hinweg wird die menschliche Ausrichtung konsistent bei intermediären Werten von $\alpha$ maximiert, nicht jedoch an den Extremen ($\alpha=0$ oder $\alpha=1$).

• Perzeptuelle Ähnlichkeit: Hybride Modelle ($\alpha \approx 0,6$) erzielen die höchsten 2AFC-Werte, während sie bei JND-Aufgaben mit diskriminativen Baselines gleichziehen und sowohl rein generative als auch rein diskriminative Modelle übertreffen.
• Glanz-Wahrnehmung: Während frühere Arbeiten nahelegten, dass generative Modelle (PixelVAE) diskriminative (ResNet) übertreffen, zeigen die kontrollierten JEM-Experimente, dass das rein diskriminative JEM bereits das rein generative JEM übertrifft. Die optimale Ausrichtung liegt bei $\alpha \approx 0,5$ und übertrifft sowohl die PixelVAE- als auch die ResNet-Baselines.
• Antwortunsicherheit: Hybride Modelle ($\alpha \approx 0,8$) reproduzieren am besten die vollständige Verteilung menschlicher Antworten und balancieren kategoriale Struktur mit Sensitivität gegenüber Mehrdeutigkeit.
• Form–Textur-Verzerrung: Die Form-Verzerrung steigt monoton mit $\alpha$. Hybride Modelle erreichen eine Form-Verzerrung von nahe 0,7, was signifikant höher ist als bei Standard-diskriminativen Baselines (z. B. ResNet-50) und die Niveaus großer generativer Modelle annähert.
• Diagnostische Merkmale: Die Ausrichtung mit menschlichen Saliency-Karten erreicht ihren Höhepunkt bei $\alpha \approx 0,3$. Rein generative Modelle verlieren die Selektivität, während rein diskriminative Modelle diffuse Attributionskarten produzieren.
• Verfeinerung zur Testzeit: Die Autoren zeigen, dass die Anwendung von Stochastic Gradient Langevin Dynamics (SGLD) zur Verfeinerung der Eingaben zur Testzeit formkonsistente Antworten in hybriden und generativen Modellen ohne Nachtraining verstärkt und die durch das generative Ziel induzierte, formbegünstigende Energielandschaft offenlegt.

Bedeutung und Behauptungen
Die Arbeit beansprucht, die Debatte zwischen generativ und diskriminativ neu zu rahmen. Die Ergebnisse deuten darauf hin, dass die Dichotomie nicht der richtige Rahmen zum Verständnis der menschlich ausgerichteten Vision ist. Stattdessen entstehen menschähnliche Repräsentationen durch das Ausbalancieren beider Ziele:

• Diskriminatives Lernen liefert die notwendige kategoriale Struktur.
• Generatives Lernen liefert Sensitivität gegenüber der Eingabeverteilung und globale Kohärenz (z. B. Form).

Die Autoren argumentieren, dass menschliche Ausrichtung keine einzelne skalare Eigenschaft ist, sondern eine Familie von Constraints, bei der das optimale Gleichgewicht zwischen generativer Weltmodellierung und diskriminativer Beschriftung je nach Aufgabe variiert (z. B. bevorzugen diagnostische Merkmale ein eher diskriminatives Regime, während Antwortunsicherheit ein eher generatives Regime begünstigt). Die Studie schließt, dass eine menschlich ausgerichtete KI die Frage „Welches Ziel ist am besten?" hinter sich lassen und stattdessen verstehen muss, „wie diese Ziele auszubalancieren sind?".

Limitationen
Die Autoren räumen ein, dass das Training auf Energiebasis nach wie vor rechnerisch anspruchsvoll ist und eine sorgfältige Stabilisierung erfordert. Der optimale $\alpha$-Wert variiert über die Benchmarks hinweg, was darauf hindeutet, dass menschliche Ausrichtung multidimensional ist. Ferner garantieren hybride Ziele, obwohl sie die Ausrichtung mit menschlicher Wahrnehmung und Unsicherheit verbessern, nicht inhärent Fairness, Sicherheit oder Robustheit, da sie auch menschliche Fehler und Verzerrungen reproduzieren können.