Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Resumen Técnico: "Ni Demasiado Generativo, Ni Demasiado Discriminativo: El Punto Dulce de la Alineación Humana"

Enunciado del Problema
Un debate central en la visión computacional concierne si las representaciones visuales similares a las humanas se explican mejor mediante el aprendizaje discriminativo (mapear entradas a etiquetas) o el aprendizaje generativo (inferir entradas a partir de un modelo interno del mundo). Las comparaciones existentes entre estos paradigmas se ven confundidas por diferencias simultáneas en la arquitectura, la escala del modelo y los datos de entrenamiento. En consecuencia, sigue sin estar claro si las diferencias observadas en la alineación humana provienen del objetivo de aprendizaje en sí mismo o de propiedades del modelo correlacionadas. El artículo postula que la dicotomía entre objetivos generativos y discriminativos puede ser el eje incorrecto para comprender la visión alineada con lo humano, sugiriendo en cambio que el equilibrio óptimo reside en algún punto intermedio.

Metodología
Para aislar el efecto del objetivo de aprendizaje, los autores emplean Modelos Basados en Energía Conjunta (JEMs). Los JEMs definen una única función de energía sobre pares entrada-etiqueta, $E_\theta(x, y)$, permitiendo que una sola red soporte simultáneamente la predicción discriminativa ($p(y|x)$) y el modelado de densidad generativo ($p(x)$).

• Interpolación: Los autores introducen un coeficiente de mezcla $\alpha \in [0, 1]$ para controlar el objetivo de entrenamiento. La función de pérdida es una interpolación entre la verosimilitud logarítmica discriminativa ($L_D$) y la verosimilitud logarítmica generativa ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Aquí, $\alpha=0$ corresponde a un entrenamiento puramente discriminativo, y $\alpha=1$ a un entrenamiento puramente generativo. La relación de la norma del gradiente asegura que ambos términos contribuyan en una escala comparable.
• Arquitectura y Entrenamiento: Los experimentos utilizan una arquitectura Wide ResNet. Para los experimentos a escala ImageNet, el entrenamiento ocurre en el espacio latente de un AutoencoderKL preentrenado para hacer viable computacionalmente el entrenamiento híbrido. Los modelos se entrenan a lo largo de todo el continuo de $\alpha$ (11 modelos desde 0.0 hasta 1.0 en pasos de 0.1).
• Evaluación: Los modelos resultantes se evalúan en seis benchmarks distintos de alineación humana que abarcan percepción de bajo nivel, percepción de nivel medio, incertidumbre, robustez, conflicto de señales y atribución de características diagnósticas. Estos incluyen:
  1. Similitud Perceptiva (BAPPS): Tareas de 2AFC y JND.
  2. Percepción del Brillo: Correlación con juicios humanos sobre superficies sintéticas.
  3. Incertidumbre de Respuesta (CIFAR-10H): Entropía cruzada entre las distribuciones de respuesta del modelo y de los humanos.
  4. Robustez (OOD): Consistencia de errores con humanos bajo desplazamientos de distribución.
  5. Conflicto de Señales Forma–Textura: Sesgo hacia la forma frente a la textura en imágenes conflictivas.
  6. Características Diagnósticas (ClickMe): Alineación de los mapas de atribución del modelo con la atención visual humana.

Resultados Clave
En los seis benchmarks, la alineación humana se maximiza consistentemente en valores intermedios de $\alpha$, en lugar de en los extremos ($\alpha=0$ o $\alpha=1$).

• Similitud Perceptiva: Los modelos híbridos ($\alpha \approx 0.6$) alcanzan las puntuaciones 2AFC más altas mientras igualan las líneas base discriminativas en tareas JND, superando tanto a los modelos puramente generativos como a los puramente discriminativos.
• Percepción del Brillo: Mientras que trabajos anteriores sugerían que los modelos generativos (PixelVAE) superaban a los discriminativos (ResNet), los experimentos controlados con JEM muestran que el JEM puramente discriminativo ya supera al JEM puramente generativo. La alineación óptima ocurre en $\alpha \approx 0.5$, superando tanto a las líneas base PixelVAE como ResNet.
• Incertidumbre de Respuesta: Los modelos híbridos ($\alpha \approx 0.8$) reproducen mejor la distribución completa de respuestas humanas, equilibrando la estructura categórica con la sensibilidad a la ambigüedad.
• Sesgo Forma–Textura: El sesgo hacia la forma aumenta monótonamente con $\alpha$. Los modelos híbridos logran un sesgo hacia la forma cercano a 0.7, significativamente más alto que las líneas base discriminativas estándar (por ejemplo, ResNet-50) y acercándose a los niveles de grandes modelos generativos.
• Características Diagnósticas: La alineación con los mapas de saliencia humana alcanza su punto máximo en $\alpha \approx 0.3$. Los modelos puramente generativos pierden selectividad, mientras que los modelos puramente discriminativos producen mapas de atribución difusos.
• Refinamiento en Tiempo de Prueba: Los autores demuestran que aplicar Dinámica de Langevin de Gradiente Estocástico (SGLD) para refinar las entradas en tiempo de prueba amplifica las respuestas consistentes con la forma en modelos híbridos y generativos sin reentrenamiento, revelando el paisaje energético favorable a la forma inducido por el objetivo generativo.

Significado y Afirmaciones
El artículo afirma reencuadrar el debate generativo–discriminativo. Los resultados sugieren que la dicotomía no es el marco correcto para comprender la visión alineada con lo humano. En cambio, las representaciones similares a las humanas emergen de equilibrar ambos objetivos:

• El aprendizaje discriminativo proporciona la estructura categórica necesaria.
• El aprendizaje generativo proporciona sensibilidad a la distribución de entrada y coherencia global (por ejemplo, la forma).

Los autores argumentan que la alineación humana no es una propiedad escalar única, sino una familia de restricciones donde el equilibrio óptimo entre el modelado generativo del mundo y el etiquetado discriminativo varía según la tarea (por ejemplo, las características diagnósticas favorecen un régimen más discriminativo, mientras que la incertidumbre de respuesta favorece uno más generativo). El estudio concluye que la IA alineada con lo humano requiere ir más allá de la pregunta "¿qué objetivo es el mejor?" hacia comprender "¿cómo deben equilibrarse estos objetivos?".

Limitaciones
Los autores reconocen que el entrenamiento basado en energía sigue siendo computacionalmente exigente y requiere una estabilización cuidadosa. El $\alpha$ óptimo varía entre los benchmarks, lo que indica que la alineación humana es multidimensional. Además, aunque los objetivos híbridos mejoran la alineación con la percepción humana y la incertidumbre, no garantizan intrínsecamente la equidad, la seguridad o la robustez, ya que también pueden reproducir errores y sesgos humanos.