Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Resumo Técnico: "Nem Muito Generativo, Nem Muito Discriminativo: O Ponto Ideal de Alinhamento Humano"

Declaração do Problema
Um debate central na visão computacional diz respeito a se as representações visuais semelhantes às humanas são melhor explicadas pela aprendizagem discriminativa (mapeamento de entradas para rótulos) ou pela aprendizagem generativa (inferência de entradas a partir de um modelo de mundo interno). As comparações existentes entre esses paradigmas são confundidas por diferenças simultâneas na arquitetura, na escala do modelo e nos dados de treinamento. Consequentemente, permanece incerto se as diferenças observadas no alinhamento humano decorrem do próprio objetivo de aprendizagem ou de propriedades correlacionadas do modelo. O artigo postula que a dicotomia entre objetivos generativos e discriminativos pode ser o eixo errado para compreender a visão alinhada ao humano, sugerindo, em vez disso, que o equilíbrio ótimo reside em algum ponto intermediário.

Metodologia
Para isolar o efeito do objetivo de aprendizagem, os autores empregam Modelos Baseados em Energia Conjunta (JEMs). Os JEMs definem uma única função de energia sobre pares entrada-rótulo, $E_\theta(x, y)$, permitindo que uma única rede suporte simultaneamente a previsão discriminativa ($p(y|x)$) e a modelagem de densidade generativa ($p(x)$).

• Interpolação: Os autores introduzem um coeficiente de mistura $\alpha \in [0, 1]$ para controlar o objetivo de treinamento. A função de perda é uma interpolação entre a verossimilhança logarítmica discriminativa ($L_D$) e a verossimilhança logarítmica generativa ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Aqui, $\alpha=0$ corresponde ao treinamento puramente discriminativo, e $\alpha=1$ ao treinamento puramente generativo. A razão da norma do gradiente garante que ambos os termos contribuam em uma escala comparável.
• Arquitetura e Treinamento: Os experimentos utilizam uma arquitetura Wide ResNet. Para experimentos na escala do ImageNet, o treinamento ocorre no espaço latente de um AutoencoderKL pré-treinado para tornar o treinamento híbrido computacionalmente viável. Os modelos são treinados ao longo de todo o contínuo de $\alpha$ (11 modelos de 0,0 a 1,0 em passos de 0,1).
• Avaliação: Os modelos resultantes são avaliados em seis benchmarks distintos de alinhamento humano que abrangem percepção de baixo nível, percepção de nível médio, incerteza, robustez, conflito de pistas e atribuição de características diagnósticas. Estes incluem:
  1. Semelhança Perceptiva (BAPPS): Tarefas 2AFC e JND.
  2. Percepção de Brilho (Gloss): Correlação com julgamentos humanos sobre superfícies sintéticas.
  3. Incerteza de Resposta (CIFAR-10H): Entropia cruzada entre as distribuições de resposta do modelo e humanas.
  4. Robustez (OOD): Consistência de erros com humanos sob deslocamentos de distribuição.
  5. Conflito de Pistas Forma–Textura: Viés em direção à forma versus textura em imagens conflitantes.
  6. Características Diagnósticas (ClickMe): Alinhamento dos mapas de atribuição do modelo com a atenção visual humana.

Principais Resultados
Em todos os seis benchmarks, o alinhamento humano é consistentemente maximizado em valores intermediários de $\alpha$, e não nas extremidades ($\alpha=0$ ou $\alpha=1$).

• Semelhança Perceptiva: Modelos híbridos ($\alpha \approx 0,6$) alcançam as pontuações 2AFC mais altas, ao mesmo tempo que igualam as bases discriminativas nas tarefas JND, superando tanto os modelos puramente generativos quanto os puramente discriminativos.
• Percepção de Brilho: Embora trabalhos anteriores sugerissem que modelos generativos (PixelVAE) superavam os discriminativos (ResNet), os experimentos controlados com JEM mostram que o JEM puramente discriminativo já supera o JEM puramente generativo. O alinhamento ótimo ocorre em $\alpha \approx 0,5$, superando tanto as bases PixelVAE quanto ResNet.
• Incerteza de Resposta: Modelos híbridos ($\alpha \approx 0,8$) reproduzem melhor a distribuição completa de respostas humanas, equilibrando a estrutura categórica com a sensibilidade à ambiguidade.
• Viés Forma–Textura: O viés de forma aumenta monotonicamente com $\alpha$. Modelos híbridos alcançam um viés de forma próximo de 0,7, significativamente mais alto do que as bases discriminativas padrão (por exemplo, ResNet-50) e aproximando-se dos níveis de grandes modelos generativos.
• Características Diagnósticas: O alinhamento com mapas de saliência humana atinge o pico em $\alpha \approx 0,3$. Modelos puramente generativos perdem seletividade, enquanto modelos puramente discriminativos produzem mapas de atribuição difusos.
• Refinamento em Tempo de Teste: Os autores demonstram que aplicar Dinâmica Langevin de Gradiente Estocástico (SGLD) para refinar entradas no momento do teste amplifica respostas consistentes com a forma em modelos híbridos e generativos sem retreinamento, revelando a paisagem energética favorável à forma induzida pelo objetivo generativo.

Significado e Alegações
O artigo afirma reformular o debate generativo–discriminativo. Os resultados sugerem que a dicotomia não é o quadro correto para compreender a visão alinhada ao humano. Em vez disso, representações semelhantes às humanas emergem do equilíbrio entre ambos os objetivos:

• A aprendizagem discriminativa fornece a estrutura categórica necessária.
• A aprendizagem generativa fornece sensibilidade à distribuição de entrada e coerência global (por exemplo, forma).

Os autores argumentam que o alinhamento humano não é uma propriedade escalar única, mas uma família de restrições onde o equilíbrio ótimo entre modelagem de mundo generativa versus rotulagem discriminativa varia conforme a tarefa (por exemplo, características diagnósticas favorecem um regime mais discriminativo, enquanto a incerteza de resposta favorece um regime mais generativo). O estudo conclui que a IA alinhada ao humano exige ir além da pergunta "qual objetivo é o melhor?" em direção a compreender "como esses objetivos devem ser equilibrados?".

Limitações
Os autores reconhecem que o treinamento baseado em energia permanece computacionalmente exigente e requer estabilização cuidadosa. O $\alpha$ ótimo varia entre os benchmarks, indicando que o alinhamento humano é multidimensional. Além disso, embora objetivos híbridos melhorem o alinhamento com a percepção e a incerteza humanas, eles não garantem inerentemente equidade, segurança ou robustez, pois também podem reproduzir erros e vieses humanos.