Post-training makes large language models less human-like

Resumen Técnico: El entrenamiento posterior hace que los modelos de lenguaje grandes sean menos similares a los humanos

Declaración del Problema
Los modelos de lenguaje grandes (LLM) se utilizan cada vez más como sustitutos de participantes humanos en investigación científica y entornos aplicados, como simular respuestas de pacientes en salud mental o predecir reacciones a intervenciones políticas. Sin embargo, sigue sin estar claro qué configuraciones de modelos capturan mejor el comportamiento humano, incluidos sus errores inherentes, su variabilidad y sus características individuales. Aunque algunos estudios sugieren una fuerte alineación conductual, otros reportan divergencias significativas. Existe una brecha crítica en la comprensión de cómo propiedades específicas del modelo, particularmente la transición desde el preentrenamiento base al entrenamiento posterior (ajuste de instrucciones, razonamiento y adaptación visual), afectan la fidelidad de la simulación del comportamiento humano.

Metodología
Para abordar esto, los autores introducen Psych-201, un nuevo conjunto de datos a gran escala que comprende transcripciones de lenguaje natural de experimentos conductuales.

• Escala y Diversidad de Datos: Psych-201 agrega datos de 208.021 participantes en 25.906.599 respuestas conductuales, abarcando cientos de paradigmas experimentales. Es 3,5 veces más grande que su predecesor (Psych-101) y 13 veces más grande que el promedio de los mega-estudios. El conjunto de datos incluye metadatos ricos (edad, nacionalidad, diagnóstico clínico, etc.) y abarca estudios de desarrollo y transculturales.
• Evaluación de Modelos: El estudio evaluó modelos de tres familias principales: Qwen3 (código abierto), Llama3.X (ecosistema amplio) y Olmo3.X (totalmente abierto/reproducible).
• Estrategia de Comparación: Los autores compararon modelos base (solo preentrenados) con sus contrapartes con entrenamiento posterior (ajustadas con instrucciones, mejoradas en razonamiento o con capacidades visuales).
• Métricas: La alineación conductual se midió utilizando la log-verosimilitud negativa (NLL) de las respuestas humanas individuales bajo las predicciones del modelo (una NLL más baja indica una mejor alineación). El efecto del entrenamiento posterior se cuantificó utilizando tamaños del efecto de Cohen's d en relación con el modelo base correspondiente.
• Prueba de Inducción de Persona: El estudio probó sistemáticamente la "inducción de persona" (condicionando modelos sobre metadatos específicos del participante mediante prompts estilo entrevista) para determinar si mejora las predicciones a nivel individual.

Resultados Clave

1. El entrenamiento posterior reduce la similitud humana: En todas las familias de modelos, tamaños y objetivos de entrenamiento posterior (ajuste de instrucciones, razonamiento, visión), el entrenamiento posterior redujo consistentemente la alineación conductual con las respuestas humanas en comparación con los modelos base.
2. Tendencias Generacionales: Aunque los modelos base continúan mejorando en alineación conductual a través de generaciones más nuevas (por ejemplo, de Qwen2 a Qwen3.5), la brecha de desalineación entre los modelos base y sus versiones con entrenamiento posterior se amplía en las generaciones más nuevas. Por ejemplo, el tamaño del efecto de desalineación para modelos ajustados con instrucciones aumentó de d = 0,02 en Qwen2 a d = 0,16 en Qwen3.5.
3. Especificidad de Dominio: La desalineación por entrenamiento posterior es un efecto general de dominio, pero es más pronunciada en tareas de psicolingüística y razonamiento. Los autores sugieren que esto ocurre porque los modelos base, optimizados para el lenguaje humano, capturan naturalmente heurísticas y sesgos humanos, mientras que el entrenamiento posterior (por ejemplo, RLHF) optimiza para respuestas normativamente correctas, sobrescribiendo estos patrones similares a los humanos.
4. Ineficacia de la Inducción de Persona: Condicionar modelos sobre metadatos específicos del participante (edad, género, nacionalidad, etc.) no mejoró significativamente las predicciones a nivel individual. Los tamaños del efecto oscilaron entre d = -0,02 y d = 0,02, desafiando la utilidad de la inducción de persona para modelar individuos específicos.
5. Determinismo vs. Desalineación: Los autores descartaron el aumento del determinismo de salida como el único motor de la desalineación, ya que los modelos con entrenamiento posterior no mostraron mayor precisión en subconjuntos de elección discreta, lo que indica que la desalineación no es meramente una pérdida de estocasticidad.

Significado y Afirmaciones
El artículo argumenta que los mismos procesos empleados actualmente para transformar los LLM en asistentes útiles y normativamente correctos (entrenamiento posterior) degradan simultáneamente su precisión como modelos de comportamiento humano.

• Implicación para la Investigación: Confiar en modelos accesibles con entrenamiento posterior (como los chatbots estándar) como sustitutos conductuales es subóptimo para objetivos científicos que requieren fidelidad similar a la humana.
• Dirección Futura: Los hallazgos motivan el desarrollo de nuevos enfoques de entrenamiento posterior que preserven la alineación conductual inherente a los modelos base mientras mantienen la utilidad práctica.
• Utilidad del Recurso: Psych-201 se presenta como un recurso fundamental para meta-análisis, descubrimiento científico automatizado y el desarrollo de modelos cognitivos a gran escala que simulen con precisión las trayectorias de aprendizaje y toma de decisiones humanas.

Los autores concluyen que, aunque los modelos base muestran promesa como modelos descriptivos de la cognición humana, la trayectoria actual de optimización del entrenamiento posterior para la "utilidad" crea un "impuesto de alineación" con respecto a la simulación del comportamiento humano, lo que requiere una reevaluación de cómo se preparan los modelos para su uso en ciencias del comportamiento.