Replicating Human Motivated Reasoning Studies with LLMs

Resumen Técnico: Replicación de Estudios sobre Razonamiento Motivado Humano con LLM

Enunciado del Problema
El razonamiento motivado es un fenómeno humano bien documentado en el que los individuos procesan información para llegar a creencias precisas (motivación de precisión) o para alcanzar conclusiones deseadas y predeterminadas (motivación direccional). Aunque trabajos recientes sugieren que los Modelos de Lenguaje Grandes (LLM) pueden exhibir comportamientos similares a los humanos cuando se les asignan personas específicas (por ejemplo, afiliación política), sigue sin estar claro si los LLM base —sin inducción de persona— son susceptibles a manipulaciones motivacionales de la misma manera que los humanos. Esta incertidumbre desafía la validez de utilizar LLM como sustitutos para la formación de opiniones humanas y la evaluación de argumentos en la investigación de ciencias sociales.

Metodología
Los autores replicaron cuatro estudios previos de ciencia política sobre razonamiento motivado (Bolsen et al., 2014; Bolsen y Druckman, 2015; Druckman et al., 2013; Mullinix, 2016) utilizando diez LLM base de cinco familias de modelos (OpenAI, Google, Anthropic, Mistral y Qwen).

• Diseño Experimental: El estudio utilizó un enfoque de "un solo disparo" (one-shot), proporcionando a los modelos la misma información, manipulaciones motivacionales (por ejemplo, pistas direccionales como el respaldo partidista frente a pistas de precisión como una evaluación imparcial) y preguntas que se dieron a los participantes humanos originales. No se indujeron rasgos de personalidad ni datos demográficos en los experimentos principales para aislar los efectos de las pistas motivacionales.
• Muestreo: Para gestionar los costos computacionales manteniendo la estructura del estudio, los autores redujeron el muestreo de los conteos originales de participantes humanos. Seleccionaron el tamaño de muestra de la condición más pequeña de los estudios originales (44) como línea base, generando números proporcionales de respuestas para otras condiciones, lo que resultó en un total de 3.574 generaciones en todos los estudios.
• Métricas de Evaluación: Los autores compararon las salidas de los LLM con las líneas base humanas utilizando:
  • Tau de Kendall: Para medir la correlación entre las respuestas promedio de los LLM y las humanas a través de las condiciones.
  • Precisión de Signo: Para determinar si los LLM predijeron correctamente la dirección del cambio de opinión en relación con una condición de control.
  • Evaluación de Argumentos: Evaluando la correlación entre la fuerza percibida del argumento por parte de los LLM (a favor vs. en contra) y sus opiniones finales.
  • Análisis de No Respuesta: Midiendo las tasas de "retiro" (casos en los que los modelos se negaron a responder) mediante pruebas de Chi-cuadrado para identificar si manipulaciones específicas de información desencadenaron la no respuesta.
• Verificaciones de Robustez: Los experimentos adicionales incluyeron solicitar a los modelos que proporcionaran razonamiento (Cadena de Pensamiento) y, en un subconjunto del Estudio 2, inducir personas demográficas para probar si estos factores alteraban los hallazgos.

Contribuciones Clave

1. Los LLM Base No Imitan el Razonamiento Motivado Humano: El estudio proporciona evidencia de que los LLM base, sin inducción de persona, no replican los cambios direccionales o impulsados por la precisión en la opinión observados en los humanos cuando se exponen a pistas motivacionales.
2. Desalineación en la Evaluación de Argumentos: Cuando se les proporcionan pros y contras de políticas, los LLM a menudo muestran una desalineación entre su evaluación de la fuerza del argumento y sus opiniones resultantes, fallando en emular la tendencia humana a ponderar los argumentos de manera consistente con su postura final.
3. No Respuesta Selectiva: La investigación identifica que las manipulaciones de información afectan significativamente la probabilidad de un modelo de "retirarse" de responder. Esta no respuesta no es uniforme; varía según las condiciones específicas del estudio y la información proporcionada, lo que limita la fiabilidad de los LLM como sustitutos de encuestas en ciertos entornos.
4. Persona vs. Comportamiento Base: Los hallazgos sugieren que las "motivaciones" observadas previamente en los LLM dependen en gran medida de la inducción explícita de personas en lugar de una capacidad inherente para el razonamiento motivado.

Resultados

• Correlación con Humanos: No hubo correlaciones positivas fuertes (Tau de Kendall) entre las respuestas promedio de ningún modelo y los promedios humanos en los cuatro estudios. La mayoría de las correlaciones fueron débiles, negativas o insignificantes.
• Precisión de Signo: Los LLM demostraron una baja precisión al predecir la dirección del cambio de opinión en relación con las condiciones de control. Para el Estudio 1 y el Estudio 3, las puntuaciones de precisión fueron generalmente bajas, con solo unos pocos modelos (por ejemplo, Mistral 8x7B en el Estudio 1) mostrando precisión moderada.
• Fuerza del Argumento: Los modelos fallaron en evaluar consistentemente la fuerza del argumento de una manera que se asemeje a los humanos. Aunque algunos modelos mostraron correlaciones moderadas en el Estudio 3, todos los modelos mostraron correlaciones débiles o insignificantes en el Estudio 4.
• Comportamiento de Retiro: Las tasas de no respuesta fueron significativas y no uniformes. Por ejemplo, en el Estudio 1, las manipulaciones motivacionales causaron altas tasas de no respuesta en Gemini 2.5 Flash y Claude 4.5 Haiku, mientras que en el Estudio 3, las condiciones de control desencadenaron una alta no respuesta en múltiples modelos. Esto sugiere que los modelos pueden abstenerse de responder a pistas informativas controvertidas o específicas en lugar de simular una opinión humana.
• Robustez: Incluso cuando se les solicitó proporcionar razonamiento o se les asignaron personas demográficas, los LLM continuaron fallando en imitar los resultados del razonamiento motivado humano, reforzando los hallazgos principales.

Significado y Afirmaciones
El artículo afirma que estos hallazgos son críticos para los investigadores en ciencias sociales e informática que utilizan LLM como sustitutos de encuestas o para predecir la opinión pública. Los resultados indican que los LLM pueden no ser pronosticadores precisos de la opinión pública cuando el razonamiento motivado es un factor, particularmente en entornos controvertidos o polarizados donde los modelos pueden simplemente abstenerse de responder.

Además, el trabajo destaca limitaciones para las comunidades de IA y PLN en tareas como la evaluación automatizada de argumentos. Los autores sugieren que los LLM base actuales luchan por emular procesos de razonamiento similares a los humanos, y que confiar en ellos para tareas como la replicación de opiniones o la evaluación de argumentos requiere precaución. El estudio enfatiza la importancia de comprender la brecha entre el comportamiento de los LLM base, el comportamiento de los LLM guiados por personas y el comportamiento humano real, señalando que simplemente solicitar razonamiento o agregar datos demográficos no cierra esta brecha. El trabajo futuro debería centrarse en desarrollar sistemas avanzados (por ejemplo, utilizando indicaciones de pocos ejemplos o evaluaciones híbridas humano-LLM) para mejorar la fiabilidad en estos dominios.