Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

Resumen Técnico: Argumentos que alteran la mente: Las racionalizaciones de los LLM influyen en las nociones de plausibilidad humanas (y de los LLM)

Planteamiento del problema
Los benchmarks de razonamiento de sentido común (por ejemplo, Social IQA, CommonsenseQA) evalúan típicamente a los modelos pidiéndoles que seleccionen la respuesta más plausible entre varias opciones. A diferencia de los problemas lógicos o matemáticos, estas respuestas existen en un continuo de plausibilidad en lugar de ser definitivamente verdaderas o falsas. Aunque los anotadores humanos son tradicionalmente considerados "expertos" en este dominio, el artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) pueden generar argumentos (racionalizaciones) que alteren sistemáticamente los juicios humanos y de los LLM respecto a la plausibilidad de estas opciones de respuesta. Específicamente, los autores se preguntan si las racionalizaciones generadas por LLM de tipo "PRO" (apoyo) y "CON" (refutación) pueden influir en las calificaciones de plausibilidad humanas, incluso en dominios donde los humanos poseen un fuerte conocimiento intuitivo.

Metodología
El estudio se basa en un marco previo de calificación de plausibilidad (Palta et al., 2024) utilizando dos conjuntos de datos: Social IQA (SIQA) y CommonsenseQA (CQA).

1. Construcción de datos: Los autores tomaron una muestra de 100 preguntas (50 de cada conjunto de datos). Para cada pregunta, seleccionaron la etiqueta de oro (gold label, la respuesta correcta) y un distractor seleccionado al azar (respuesta incorrecta).
2. Generación de racionalizaciones: Utilizando GPT-4o (seleccionado mediante un estudio de preferencia por su capacidad para generar argumentos convincentes), los autores generaron tres tipos de racionalizaciones para cada par (pregunta, respuesta):
   • PRO: Un argumento que apoya la plausibilidad de la respuesta.
   • CON: Un argumento que apoya la implausibilidad de la respuesta.
   • PRO+CON: Ambos argumentos presentados juntos.
3. Evaluación humana: Los autores recolectaron 3,000 nuevos juicios de plausibilidad humana (usando una escala Likert de 1 a 5: Imposible a Muy Probable) bajo cuatro condiciones: Sin Racionalización, PRO, CON y PRO+CON.
4. Evaluación de LLM: En paralelo, 17 LLM diferentes (divididos en familias de OpenAI y No-OpenAI) fueron instados a calificar la plausibilidad de los mismos elementos bajo las mismas cuatro condiciones, generando 13,600 juicios.
5. Análisis: El estudio comparó las medias de las calificaciones de plausibilidad entre condiciones y realizó una regresión de Mínimos Cuadrados Ordinarios (OLS) para identificar los factores (por ejemplo, la calificación inicial, el tipo de racionalización) que impulsan los cambios en las puntuaciones.

Resultos clave

• Efecto de influencia (Swaying Effect): Tanto los juicios de plausibilidad humanos como los de los LLM se ven significativamente influenciados por la presencia de racionalizaciones. Las racionalizaciones PRO generalmente aumentan las calificaciones medias, mientras que las CON las disminuyen.
• Respuesta humana bimodal ante racionalizaciones PRO: Un hallazgo crítico es la reacción divergente a las racionalizaciones PRO basada en el tipo de respuesta. Para las respuestas de distractor (incorrectas), las racionalizaciones PRO lograron elevar las calificaciones medias humanas. Sin embargo, para las respuestas de oro (correctas), las racionalizaciones PRO sorprendentemente disminuyeron las calificaciones medias humanas. Los autores sugieren que esto puede deberse a la Máxima de Cantidad de Grice, donde los humanos interpretan la necesidad de un argumento como una señal de que el hecho no es evidente por sí mismo, de ahí que se "subestime" la obviedad de la respuesta correcta.
• Sensibilidad de los LLM: Los LLM también mostraron cambios significativos en las calificaciones. A diferencia de los humanos, los LLM generalmente aumentaron sus calificaciones para las etiquetas de oro cuando se les presentó una racionalización PRO. Los modelos de OpenAI parecieron más sensibles a las racionalizaciones (generadas por GPT-4o) que los modelos No-OpenAI, lo que potencialmente indica un sesgo de preferencia propia.
• Efecto de anclaje (Anchoring Effect): El análisis de regresión reveló un fuerte efecto de anclaje: cuanto mayor es la calificación de plausibilidad inicial de una respuesta, menor es el cambio subsecuente tras la introducción de una racionalización. Este efecto fue más pronunciado para los distractores que para las etiquetas de oro, lo que sugiere que los juicios iniciales sobre las respuestas incorrectas son más rígidos.
• Dominancia de CON: Las racionalizaciones CON ejercieron una influencia negativa más fuerte en las calificaciones de lo que las racionalizaciones PRO ejercieron una influencia positiva. Cuando se presentaron PRO y CON juntas, el componente opuesto tendió a dominar, resultando a menudo en una disminución neta de las calificaciones de plausibilidad.
• Longitud de la racionalización: La longitud de la racionalización (conteo de palabras) no mostró una relación lineal significativa con la magnitud de los cambios en las calificaciones.

Significancia y Reivindicaciones
El artículo afirma demostrar un uso novedoso de los LLM para estudiar aspectos de la cognición humana, específicamente cómo los argumentos externos influyen en la formación de creencias en el razonamiento de sentido común. Los autores destacan varias implicaciones:

• Vulnerabilidad del juicio humano: Incluso en dominios donde los humanos son considerados "expertos" (sentido común cotidiano), las racionalizaciones generadas por LLM pueden influir significativamente en las creencias humanas. Esto plantea preocupaciones sobre el potencial de manipulación persuasiva, ya que los usuarios pueden priorizar la plausibilidad de un argumento de un LLM sobre su propio conocimiento.
• Desafíos de alineación: El estudio subraya la dificultad de alinear los juicios generados por IA con la intuición humana, particularmente en tareas de razonamiento subjetivo donde los humanos y los LLM reaccionan de manera diferente ante los mismos estímulos (por ejemplo, el efecto bimodal en las etiquetas de oro).
• Seguridad y Colaboración: Los hallazgos sugieren que los LLM pueden dirigir eficazmente el juicio humano hacia inferencias más implausibles. Esto resalta una vulnerabilidad crítica en la colaboración humano-IA, que requiere salvaguardas como la transparencia y la mitigación de sesgos para prevenir usos manipulativos perjudiciales.
• Contribución Metodológica: El trabajo proporciona evidencia empírica de que las racionalizaciones de los LLM pueden alterar la plausibilidad percibida de los escenarios de sentido común, desafiando la suposición de que la intuición humana en estos dominios es inmune a la influencia algorítmica.

Los autores mantienen la modestia respecto al alcance, señalando que sus hallazgos son específicos para los conjuntos de datos de sentido común en inglés y que el poder persuasivo puede variar según los diferentes modelos, idiomas y dominios más restringidos (por ejemplo, razonamiento legal o científico).