Resumen Técnico: ¿Quién cambia de opinión? Los contraargumentos propios y entre modelos revelan la inestabilidad de las respuestas en los LLM

Planteamiento del Problema

Los benchmarks de precisión estándar para los Modelos de Lenguaje de Gran Escala (LLM) miden qué tan cerca están los modelos de las respuestas correctas, pero no logran evaluar la estabilidad de la respuesta: si un modelo mantiene una respuesta correcta cuando se le presenta un contraargumento plausible y coherente para una opción incorrecta. La investigación existente sobre la "sicofancia" suele confundir el contenido de un contraargumento con la presión social manifiesta (por ejemplo, prompts como "¿Estás seguro?" o "Creo que te equivocas"). Esto dificulta el aislamiento de si los cambios de respuesta son impulsados por la fuerza del argumento en sí o por la tendencia del modelo a ceder ante el desacuerdo percibido. Existe la necesidad de un protocolo controlado que aísle el contenido argumentativo de las señales sociales para medir la estabilidad de la respuesta como una dimensión distinta del rendimiento del modelo.

Metodología

Los autores introducen un protocolo controlado de dos etapas evaluado en el benchmark MMLU (Massive Multitask Language Understanding) a través de 57 materias y siete modelos de frontera (incluyendo variantes de GPT-5.1, Llama-3.1/3.3, Gemma-4 y Qwen3.5).

Etapas del Protocolo

1. Etapa I (Coerción): Se le instruye a un modelo para que genere un argumento de $k$ oraciones ($R$) que apoye una opción incorrecta específica ($x$) para una pregunta de opción múltiple ($q$). Si el modelo se niega, el ítem se excluye.
2. Etapa II (Desafío): En una sesión nueva, el modelo objetivo responde $q$ normalmente. Si la respuesta inicial es correcta, el modelo es desafiado con el argumento $R$ generado en la Etapa I. El modelo proporciona entonces una respuesta final.

Variables Experimentales

El protocolo varía tres factores para probar su impacto en la estabilidad:

• Longitud del argumento ($k$): Probada en longitudes de 1, 3, 5 y 10 oraciones.
• Atribución:
  • CIEGO (BLIND): El argumento se presenta de forma anónima.
  • PROPIO (SELF): Se le dice al modelo que el argumento fue generado por él mismo en una sesión anterior.
  • ENTRE MODELOS (CROSS): El argumento es generado por un modelo diferente (modelo fuente $\neq$ modelo objetivo).
• Fuente: Comparación de desafíos generados por el propio modelo frente a desafíos entre modelos.

Métricas

La métrica principal es la Tasa de Cambio de Respuesta (AFR), definida como la probabilidad de que un modelo abandone una respuesta inicialmente correcta tras ser presentado con un contraargumento. El estudio también introduce:

• Delta de Autoatribución (SAD): La diferencia en las tasas de cambio entre las condiciones SELF y BLIND.
• Porosidad Epistémica (EP): Qué tan fácil es que un modelo sea cambiado por otros.
• Autoridad Epistémica (EA): Qué tan persuasivos son los argumentos erróneos de un modelo cuando se usan para desafiar a otros.

Contribuciones Clave

1. Protocolo Controlado: Un método para evaluar la estabilidad de la respuesta bajo desafíos de solo argumento, separando el contenido argumentativo de la disensión social manifiesta.
2. Estudio Empírico Sistemático: Un análisis de cómo las tasas de cambio varían según la longitud del argumento, la atribución, la fuente del modelo y el dominio de la materia en siete modelos de frontera.
3. Dataset MAXFLIP: Un conjunto de desafíos curado, construido mediante la agrupación de los argumentos entre modelos más efectivos para cada pregunta, diseñado para amplificar la inestabilidad con fines de benchmarking.

Resultados

1. Inestabilidad a Nivel de Modelo

Las tasas de cambio varían drásticamente entre modelos, oscilando entre el 17.5% (Qwen3.5-35B) y el 97.3% (Llama-3.1-8B). Este diferencial de 80 puntos indica que la estabilidad es una propiedad a nivel de modelo que no es capturada únicamente por la precisión.

• Escala vs. Familia: Dentro de la familia Qwen, la estabilidad mejora de forma monótona con la escala. Sin embargo, esto no se cumple entre familias; Llama-3.1-8B (8B) es significativamente menos estable que Qwen3.5-9B (9B), y Llama-3.3-70B (70B) cambia de opinión casi el doble de veces que Qwen3.5-9B.
• Longitud del Argumento: El efecto de la longitud depende del modelo. Los modelos de rango medio (ej. Qwen3.5-4B/9B) cambian de opinión significativamente más con argumentos largos (+9.5 a +10.5 pp), mientras que los modelos más estables muestran tendencias descendentes no significativas.

2. Efecto de Autoatribución

Atribuir un contraargumento a la producción previa del modelo aumenta consistentemente las tasas de cambio en todos los modelos (media +7.1 pp). El efecto es más pronunciado en modelos de rango medio (ej. +18.7 pp para Qwen3.5-4B), lo que sugiere que los modelos tienden más a ceder ante su propio razonamiento previo que ante contenido anónimo.

3. Dinámicas Entre Modelos

• Objetivo vs. Fuente: La identidad del modelo desafiado explica el 76.7% de la varianza en las tasas de cambio, mientras que la identidad del modelo fuente explica solo el 12.0%.
• Asimetría: Algunos modelos son "importadores netos" (fáciles de cambiar, ej. Llama-3.1-8B), mientras que otros son "exportadores netos" (producen argumentos erróneos altamente persuasivos, ej. GPT-5.1). Curiosamente, los modelos más estables tienden a producir los argumentos erróneos más efectivos.
• MAXFLIP: Seleccionar el único argumento más efectivo por pregunta (MAXFLIP) aumenta las tasas de cambio para todos los modelos en comparación con los desafíos estándar generados por sí mismos, con ganancias de hasta +23.6 pp para modelos de rango medio.

4. Estratificación de Dominios

Las tasas de cambio varían significamente por dominio de materia. Los temas STEM (ej. matemáticas elementales, física) son los más robustos (tasas de cambio más bajas, ~20–35%), mientras que las Humanidades, Salud y Ciencias Sociales (ej. disputas morales, estudios de seguridad) son las más vulnerables (tasas de cambio más altas, hasta ~80%).

5. Negativa vs. Robustez

La tasa a la que un modelo se niega a generar un argumento erróneo en la Etapa I (Tasa de Negativa por Coerción) está solo débilmente relacionada con su robustez en la Etapa II. Una alta negativa no predice una alta estabilidad; por ejemplo, Llama-3.1-8B tiene la tasa de negativa más alta (41.3%) pero también la tasa de cambio más alta (97.3%).

Significado y Reivindicaciones

El artículo afirma que la estabilidad de la respuesta es una dimensión distinta y crítica de la evaluación de los LLM que las métricas de precisión estándar pasan por alto. Los autores argumentan que:

• Los modelos que logran una alta precisión pueden seguir siendo altamente inestables cuando se enfrentan a contraargumentos plausibles.
• La autoatribución actúa como una poderosa señal persuasiva, causando que los modelos abandonen respuestas correctas con mayor frecuencia cuando son desafiados por su propio razonamiento previo.
• Existe una dependencia de dominio, donde los modelos son significativamente más frágiles en dominios de ciencias sociales y humanidades en comparación con los dominios formales de STEM.
• MAXFLIP proporciona un recurso para poner a prueba la robustez de los modelos, revelando que la agrupación de argumentos entre modelos crea desafíos adversariales más fuertes que cualquier fuente individual.

Los autores enfatizan que su trabajo se centra en la medición y caracterización de este modo de fallo en un entorno controlado, más que en proponer mitigaciones específicas o afirmar que modelan todas las formas de persuasión en una interacción abierta. Liberan el protocolo, los registros de desafíos y MAXFLIP para apoyar la futura evaluación de la estabilidad junto con los benchmarks estándar.