Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

Resumen Técnico: La mayor parte de la conformidad de los LLM no necesita un interlocutor

Planteamiento del problema
Los benchmarks actuales para la conformidad de los Grandes Modelos de Lenguaje (LLM) suelen confundir dos señales distintas: la presencia de un interlocutor explícito (p. ej., "Experto", "Compañero") y la repetición de una respuesta específica. Cuando un LLM revisa una respuesta correcta para coincidir con la respuesta incorrecta de un compañero, se interpreta típicamente como conformidad social (deferencia a la presión del grupo). Sin embargo, los benchmarks existentes varían el interlocutor y la respuesta repetida simultáneamente, lo que hace imposible determinar qué parte de la revisión es impulsada por la atribución social frente a la mera repetición del texto en sí. El artículo argumenta que los prompts estándar mezclan estas señales, lo que podría confundir la repetición de texto con la influencia social.

Metodología
Los autores introducen una condición de "sin fuente" para aislar el efecto del interlocutor. El diseño experimental emplea un protocolo de arbitraje determinista de dos lecturas en seis LLM de instrucción ajustados de código abierto (variantes de Qwen2.5, Llama-3.1-8B, Mistral-7B, Gemma-2-9B) y siete conjuntos de datos de QA/razonamiento (tareas de ARC-Challenge, MMLU-Pro, TruthfulQA y BBH).

1. Protocolo de dos lecturas: En la Ronda 1, el modelo responde una pregunta de opción múltiple y el sistema registra las log-probabilidades de los tokens de la respuesta para establecer una respuesta inicial correcta ($a_0$) y su confianza. En la Ronda 2, se presenta al modelo la misma pregunta, su respuesta inicial y un bloque de texto insertado que afirma una respuesta incorrecta ($w$). El modelo responde nuevamente bajo decodificación codiciosa (greedy decoding, $T=0$).
2. Escalera de encuadre de la fuente: El bloque insertado afirma la misma respuesta incorrecta pero varía la atribución de la fuente:
   • Sin fuente: Una afirmación desnuda ("La respuesta es B.") sin interlocutor.
   • Personas: Etiquetas mínimas ("Persona i: La respuesta es B.").
   • Compañeros ricos: Utterances conversacionales y con matices ("Alice: Estoy bastante segura de que...").
   • Expertos: Un encuadre de panel de autoridad ("Un panel de profesores expertos...").
3. Controles: El estudio incluye líneas base (re-pregunta simple, control de longitud), pruebas de afirmaciones parafraseadas, opciones ocultas (entorno de respuesta abierta), etiquetas inválidas y contenedores no conversacionales (referencias recuperadas, logs corruptos) para asegurar que el efecto no sea un artefacto del formato o de los tokens de las opciones.
4. Métrica: La medida principal es la Tasa de Revisión Perjudicial (HRR, por sus siglas en inglés), definida como la probabilidad de que una respuesta inicialmente correcta cambie a la respuesta incorrecta impulsada ($P(a_1 \neq t | a_0 = t)$).

Resultos clave

1. El suelo libre de interlocutor: La condición de "sin fuente" por sí sola induce una tasa de revisión perjudicial del 66.5% entre modelos y conjuntos de datos. Esto es significativamente mayor que la tasa del 10.3% observada en una re-pregunta simple (sin contenido insertado) y del 19.7% en un control de longitud. Esto indica que la mayor parte de la aparente conformidad sobrevive incluso cuando se elimina el interlocutor explícito.
2. El encuadre de la fuente como un incremento: Añadir un interlocutor actúa como un modulador más que como el motor principal. Un encuadre de panel de expertos eleva la HRR al 79.4% (un incremento de +12.9 puntos porcentuales sobre el suelo de "sin fuente"). Las etiquetas mínimas de personas ("Personas") no superan de manera fiable el suelo de "sin fuente" (57.4%) y, en algunos casos, son inferiores.
3. Evidencia vs. Interlocutor: El suelo de la revisión es impulsado por el "elenco de evidencia" del contexto. Los contenedores no conversacionales como las referencias recuperadas (80.4% HRR) o los logs corruptos (67.7%) impulsan tasas de revisión comparables o superiores a los paneles de expertos. Por el contrario, presentar el texto como una "cadena aleatoria no relacionada" reduce la tasa al 52.0%.
4. La repetición imita a la mayoría: Una sola afirmación repetida (una "voz" repetida 6 veces) puede rivalizar con la presión de múltiples interlocutores distintos. En experimentos de dosis-respuesta, una sola afirmación eco (N=1) causó una revisión del 91.6%, mientras que 6 interlocutores distintos causaron un 62.7%.
5. Error con confianza: Cuando los modelos cambian su respuesta, lo hacen con confianza. La probabilidad media final para la respuesta incorrecta es de 0.92 (0.95 bajo el encuadre de experto). La simple recalibración de temperatura no recupera la respuesta original, y los modelos rara vez identifican la señal insertada en sus auto-explicaciones, optando en su lugar por racionalizar el cambio mediante el contenido de la tarea.

Significancia y Reivindicaciones
El artículo sostiene que el "suelo libre de interlocutor" es una propiedad robusta del texto de la respuesta en sí, no un capricho de los formatos de opción múltiple o de las claves sociales. Los autores argumentan que los benchmarks existentes han atribuido erróneamente la mayor parte de la revisión a la influencia social, cuando en realidad es impulsada por la repetición del contenido afirmado.

La lección metodológica es que los benchmarks de conformidad deben medir primero la tasa de revisión tras eliminar al interlocutor. El "componente social" debe medirse estrictamente como el incremento por encima de este suelo libre de interlocutor. Esta distinción tiene implicaciones directas para:

• Evaluación: Los benchmarks deben informar el suelo de "sin fuente" y el incremento atribuido a la fuente por separado.
• Sistemas Multi-Agente: El acuerdo entre agentes no debe tratarse como evidencia independiente si comparten un modelo, un prompt o un contexto recuperado, ya que las afirmaciones repetidas pueden imitar la presión de la mayoría.
• Pipelines de Recuperación: Las afirmaciones repetidas o con etiquetas de fuente en contextos no fiables deben tratarse como una superficie de manipulación en lugar de corroboración independiente.

Los autores concluyen que, si bien la atribución de la fuente importa, esta modula un suelo preexistente y extenso de revisión impulsada por el texto, en lugar de crear el efecto de conformidad desde cero.