The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

Resumen Técnico: El sesgo Sí–No de los Grandes Modelos de Lenguaje

Planteamiento del Problema
Los grandes modelos de lenguaje (LLM) se están desplegando cada vez más para emitir juicios morales binarios (por ejemplo, puertas de seguridad, elecciones forzadas en encuestas). Un creciente cuerpo de literatura reporta que estos juicios cambian significativamente bajo cambios lógicamente irrelevantes en la redacción, el orden de las opciones y el formato de respuesta. Específicamente, los modelos exhiben un "sesgo sí–no" amplificado en dilemas morales —una tendencia a desplazar los veredictos hacia el "no" que está ausente en las comparaciones humanas. Sin embargo, los métodos de evaluación estándar no logran diagnosticar la fuente de este cambio. En una pregunta binaria de "sí/no", la palabra "no", el veredicto lógico de la negación y la última opción impresa coinciden en un solo token. En consecuencia, la repetición de un único encuadre impide desentrañar si el modelo tiene un sesgo hacia el veredicto lógico negativo, hacia el token léxico "no", o hacia la recencia de la opción impresa. Esta confluencia hace que las evaluaciones de encuadre único sean ambiguas: un veredicto desplazado puede reflejar un cambio en el juicio moral, una preferencia por una palabra específica o un sesgo posicional de superficie.

Metodología
Para resolver estos factores de confusión, los autores introducen una batería psicométrica basada en la simetrización cruzada. Este instrumento aplica cada perturbación lógicamente irrelevante en pares de inversión equilibrados y los cruza para separar sus contribuciones. La batería plantea 20 dilemas morales (19 de Cheung et al., 1 adaptado) a través de tres instrumentos distintos:

1. Calificación Graduada (I-1): Elicita la aceptabilidad moral en escalas continuas (0–10 y 0–100) bajo 48 condiciones cruzadas, variando el tipo de escala, la dirección de la ancla, la redacción y el polo de la acción calificada.
2. Elección Libre de Dos Alternativas (I-2): Elicita una decisión comprometida sin ninguna escala de calificación o etiquetas binarias.
3. Binario Forzado (I-3): Elicita un veredicto de estilo sí/no cruzando el verbo de la pregunta (aprobar/oponerse) con el orden impreso de las opciones y las etiquetas de respuesta (el "sí/no" estándar, etiquetas arbitrarias como "A/B", símbolos y palabras en otros idiomas).
   La estrategia analítica central trata la parte simétrica de un par de inversión como la estimación de la postura interna ($\theta$) del modelo y la parte antisimétrica como el artefacto. Al cruzar los factores, los autores atribuyen los artefactos a fuentes específicas (orden, léxica, lógica). El estudio evalúa siete configuraciones de frontera (Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus) y dos modelos pequeños de pesos abiertos (Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B).

Contribuciones Clave

1. Existencia de una Escala Moral Interna Coherente: El estudio demuestra que los modelos de frontera poseen una postura moral latente e invariante al formato. Bajo reencuadres lógicamente equivalentes, las calificaciones graduadas convergen con una baja incoherencia de forma cruzada ($\sigma_{repro} = 0.12–0.21$ en un eje de $\pm1$). Esto valida la consistencia interna de los modelos, una propiedad que los diseños de encuadre único no pueden certificar.
2. Descomposición del Sesgo Sí–No: Se demuestra que el aparente "sesgo sí–no" es un artefacto descomponible, no un sesgo lógico. Se divide exactamente en:
   • Sesgo de Orden: Un tirón hacia la última opción impresa (recencia), opuesto al efecto de primacía observado frecuentemente en encuestas humanas.
   • Sesgo Léxico: Un tirón hacia la palabra específica "no".
   • Sesgo Lógico: Se encuentra que el sesgo adjunto al veredicto es $\approx 0$ para los modelos de frontera cuando la palabra "no" se reemplaza por etiquetas arbitrarias.
3. Modelo Paramétrico de Artefactos: Los autores proponen un modelo mínimo, $P = \sigma((\theta \pm m)/s)$, para resumir el artefacto.
   • $m$ (Susceptibilidad al Encuadre): Mide la magnitud del sesgo.
   • $s$ (Decisión Moral): Mide qué tan agudamente el veredicto binario sigue la postura graduada subyacente (distinto de la temperatura de muestreo).
4. Distinción entre Léxico y Lógico: Al intercambiar "sí/no" por etiquetas arbitrarias (p. ej., "A/B"), el estudio prueba que el sesgo sigue a la superficie impresa (la palabra o etiqueta) y no al veredicto lógico. Los modelos de frontera muestran un sesgo de veredicto insignificante con etiquetas arbitrarias, mientras que los modelos pequeños de pesos abiertos retienen un sesgo adjunto al veredicto.

Resultos

• Varianza de los Modelos: Los modelos de frontera (Claude, GPT, Gemini) exhiben una escala interna coherente con baja incoherencia. En contraste, los modelos pequeños de pesos abiertos fallan de maneras distintas: Qwen muestra alta incoherencia en modo directo (resuelta por la deliberación), mientras que Nemotron exhibe una escala degenerada (indiferencia) que apenas diferencia los ítems.
• Magnitud del Sesgo: El "sesgo sí–no" es sustancial solo en los modelos Claude (Sonnet: $-0.32$; Haiku: $-0.86$), descomponiéndose en componentes de orden y léxicos. Los modelos GPT-5.5 y Gemini muestran un sesgo negligible ($\approx 0$).
• Efecto de la Deliberación: La extensión del razonamiento ("modo think") reduce tanto la incoherencia de forma cruzada ($\sigma_{repro}$) como la susceptibilidad al encuadre ($|m|$) para los modelos con escalas funcionales. Para Claude Haiku, la deliberación reduce el sesgo total de $-0.86$a$-0.27$.
• Dependencia de la Etiqueta: El tirón léxico es graduado; aumenta a medida que las etiquetas adquieren el significado semántico de "sí/no" a través de los idiomas. Sin embargo, el sesgo adjunto al veredicto desaparece cuando se eliminan las palabras "sí/no", confirmando que el sesgo es léxico, no lógico.
• Comparación Humana: Los humanos muestran una sensibilidad al encuadre leve, pero carecen del sesgo específico de "no" y de la extrema sensibilidad de superficie observada en los LLM.

Significancia
El artículo argumenta que medir lo que una IA valora requiere cruzar los encuadres de la pregunta, no preguntar una sola vez. La lectura estándar de "sí/no" superpone un gran artefacto de formato que puede eclipsar la señal moral subyacente. El estudio establece que:

1. Los LLM de frontera poseen una escala moral interna estable y coherente que es robusta a las reescrituras lógicamente equivalentes.
2. El "sesgo sí–no" observado es un artefacto del formato de lectura binaria (específicamente la interacción del orden impreso y la palabra "no"), no una disposición a rechazar proposiciones morales.
3. Los protocolos de evaluación deben separar los valores del modelo de los artefactos de cómo se plantea la pregunta. La batería propuesta proporciona un método para medir la susceptibilidad al encuadre ($m$) y la decisión moral ($s$) como parámetros distintos e interpretables, ofreciendo una base más rigurosa para las evaluaciones de seguridad y alineación de la IA.