Resumen Técnico: Sesgos Cognitivos Condicionales en LLMs

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) con ajuste de instrucciones se están desplegando cada vez más como herramientas de apoyo a la decisión en dominios de alto riesgo, tales como el razonamiento jurídico, el triaje médico y la asesoría financiera. Si bien investigaciones previas han caracterizado extensamente los sesgos cognitivos en los LLMs bajo evaluación zero-shot (por ejemplo, encuadre, anclaje, sesgo de confirmación), estos benchmarks tratan el sesgo como una propiedad independiente del contexto. En los despliegues del mundo real, las respuestas del modelo están condicionadas por los turnos conversacionales precedentes. Un turno de usuario sesgado introduce una vía causal de confusión: cambia el formato de entrada de zero-shot a diálogo (activando el condicionamiento del ajuste de instrucciones) y, simultáneamente, introduce un contenido semántico específico que interactúa con el entrenamiento de alineación del modelo. La literatura existente no logra desentrañar si los cambios en la expresión del sesgo de un LLM son impulsados por la mera presencia de un turno de usuario o por el contenido de sesgo específico dentro de dicho turno.

Metodología

Para aislar estas vías causales, los autores introducen un novedoso marco experimental de tres condiciones evaluado a través de ocho LLMs de frontera con ajuste de instrucciones (incluyendo GPT-4o, Claude-3.5-Haiku, variantes de Llama-3.1 y DeepSeek-V3).

Diseño Experimental

Para cada escenario y sesgo objetivo, el LLM es evaluado bajo tres condiciones distintas:

1. Zero-shot ($m_\emptyset$): El prompt de decisión se presenta sin ningún contexto previo.
2. Turno de Usuario Neutral ($m_n$): Un turno de usuario libre de sesgo precede al prompt de decisión, aislando el efecto del cambio de formato (diálogo vs. zero-shot) mientras se mantiene constante el contenido.
3. Turno de Usuario Sesgado ($m_b$): Un turno de usuario que expresa explícitamente un sesgo cognitivo específico precede al prompt de decisión.

Descomposición de Efectos

El estudio define tres estimandos para separar los mecanismos de modulación del sesgo:

• Efecto de Presencia ($\Delta_n = |m_n| - |m_\emptyset|$): Aísla el impacto de pasar de un formato zero-shot a un formato de diálogo de múltiples turnos con contenido neutral.
• Efecto de Contenido ($\delta = |m_b| - |m_n|$): Aísla el impacto del contenido de sesgo específico dentro del turno de usuario, manteniendo constante el formato de diálogo.
• Efecto Total ($\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$): El cambio neto en la expresión del sesgo en relación con la línea base zero-shot.

Conjunto de Datos y Validación

Los autores construyeron un banco de estímulos de 24,300 prompts de usuario validados por jurado que abarcan las 81 celdas de una matriz de $9 \times 9$ (9 sesgos de LLM objetivo $\times$ 9 sesgos de humanos).

• Selección de Sesgos: Se seleccionaron nueve sesgos basados en benchmarks establecidos (Malberg et al., 2025): Anclaje, Heurístico de Disponibilidad, Efecto Bandwagon, Sesgo de Confirmación, Efecto de Encuadre, Sesgo de Endogrupo, Aversión a la Pérdida, Falacia de la Planificación y Sesgo de Statu Quo.
• Control de Calidad: Un jurado de tres modelos (LLM-as-judge) compuesto por GPT-4o-Mini, Claude-3.5-Haiku y Gemini validó todos los turnos de usuario frente a cuatro criterios: calificación objetivo, pureza (distinción de otros sesgos), naturalidad y precisión de identificación ciega.
• Identificación Causal: El estudio emplea Diferencia en Diferencias (DiD), Propensity Score Matching (PSM) y Métodos de Control Sintético (SCM) para proporcionar evidencia causal más allá de las correlaciones agregadas.

Resultados Clave

1. Los Turnos Sesgados Incrementan Sistemáticamente el Sesgo (Efecto Total)

En 6 de 8 modelos, la introducción de un turno de usuario sesgado aumenta la magnitud de la expresión del sesgo del LLM en relación con las líneas base zero-shot ($\bar{\Delta}_b > 0$, rango de +0.022 a +0.051).

• GPT-4o es una excepción donde los dos mecanismos subyacentes se cancelan ($\bar{\Delta}_b \approx 0$).
• Claude-3.5-Haiku muestra un efecto total negativo ($\bar{\Delta}_b = -0.064$), impulsado por un fuerte efecto de presencia negativo.

2. El Efecto de Presencia Infla el Sesgo

La mera presencia de un turno de usuario (incluso uno neutral) aumenta significativamente el sesgo medido en 7 de 8 modelos ($\Delta_n$ oscila entre +0.019 y +0.086). Esto sugiere que los benchmarks zero-shot subestiman sistemáticamente el sesgo conversacional.

• Excepción: Claude-3.5-Haiki exhibe un efecto de presencia negativo ($\Delta_n = -0.101$), consistente con su alineación de IA Constitucional que suprime el sesgo en modo diálogo.
• Correlación: Los modelos con mayor capacidad (medida por MMLU) muestran una menor inflación de presencia.

3. El Efecto de Contenido A menudo Suprime el Sesgo

Contrario a la hipótesis de que el contexto sesgado aumentaría el sesgo, reemplazar un turno neutral con uno sesgado reduce la magnitud del sesgo en 6 de 8 modelos ($\delta < 0$).

• Esta "supresión por contraste" sugiere que las señales de sesgo explícitas activan una resistencia relacionada con la alineación, conduciendo a completaciones más normativas.
• Excepciones: DeepSeek-V3 y Claude-3.5-Haiku muestran efectos de contenido positivos. Los autores atribuyen esto a sus estrategias de alineación deliberativa (Chain-of-Thought RLFT y IA Constitucional), que parecen amplificar las señales en contexto en lugar de suprimirlas.

4. Acoplamiento de Estructura e Inducibilidad

El análisis de la matriz de acoplamiento de sesgos de $9 \times 9$ revela:

• Dominancia de la Estructura de Filas: La susceptibilidad de un sesgo objetivo a la modulación está gobernada por el sesgo objetivo mismo, no por el tipo de sesgo humano específico.
• Sin Ventaja Diagonal: No hay evidencia de "contagio del mismo sesgo" (es decir, un humano que expresa el Sesgo X no induce selectivamente el Sesgo X en el modelo más que otros sesgos).
• Falacia de la Planificación: Este es el único sesgo objetivo confirmado causalmente como universalmente inducible en los 8 modelos. Muestra consistentemente un efecto total positivo, probablemente porque su expresión (optimismo/subestimación) es implícita y tiene menos probabilidades de activar señales de supresión de alineación.
• Sesgos Suprimibles: El Efecto Bandwagon y el Heurístico de Disponibilidad son consistentemente suprimibles por turnos de contexto sesgados.

Significancia y Reivindicaciones

El artículo afirma que los benchmarks de sesgo zero-shot subestiman sistemáticamente el sesgo conversacional porque no tienen en cuenta el "efecto de presencia" del diálogo. El estudio demuestra que:

1. El Contexto Importa: El mero acto de participar en un diálogo de múltiples turnos altera el perfil de expresión de sesgo del modelo en comparación con los prompts aislados.
2. La Alineación Depende de la Receta: La dirección del efecto de contenido (supresión vs. amplificación) está determinada por la receta de alineación específica (por ejemplo, RLHF estándar vs. IA Constitucional vs. Chain-of-Thought RLFT).
3. Inducibilidad Universal: Mientras que la mayoría de los sesgos son suprimidos por señales explícitas, la Falacia de la Planificación permanece robustamente inducible a través de diversas arquitecturas de modelos y procesos de entrenamiento.

Los autores concluyen que las evaluaciones de seguridad y los protocolos de auditoría de sesgo deben estar estratificados por receta de alineación e incluir turnos conversacionales precedentes para reflejar con precisión las condiciones de despliegue. Liberan su marco, código base y el conjunto de datos de 24,300 elementos para apoyar la investigación futura sobre sesgos cognitivos condicionados por el contexto.