Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations

Título del Trabajo:

Comprender el Efecto de Anclaje en Modelos de Lenguaje Grandes (LLM) con Datos Sintéticos: Existencia, Mecanismos y Potenciales Mitigaciones

1. Problema

El auge de los Modelos de Lenguaje Grandes (LLM) ha transformado la interacción humano-computadora, pero surgen preocupaciones sobre la transferencia de sesgos cognitivos humanos a estas máquinas. El efecto de anclaje es un sesgo cognitivo bien documentado en psicología (Tversky & Kahneman, 1974), donde los individuos dependen excesivamente de la primera información recibida (el "ancla") para tomar decisiones, lo que distorsiona sus juicios posteriores.

Aunque se sabe que los LLMs imitan rasgos humanos, la investigación sobre si sufren de este sesgo específico, cómo ocurre a nivel interno y cómo mitigarlo ha sido limitada. La mayoría de los estudios anteriores se centran en métricas de rendimiento optimizadas o en ataques adversarios superficiales, sin conectar con la cognición humana ni explorar los mecanismos internos del modelo. Este trabajo busca llenar ese vacío respondiendo a tres preguntas de investigación (RQ):

1. ¿Son los LLMs modernos susceptibles al efecto de anclaje?
2. ¿Cuál es el mecanismo subyacente de este efecto dentro de la arquitectura del modelo?
3. ¿Qué estrategias de mitigación son efectivas?

2. Metodología

A. Creación del Dataset: SynAnchors

Para estudiar el fenómeno a gran escala, los autores introducen SynAnchors, un nuevo dataset sintético construido mediante un ciclo humano-LLM (utilizando DeepSeek-R1 para la generación inicial y curación humana).

• Estructura: Contiene 100 preguntas en total (60 semánticas y 40 numéricas) sobre 10 temas diversos.
• Paradigmas:
  • Primado Semántico (Procedimiento de dos pasos): Primero se pide al modelo una estimación cualitativa ("¿Es más alto o más bajo que X?") introduciendo un ancla, y luego se le pide el valor numérico real.
  • Primado Numérico (Procedimiento de un paso): Se presenta una pregunta junto con un número irrelevante (ancla) y se compara la respuesta con y sin dicho ancla.
• Control de Calidad: Las preguntas se seleccionan para ser verificables pero poco familiares para los LLMs comunes, evitando que la respuesta se base en memorización y forzando la dependencia del ancla.

B. Evaluación del Efecto (RQ1)

Se evaluaron modelos de diferentes tamaños (desde 0.5B hasta modelos de razonamiento avanzados como GPT-4o y DeepSeek-R1).

• Métricas:
  • Presencia: Significancia estadística (t-test) comparando respuestas con anclas altas vs. bajas.
  • Intensidad:
    • Índice de Anclaje (A-Index): Para primado semántico.
    • Error Relativo (R-Error): Para primado numérico.
  • Se considera un efecto significativo si $p < 0.05$ y la intensidad supera umbrales definidos (A-Index > 0.4, R-Error > 0.2).

C. Análisis Mecanístico (RQ2)

Para entender el "cómo", se utilizó rastreo causal (Causal Tracing) mediante la técnica de activation patching en el modelo Llama-3.1-8B-Instruct.

• Procedimiento: Se ejecutaron tres tipos de corridas: limpia, corrupta (con ruido en los tokens del ancla) y restaurada (reinsertando activaciones limpias).
• Objetivo: Medir la influencia de los tokens relacionados con el ancla en las capas de atención y redes feed-forward (FFN) del modelo.
• Análisis de Razonamiento: Se analizó la proporción de menciones explícitas del ancla en las trazas de razonamiento de modelos como DeepSeek-R1.

D. Estrategias de Mitigación (RQ3)

Se probaron varias estrategias en Llama-3.1-8B y Qwen2.5-7B:

• Prompts conscientes de la pregunta.
• Mejora de conocimientos (contexto adicional sin revelar la respuesta).
• Auto-mejora (reflexión sobre la respuesta anterior).
• Fine-tuning adversario (LoRA).
• Decodificación DoLa (contraste de capas tempranas vs. finales).
• Anti-DP (Anti-Proceso Dual): Una intervención de razonamiento en dos fases que obliga al modelo a establecer criterios independientes antes de responder, simulando el "Sistema 2" cognitivo.

3. Resultados Clave

Existencia del Efecto (RQ1)

• Ubicuidad: El efecto de anclaje es prevalente en la mayoría de los LLMs modernos. Entre el 22% y el 61% de las preguntas mostraron un efecto de anclaje significativo.
• Tamaño del Modelo: Los modelos más grandes y avanzados muestran un sesgo menor que los modelos pequeños, pero aún es notable.
• Modelos de Razonamiento: Los modelos con capacidades de razonamiento (como DeepSeek-R1 y Qwen3 en modo pensamiento) exhiben el efecto más bajo (alrededor del 22-25%), pero no lo eliminan por completo.
• Tipo de Ancla: El primado semántico genera un sesgo más fuerte que el numérico.

Mecanismos Internos (RQ2)

• Superficialidad: El rastreo causal revela que el efecto de anclaje es superficial. Los tokens relacionados con el ancla tienen una significancia causal alta en las capas tempranas del modelo (especialmente en las primeras etapas de destokenización), pero su influencia decae drásticamente en las capas profundas.
• Razonamiento como Diluyente: En los modelos de razonamiento, las trazas muestran que la información del ancla se menciona menos explícitamente a medida que el modelo avanza en su proceso de pensamiento, lo que sugiere que el razonamiento ayuda a diluir la influencia inicial del ancla.

Mitigación (RQ3)

• Fracaso de Métodos Convencionales: Estrategias como prompts simples, mejora de conocimientos o fine-tuning adversario no lograron eliminar el sesgo en su raíz; en algunos casos, incluso lo empeoraron o tuvieron efectos inconsistentes.
• Éxito del Razonamiento: La estrategia Anti-DP (que fuerza un proceso de razonamiento estructurado) y el uso de modelos con capacidades de razonamiento intrínseco mostraron la mayor reducción del sesgo. Esto confirma que activar un proceso de "Sistema 2" (racional y deliberado) es la vía más prometedora para contrarrestar la heurística automática del "Sistema 1".

4. Contribuciones Principales

1. Dataset SynAnchors: La primera base de datos sintética diseñada específicamente para evaluar el efecto de anclaje en LLMs bajo paradigmas psicológicos estandarizados (primado semántico y numérico).
2. Evaluación Exhaustiva: Una medición cuantitativa rigurosa de la severidad del sesgo en una amplia gama de modelos, demostrando que es un problema generalizado que afecta la confiabilidad de los LLMs más allá de las pruebas de seguridad tradicionales.
3. Insight Mecanístico: La primera exploración interna que demuestra que el anclaje en LLMs es un fenómeno de capas superficiales, no una distorsión profunda en la representación semántica final.
4. Dirección de Mitigación: Identificación de que el razonamiento explícito (y estrategias como Anti-DP) es la única vía efectiva para mitigar este sesgo, sugiriendo que la arquitectura de los modelos debe priorizar la activación de procesos de razonamiento deliberado.

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de IA confiable y libre de sesgos. Demuestra que los LLMs no solo imitan el lenguaje humano, sino también sus vulnerabilidades cognitivas. Al identificar que el anclaje es un fenómeno superficial y mitigable mediante razonamiento, el estudio ofrece una hoja de ruta clara para:

• Diseñar mejores sistemas de inferencia que prioricen la verificación de hechos sobre la intuición inmediata.
• Desarrollar benchmarks más rigurosos para la evaluación de la "salud cognitiva" de los modelos.
• Avanzar hacia una IA que pueda superar sus propios sesgos heurísticos mediante la intervención en el proceso de generación (Sistema 2), mejorando así la fiabilidad en tareas de toma de decisiones críticas.