Resumen Técnico: CoBRA – Programación de Sesgos Cognitivos en Agentes Sociales mediante Experimentos Clásicos de Ciencias Sociales

1. Declaración del Problema

El artículo identifica una limitación crítica en las simulaciones sociales actuales basadas en Modelos de Lenguaje de Gran Escala (LLM): la dependencia de descripciones implícitas en lenguaje natural para especificar los comportamientos de los agentes. Mientras que los investigadores suelen definir a los agentes mediante descriptores demográficos, rasgos de personalidad o instrucciones de juego de rol (por ejemplo, "John es un economista"), estas especificaciones producen resultados inconsistentes e impredecibles.

Los autores demuestran, mediante un experimento piloto, que:

1. Inconsistencia entre Modelos: La misma especificación en lenguaje natural produce patrones de comportamiento significativamente diferentes entre distintos modelos fundacionales (por ejemplo, Mistral, Gemma, GPT-4o, DeepSeek).
2. Fallo en la Captura de Matices: Las especificaciones implícitas no logran producir de manera fiable los comportamientos teóricos esperados. Por ejemplo, la hipótesis de que los "economistas" son menos susceptibles a los efectos de encuadre (framing effects) que la población general no se observó consistentemente en todos los modelos; en algunos casos, el comportamiento fue contradictorio o indistinguible de los agentes base.

Esta falta de reproducibilidad y control cuantitativo obstaculiza la validez científica de las simulaciones sociales basadas en LLM, reduciéndolas a menudo a impresiones cualitativas generales en lugar de pruebas rigurosas de la teoría social.

2. Metodología: El Marco de Trabajo CoBRA

Para abordar estos problemas, los autores introducen CoBRA (Cognitive Bias Regulator for Social Agents), un conjunto de herramientas diseñado para controlar de manera explícita y cuantitativa la cantidad de sesgo cognitivo exhibido por los agentes sociales. CoBRA opera como un sistema de bucle cerrado que trata los sesgos cognitivos como la abstracción de control primaria, fundamentada en experimentos clásicos de ciencias sociales validados.

Componentes Principales

El sistema consta de dos componentes primarios que trabajan en un bucle de retroalimentación:

A. Índice de Sesgo Cognitivo (CBI)

El CBI sirve tanto como métrica de medición como de perilla de especificación. Cuantifica el sesgo demostrado de un agente probándolo contra un Banco de Pruebas de Experimentos Sociales Clásicos.

• Diseño del Banco de Pruebas: El sistema utiliza prompts estructurados basados en cuatro sesgos cognitivos representativos: Efecto de Autoridad, Efecto de Arrastre (Bandwagon Effect), Sesgo de Confirmación y Efecto de Encuadre (Framing Effect).
• Paradigmas: Cada sesgo se mapea a dos experimentos clásicos distintos y validados (por ejemplo, el Efecto de Encuadre se prueba mediante el Paradigma de la Enfermedad Asiática y el Paradigma de Inversión/Seguro).
• Cuantificación: Los agentes responden a los escenarios mediante una escala de tipo Likert de 5 puntos. El CBI se calcula como una suma ponderada de las probabilidades de elección (que van de 0 a 4), donde 0 representa el sesgo más débil y 4 el más fuerte. Esto permite una medida continua y cuantitativa de la fuerza del sesgo.

B. Motor de Regulación del Comportamiento

Una vez especificado un CBI objetivo (por ejemplo, "Efecto de Encuadre de magnitud 2.6"), el Motor de Regulación del Comportamiento alinea la conducta del agente para cumplir con dicho objetivo. Este interviene en tres espacios fundamentales del LLM:

1. Espacio de Entrada (Control Numérico de Prompts):

   • En lugar de instrucciones cualitativas vagas (por ejemplo, "sé sesgado"), el sistema utiliza sesgo cuantificado numéricamente (por ejemplo, "Pretende que tienes [Tipo de Sesgo] al nivel [L]% de 100%").
   • Este enfoque mitiga la ambigüedad de los adverbios del lenguaje natural y proporciona un control detallado con pasos definidos.

2. Espacio de Activación (Ingeniería de Representación):

   • Este método manipula los estados ocultos internos del modelo durante la inferencia.
   • Muestras Contrastivas de Par Dual: Para aislar la "señal de sesgo" de las negativas de seguridad o contextos no relacionados, el sistema genera pares contrastivos (Sesgo positivo vs. Sesgo negativo vs. Neutro).
   • Extracción de Vectores: Utilizando el Análisis de Componentes Principales (PCA) sobre los vectores de diferencia de los estados ocultos, el sistema extrae un vector de dirección de sesgo limpio ($v_{bias}$).
   • Control: Durante la inferencia, este vector se añade a los estados ocultos de capas específicas (seleccionadas mediante evaluación basada en datos) utilizando un Coeficiente de Control ($\lambda$). Se ofrecen dos modos: Control Lineal (inyección uniforme) y Control de Proyección (escalado sensible al contexto).

3. Espacio de Parámetros (Control de Ajuste Fino):

   • Este método edita permanentemente los pesos del modelo utilizando LoRA (Low-Rank Adaptation).
   • Vectores de Tarea: El sistema realiza el ajuste fino de un modelo "positivo" (que exhibe sesgo) y un modelo "negativo" (que resiste el sesgo) sobre conjuntos de datos curados. La diferencia entre sus parámetros crea un vector de tarea ($v_{task}$).
   • Aplicación: Los pesos originales del modelo se ajustan añadiendo $\lambda \cdot v_{task}$, lo que permite un control conductual ligero y persistente.

3. Resultados Clave

Los autores evaluaron CoBRA frente a líneas base (sin control y con control agresivo basado en prompts) a través de modelos de código abierto y de código cerrado.

Reproducibilidad

• Consistencia entre Modelos: CoBRA redujo significativamente la varianza en los comportamientos de los agentes a través de diferentes modelos fundacionales (Mistral, Llama, DeepSeek, Qwen). La reducción de la varianza fue estadísticamente significativa ($p < 0.001$) en comparación con las líneas base.
• Robustez de Muestreo: Los agentes regulados por CoBRA se mantuvieron estables ante variaciones en las temperaturas de muestreo ($T \in \{0.1, \dots, 1.0\}$). Las pruebas de equivalencia confirmaron que los cambios de temperatura contribuyeron con menos del 1.2% a la varianza total del comportamiento.
• Estabilidad del Modo de Razonamiento: Los coeficientes de control calibrados en el modo "Directo" (respuesta inmediata) se transfirieron sin problemas al modo "Razonamiento" (respuesta con justificación), siendo la Ingeniería de Representación capaz de mostrar un comportamiento casi idéntico en ambos modos.

Controlabilidad

El sistema fue evaluado en cuatro dimensiones:

1. Monotonicidad: El aumento del coeficiente de control impulsó consistentemente el comportamiento del agente en la dirección deseada. Los métodos de Ingeniería de Representación lograron una preservación de rango casi perfecta (Spearman's $\rho \approx 0.94$), superando significativamente a las líneas base de lenguaje natural implícito ($\rho < 0.7$).
2. Suavidad: Pequeños ajustes en el coeficiente de control resultaron en cambios pequeños y graduales en el comportamiento. La Ingeniería de Representación proporcionó el control más suave, evitando los "saltos" observados en los métodos basados en prompts.
3. Expresividad: El sistema pudo generar una amplia gama de comportamientos, desde fuertemente sesgados hasta fuertmente sesgados en sentido inverso. El control numérico de prompts ofreció el rango más amplio, mientras que la Ingeniería de Representación ofreció un fuerte equilibrio entre rango y suavidad.
4. Generalización: Los coeficientes de control calibrados en un paradigma (por ejemplo, Inversión/Seguro) se transfirieron con éxito a un paradigma diferente (por ejemplo, Enfermedad Asiática) y a través de diversos perfiles de agentes, preservando el orden relativo de la fuerza del sesgo (Spearman's $\rho > 0.96$).

4. Contribuciones

El artículo reclama dos contribuciones principales:

1. Kit de Herramientas CoBRA: Un novedoso kit de herramientas de HCI que permite a los investigadores controlar de manera explícita y cuantitativa los sesgos cognitivos en agentes sociales. Esto mejora la reproducibilidad de las simulaciones sociales basadas en LLM y permite un alineamiento explícito y cuantitativo que actualmente falta en el campo.
2. Primitiva de Sistema de Bucle Cerrado: Una contribución metodológica que fundamenta los comportamientos de los agentes en experimentos de ciencias sociales validados. Al utilizar estos experimentos como "primitivas" para medir y regular el sesgo, los autores proponen un marco que teóricamente puede extenderse a otros fenómenos sociales y afectivos más allá de solo el sesgo cognitivo.

5. Significado y Alcance

El artículo posiciona a CoBRA como una herramienta para transformar las simulaciones sociales de ejercicios cualitativos "plausibles" en instrumentos científicos rigurosos y reproducibles. Al operacionalizar el conocimiento validado de las ciencias sociales (experimentos clásicos) como entornos de "gimnasio" reutilizables para la IA, CoBRA permite a los investigadores probar teorías con un control preciso sobre las variables de los agentes.

Alcance y Limitaciones:
Los autores adoptan una definición funcional de sesgo cognitivo: un constructo operacionalizado en experimentos validados e identificado mediante patrones medibles en respuestas observables. Declaran explícitamente que alinear el comportamiento de un agente con estos patrones no implica que la representación interna del agente instancie el sesgo humano correspondiente o posea estados psicológicos genuinos. El sistema está diseñado para regular el comportamiento observable para que coincida con las expectativas científicas, no para simular los procesos cognitivos internos de los humanos.