Resumo Técnico: CoBRA – Programando Viés Cognitivo em Agentes Sociais Usando Experimentos Clássicos de Ciências Sociais

1. Declaração do Problema

O artigo identifica uma limitação crítica nas atuais simulações sociais baseadas em Grandes Modelos de Linguagem (LLMs): a dependência de descrições implícitas em linguagem natural para especificar comportamentos de agentes. Embora pesquisadores frequentemente definam agentes usando descritores demográficos, traços de personalidade ou instruções de interpretação de papéis (ex: "John é um economista"), essas especificações geram resultados inconsistentes e imprevisíveis.

Os autores demonstram, por meio de um experimento piloto, que:

1. Inconsistência entre Modelos: A mesma especificação em linguagem natural produz padrões comportamentais significativamente diferentes entre diferentes modelos de fundação (ex: Mistral, Gemma, GPT-4o, DeepSeek).
2. Falha em Capturar Nuances: Especificações implícitas falham em produzir de forma confiável os comportamentos teóricos esperados. Por exemplo, a hipótese de que "economistas" são menos suscetíveis a efeitos de enquadramento (framing effects) do que a população geral não foi consistentemente observada em todos os modelos; em alguns casos, o comportamento foi contraditório ou indistinguível de agentes de linha de base (baseline).

Essa falta de reprodutibilidade e controle quantitativo prejudica a validade científica das simulações sociais baseadas em LLMs, muitas vezes reduzindo-as a impressões qualitativas amplas em vez de testes rigorosos de teoria social.

2. Metodologia: O Framework CoBRA

Para abordar essas questões, os autores introduzem o CoBRA (Cognitive Bias Regulator for Social Agents), um kit de ferramentas projetado para controlar de forma explícita e quantitativa a quantidade de viés cognitivo exibido por agentes sociais. O CoBRA opera como um sistema de malha fechada (closed-loop) que trata os vieses cognitivos como a abstração primária de controle, fundamentada em experimentos clássicos validados das ciências sociais.

Componentes Principais

O sistema consiste em dois componentes primários trabalhando em um ciclo de feedback:

A. Índice de Viés Cognitivo (CBI - Cognitive Bias Index)

O CBI serve tanto como uma métrica de medição quanto como um controle de especificação. Ele quantifica o viés demonstrado por um agente testando-o contra um Ambiente de Teste de Experimentos Sociais Clássicos.

• Design do Ambiente de Teste: O sistema utiliza prompts estruturados baseados em quatro vieses cognitivos representativos: Efeito de Autoridade, Efeito de Manada (Bandwagon Effect), Viés de Confirmação e Efeito de Enquadramento (Framing Effect).
• Paradigmas: Cada viés é mapeado para dois experimentos clássicos distintos e validados (ex: o Efeito de Enquadramento é testado via o Paradigma da Doença Asiática e o Paradigma de Investimento/Seguro).
• Quantificação: Os agentes respondem a prompts baseados em cenários usando uma escala do tipo Likert de 5 pontos. O CBI é calculado como uma soma ponderada de probabilidades de escolha (variando de 0 a 4), onde 0 representa o viés mais fraco e 4 o mais forte. Isso permite uma medida contínua e quantitativa da força do viés.

B. Mecanismo de Regulação Comportamental

Uma vez que um CBI alvo é especificado (ex: "Efeito de Enquadramento de magnitude 2,6"), o Mecanismo de Regulação Comportamental alinha o comportamento do agente para atender a esse alvo. Ele intervém em três espaços fundamentais do LLM:

1. Espaço de Entrada (Controle Numérico de Prompt):

   • Em vez de instruções qualitativas vagas (ex: "seja enviesado"), o sistema utiliza viés numericamente quantificado (ex: "Finja que você tem [Tipo de Viés] no nível [L]% de 100%").
   • Esta abordagem mitiga a ambiguidade dos advérbios da linguagem natural e fornece controle refinado com passos definidos.

2. Espaço de Ativação (Engenharia de Representação):

   • Este método manipula os estados ocultos internos do modelo durante a inferência.
   • Amostras Contrastivas de Par Duplo: Para isolar o "sinal de viés" de recusas de segurança ou contextos não relacionados, o sistema gera pares contrastivos (Viés positivo vs. Viés negativo vs. Neutro).
   • Extração de Vetor: Usando Análise de Componentes Principais (PCA) nos vetores de diferença dos estados ocultos, o sistema extrai um vetor de direção de viés limpo ($v_{bias}$).
   • Controle: Durante a inferência, este vetor é adicionado aos estados ocultos de camadas específicas (selecionadas via avaliação orientada a dados) usando um Coeficiente de Controle ($\lambda$). Dois modos são oferecidos: Controle Linear (injeção uniforme) e Controle de Projeção (escalonamento consciente do contexto).

3. Espaço de Parâmetros (Controle de Fine-tuning):

   • Este método edita permanentemente os pesos do modelo usando LoRA (Low-Rank Adaptation).
   • Vetores de Tarefa: O sistema realiza o ajuste fino de um modelo "positivo" (que exibe viés) e de um modelo "negativo" (que resiste ao viés) em conjuntos de dados curados. A diferença entre seus parâmetros cria um vetor de tarefa ($v_{task}$).
   • Aplicação: Os pesos originais do modelo são ajustados pela adição de $\lambda \cdot v_{task}$, permitindo um controle comportamental leve e persistente.

3. Resultados Principais

Os autores avaliaram o CoBRA contra baselines (sem controle e controle agressivo baseado em prompt) através de modelos de código aberto e código fechado.

Reprodutibilidade

• Consistência entre Modelos: O CoBRA reduziu significativamente a variância nos comportamentos dos agentes entre diferentes modelos de fundação (Mistral, Llama, DeepSeek, Qwen). A redução da variância foi estatisticamente significativa ($p < 0,001$) em comparação com os baselines.
• Robustez de Amostragem: Agentes regulados pelo CoBRA permaneceram estáveis em variações de temperatura de amostragem ($T \in \{0,1, \dots, 1,0\}$). Testes de equivalência confirmaram que as mudanças de temperatura contribuíram com menos de 1,2% para a variância comportamental total.
• Estabilidade do Modo de Raciocínio: Os coeficientes de controle calibrados no modo "Direto" (resposta imediata) transferiram-se perfeitamente para o modo "Raciocínio" (resposta com justificativa), com os métodos de Engenharia de Representação mostrando comportamento quase idêntico entre os modos.

Controlabilidade

O sistema foi avaliado em quatro dimensões:

1. Monotonicidade: O aumento do coeficiente de controle empurrou consistentemente o comportamento do agente na direção pretendida. Os métodos de Engenharia de Representação alcançaram uma preservação de ranking quase perfeita (Spearman's $\rho \approx 0,94$), superando significativamente os baselines implícitos de linguagem natural ($\rho < 0,7$).
2. Suavidade (Smoothness): Pequenos ajustes no coeficiente de controle resultaram em mudanças pequenas e graduais no comportamento. A Engenharia de Representação proporcionou o controle mais suave, evitando os "saltos" observados nos métodos baseados em prompt.
3. Expressividade: O sistema pôde gerar uma ampla gama de comportamentos, desde fortemente enviesados até fortemente reversos ao viés. O controle numérico de prompt ofereceu a maior gama, enquanto a Engenharia de Representação ofereceu um forte equilíbrio entre alcance e suavidade.
4. Generalização: Coeficientes de controle calibrados em um paradigma (ex: Investimento/Seguro) transferiram-se com sucesso para um paradigma diferente (ex: Doença Asiática) e através de diversos perfis de agentes, preservando a ordenação relativa da força do viés (Spearman's $\rho > 0,96$).

4. Contribuições

O artigo reivindica duas contribuições primárias:

1. Toolkit CoBRA: Um novo kit de ferramentas de IHC (Interação Humano-Computador) que permite aos pesquisadores controlar explicitamente e quantitativamente os vieses cognitivos em agentes sociais. Isso melhora a reprodutibilidade das simulações sociais baseadas em LLM e permite um alinhamento explícito e quantitativo que atualmente falta na área.
2. Primitiva de Sistema de Malha Fechada: Uma contribuição metodológica que fundamenta os comportamentos dos agentes em experimentos validados de ciências sociais. Ao usar esses experimentos como "primitivas" para medir e regular o viés, os autores propõem um framework que pode, teoricamente, estender-se a outros fenômenos sociais e afetivos além do apenas o viés cognitivo.

5. Significância e Escopo

O artigo posiciona o CoBRA como uma ferramenta para transformar as simulações sociais de exercícios qualitativos "plausíveis" em instrumentos científicos rigorosos e reprodutíveis. Ao operacionalizar o conhecimento validado das ciências sociais (experimentos clássicos) como ambientes de "academia" (gym) reutilizáveis para a IA, o CoBRA permite que pesquisadores testem teorias com controle preciso sobre as variáveis dos agentes.

Escopo e Limitações:
Os autores adotam uma definição funcional de viés cognitivo: um construto operacionalizado em experimentos validados e identificado através de padrões mensuráveis em respostas observáveis. Eles declaram explicitamente que alinhar o comportamento de um agente com esses padrões não implica que a representação interna do agente instancie o correspondente viés humano ou possua estados psicológicos genuínos. O sistema é projetado para regular o comportamento observável para corresponder às expectativas científicas, não para simular os processos cognitivos internos dos humanos.