Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

Resumo Técnico: Calibrando o Instrumento – Controlabilidade de uma População Sintética Impulsionada por LLM

Declaração do Problema
As Populações Sintéticas Generativas (GSP — convergências de síntese populacional estatística, modelagem baseada em agentes [ABM] e agentes de Grandes Modelos de Linguagem [LLM]) oferecem promessas para a simulação urbana e pesquisa de comunicação institucional. No entanto, existe uma lacuna fundamental de validação: antes que um instrumento GSP possa ser confiado para modelar populações do mundo real (validade externa), sua mecânica interna deve ser verificada. Especificamente, o instrumento responde a estímulos de valência conhecida de uma maneira ordenada, replicável e estruturada em grupo? O artigo argumenta que, sem estabelecer essa propriedade, denominada controlabilidade, qualquer afirmação sobre a capacidade do instrumento de rastrear o comportamento humano é logicamente prematura. Os autores postulam que uma população sintética deve primeiro ser capaz de "rastrear a si mesma" — recuperando a estrutura latente imposta sobre ela — antes de poder ser usada para rastrear humanos reais.

Metodologia: O Experimento SIVE
Para abordar isso, os autores introduzem o SIVE (Synthetic Instrument Validation Experiment), um banco de calibração de modelo mínimo projetado para isolar a função de resposta do instrumento do ruído da complexidade do mundo real.

• Sistema Experimental (Montelago): Um município italiano fictício sem referente no mundo real, povoado por 120 personas sintéticas. Cada persona possui uma estrutura de atitude latente conhecida e codificada (especificamente, níveis de confiança institucional: Baixa, Média, Alta) e um perfil demográfico, mas as pontuações codificadas são ocultadas do LLM durante a inferência. O LLM recebe apenas a história de fundo e os dados demográficos da persona.
• Estímulos: A população é exposta a sete condições experimentais envolvendo comunicações institucionais sobre uma rede de água municipal. Estas abrangem um espectro de valência:
  • POS/POS2: Fortemente positivo (réplicas para estimativa de ruído).
  • NEG: Fortemente negativo.
  • POSW/POSW2: Sinais "fracamente positivos" (POSW foi um estímulo mal calibrado; POSW2 foi uma versão recalibrada).
  • PLA: Um placebo tematicamente ortogonal (Festival de Bairro).
  • CTRL: Sem mensagem.
• Procedimento: Cada um dos 120 agentes passa por sete execuções independentes (uma por condição). Em cada execução, os agentes fornecem avaliações pré-estímulo, reagem ao estímulo via texto livre em três intervalos temporais e fornecem avaliações pós-estímulo.
• Parâmetros: Os experimentos foram conduzidos através de uma varredura de temperatura ($t \in \{0.2, 0.5, 0.7\}$) utilizando o modelo deepseek-chat da DeepSeek.
• Critérios de Validação: Sete critérios pré-registrados (C1–C7) foram definidos para avaliar:
  1. Fidelidade (C1): Correlação entre atitudes latentes codificadas e respostas pré-estímulo.
  2. Estabilidade (C2): Consistência das linhas de base pré-estímulo entre diferentes condições.
  3. Piso de Ruído (C3): Variabilidade intrínseca medida via estímulos réplica (POS vs. POS2) e repetição de perfil único.
  4. Especificidade (C4): Efeito nulo do placebo (PLA) em comparação ao controle (CTRL).
  5. Sensibilidade (C5): Resposta ordenada a estímulos de valência conhecida.
  6. Ordenação (C6): Correlação de postos entre classificações observadas e esperadas.
  7. Verificação de Recebimento (C7): Detecção de mudanças na adequação da informação, independentemente da valência da mensagem.

Principais Resultados
Todos os sete critérios pré-registrados passaram em todas as três configurações de temperatura ($t=0.2, 0.5, 0.7$).

• Fidelidade e Estabilidade: O instrumento recuperou fielmente a estrutura de confiança latente (C1: $r > 0.89$ para a variável primária de confiança) e manteve linhas de base estáveis entre as condições (C2: $r_{min} > 0.85$).
• Caracterização de Ruído: O piso de ruído entre agentes ($\sigma_{cross} \approx 1.4$) foi encontrado para ser aproximadamente o dobro do ruído intrínseco do instrumento ($\sigma_{instr} \approx 0.77$), este último isolado via repetição de perfil único. Crucialmente, o ruído intrínseco foi invariante à temperatura.
• Sucesso de Calibração (POSW/POSW2): Um achado central emergiu de uma falha de calibração de estímulo. O estímulo "fracamente positivo" (POSW), projetado para ser neutro-a-positivo, foi identificado pelo instrumento como funcionalmente negativo, levando as pontuações de confiança abaixo da linha de base de controle. Uma análise pós-hoc revelou "problema + incerteza + passividade institucional" codificados no texto. Um estímulo recalibrado (POSW2) restaurou a ordenação esperada, demonstrando a capacidade do instrumento de diagnosticar falhas de design nos próprios estímulos.
• Sensibilidade e Ordenação: O instrumento discriminou com sucesso os estímulos, com a classificação observada das condições correspondendo à classificação esperada (C6: $\tau \approx 1.0$) uma vez que o POSW2 recalibrado foi incluído.
• Microdinâmicas: Enquanto as métricas agregadas mostraram tendências consistentes, as trajetórias individuais dos agentes revelaram mecanismos psicológicos qualitativamente distintos. Por exemplo, sob um estímulo negativo, agentes de "Baixa Confiança" exibiram ou resignação passiva ou mobilização cívica ativa, enquanto agentes de "Alta Confiança" experimentaram um colapso na credibilidade da fonte percebida, em vez de apenas uma queda na confiança.

Significância e Alegações
O artigo alega que o SIVE estabelece um antecedente lógico necessário para a pesquisa em GSP: controlabilidade. Os autores argumentam que caracterizar a função de resposta de um instrumento é distinto de, e um pré-requisito para, validar sua fidelidade externa contra o comportamento humano.

• Validade Interna Primeiro: O estudo demonstra que um instrumento GSP pode ser rigorosamente calibrado para responder a entradas conhecidas de forma estruturada, independentemente de qualquer comparação com dados humanos reais.
• Utilidade Diagnóstica: O experimento destaca a capacidade do instrumento de servir como uma ferramenta de diagnóstico para os próprios estímulos, revelando que mensagens "fracamente positivas" podem ser interpretadas como negativas por audiências céticas devido à passividade institucional.
• Precisão: O estudo quantifica o piso de ruído do instrumento, mostrando que ele é mais preciso do que as análises de agentes cruzados puramente ingênuas sugerem, e que essa precisão é estável através das variações de temperatura.
• Escopo: Os autores declaram explicitamente que o SIVE não valida a capacidade do instrumento de modelar populações reais (validade externa) ou a dinâmica específica do estudo de caso de Caffaro/Brescia que motivou o trabalho. Em vez disso, fornece o "instrumento caracterizado" necessário para perseguir credivelmente essas questões futuras.

O artigo conclui que o instrumento Montelago é controlável e que a lógica experimental do SIVE pode ser adaptada para outros instrumentos, fornecendo um passo fundamental para a maturação da simulação social impulsionada por LLM.