Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

Resumen Técnico: Calibración del Instrumento – Controlabilidad de una Población Sintética Impulsada por LLM

Planteamiento del Problema
Las Poblaciones Sintéticas Generativas (GSP, por sus siglas en inglés)—convergencias de síntesis de población estadística, modelado basado en agentes (ABM) y agentes de Modelos de Lenguaje de Gran Escala (LLM)—ofrecen una promesa para la simulación urbana y la investigación de comunicación institucional. Sin embargo, existe una brecha de validación fundamental: antes de que un instrumento GSP pueda ser confiable para modelar poblaciones del mundo real (validez externa), sus mecánicas internas deben ser verificadas. Específicamente, ¿responde el instrumento a estímulos de valencia conocida de una manera ordenada, replicable y estructurada en grupo? El artículo argumenta que, sin establecer esta propiedad, denominada controlabilidad, cualquier afirmación sobre la capacidad del instrumento para rastrear el comportamiento humano es lógicamente prematura. Los autores postulan que una población sintética debe primero demostrar que puede "rastrearse a sí misma"—recuperando la estructura latente impuesta sobre ella—antes de que pueda ser utilizada para rastrear a humanos reales.

Metodología: El Experimento SIVE
Para abordar esto, los autores introducen SIVE (Synthetic Instrument Validation Experiment), un banco de calibración de modelo mínimo diseñado para aislar la función de respuesta del instrumento del ruido de la complejidad del mundo real.

• Sistema Experimental (Montelago): Un municipio italiano ficticio sin referente en el mundo real, poblado por 120 personas sintéticas. Cada persona posee una estructura de actitud latente conocida y codificada (específicamente, niveles de confianza institucional: Baja, Media, Alta) y un perfil demográfico, pero las puntuaciones codificadas se mantienen ocultas al LLM durante la inferencia. El LLM recibe únicamente la historia de trasfondo y los datos demográficos de la persona.
• Estímulos: La población es expuesta a siete condiciones experimentales que involucran comunicaciones institucionales sobre una red de agua municipal. Estas abarcan un espectro de valencia:
  • POS/POS2: Fuertemente positivo (réplicas para la estimación del ruido).
  • NEG: Fuertemente negativo.
  • POSW/POSW2: Señales "débilmente positivas" (POSW fue un estímulo mal calibrado; POSW2 fue una versión recalibrada).
  • PLA: Un placebo temáticamente ortogonal (Festival del Vecindario).
  • CTRL: Sin mensaje.
• Procedimiento: Cada uno de los 120 agentes se somete a siete ejecuciones independientes (una por condición). En cada ejecución, los agentes proporcionan calificaciones previas al estímulo, reaccionan al estímulo mediante texto libre en tres intervalos temporales, y proporcionan calificaciones posteriores al estímulo.
• Parámetros: Los experimentos se realizaron a través de un barrido de temperatura ($t \in \{0.2, 0.5, 0.7\}$) utilizando el modelo deepseek-chat de DeepSeek.
• Criterios de Validación: Se definieron siete criterios pre-registrados (C1–C7) para evaluar:
  1. Fidelidad (C1): Correlación entre las actitudes latentes codificadas y las respuestas previas al estímulo.
  2. Estabilidad (C2): Consistencia de las líneas base pre-estímulo a través de diferentes condiciones.
  3. Piso de Ruido (C3): Variabilidad intrínseca medida mediante estímulos réplica (POS vs. POS2) y repetición de un solo perfil.
  4. Especificidad (C4): Efecto nulo del placebo (PLA) en comparación con el control (CTRL).
  5. Sensibilidad (C5): Respuesta ordenada a estímulos de valencia conocida.
  6. Ordenamiento (C6): Correlación de rango entre las clasificaciones observadas y esperadas.
  7. Verificación de Recepción (C7): Detección de cambios en la adecuación de la información independientemente de la valencia del mensaje.

Resultos Clave
Todos los siete criterios pre-registrados pasaron en las tres configuraciones de temperatura ($t=0.2, 0.5, 0.7$).

• Fidelidad y Estabilidad: El instrumento recuperó fielmente la estructura de confianza latente (C1: $r > 0.89$ para la variable de confianza primaria) y mantuvo líneas base estables a través de las condiciones (C2: $r_{min} > 0.85$).
• Caracterización del Ruido: Se encontró que el piso de ruido entre agentes ($\sigma_{cross} \approx 1.4$) era aproximadamente el doble del ruido intrínseco del instrumento ($\sigma_{instr} \approx 0.77$), este último aislado mediante la repetición de un solo perfil. Crucialmente, el ruido intrínseco fue invariante a la temperatura.
• Éxito de Calibración (POSW/POSW2): Un hallazgo central surgió de un fallo de calibración del estímulo. El estímulo "débilmente positivo" (POSW), diseñado para ser neutral-a-positivo, fue identificado por el instrumento como funcionalmente negativo, impulsando las puntuaciones de confianza por debajo de la línea base de control. El análisis post-hoc reveló un mensaje de "problema-más-incertidumbre-más-pasividad-institucional". Un estímulo recalibrado (POSW2) restauró el orden esperado, demostrando la capacidad del instrumento para diagnosticar fallos de diseño en los propios estímulos.
• Sensibilidad y Ordenamiento: El instrumento discriminó exitosamente entre estímulos, y el ranking observado de las condiciones coincidió con el ranking esperado (C6: $\tau \approx 1.0$) una vez que se incluyó el POSW2 recalibrado.
• Micro-dinámicas: Mientras que las métricas agregadas mostraron tendencias consistentes, las trayectorias individuales de los agentes revelaron mecanismos psicológicos cualitativamente distintos. Por ejemplo, bajo un estímulo negativo, los agentes de "Confianza Baja" exhibieron tanto resignación pasiva como movilización cívica activa, mientras que los agentes de "Confianza Alta" experimentaron un colapso en la credibilidad percibida de la fuente en lugar de solo una caída en la confianza.

Significancia y Afirmaciones
El artículo afirma que SIVE establece un antecedente lógico necesario para la investigación de GSP: la controlabilidad. Los autores argumentan que caracterizar la función de respuesta de un instrumento es distinto de, y un prerrequisito para, validar su fidelidad externa contra el comportamiento humano.

• Validez Interna Primero: El estudio demuestra que un instrumento GSP puede ser rigurosamente calibrado para responder a entradas conocidas de una manera estructurada, independientemente de cualquier comparación con datos humanos reales.
• Utilidad Diagnóstica: El experimento destaca la capacidad del instrumento para servir como una herramienta de diagnóstico para los propios estímulos, revelando que los mensajes "débilmente positivos" pueden ser interpretados como negativos por audiencias escépticas debido a la pasividad institucional.
• Precisión: El estudio cuantifica el piso de ruido del instrumento, mostrando que es más preciso de lo que sugieren los análisis ingenuos entre agentes, y que esta precisión es estable a través de las variaciones de temperatura.
• Alcance: Los autores declaran explícamente que SIVE no valida la capacidad del instrumento para modelar poblaciones reales (validez externa) ni las dinámicas específicas del caso de estudio de Caffaro/Brescia que motivó este trabajo. En su lugar, proporciona el "instrumento caracterizado" requerido para perseguir estas preguntas futuras de manera creíble.

El artículo concluye que el instrumento Montelago es controlable y que la lógica experimental de SIVE puede adaptarse a otros instrumentos, proporcionando un paso fundacional para la maduración de la simulación social impulsada por LLM.