Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

Resumen Técnico: Prompts to Proxies (P2P)

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLMs) se utilizan cada vez más como proxies de sujetos humanos en la investigación de las ciencias sociales para simular respuestas de encuestas y modelar la dinámica de las comunidades. Sin embargo, la validez externa de estos agentes sintéticos se ve comprometida por un desafío fundamental de alineación: asegurar que las preferencias agregadas de un conjunto sintético reflejen fielmente la heterogeneidad de una población humana objetivo. Los enfoques existentes enfrentan compromisos significativos. El Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) suelen colapsar hacia tendencias centrales, oscureciendo la diversidad de preferencias. Por el contrario, los métodos de condicionamiento demográfico requieren datos personales sensibles y una construcción de perfiles laboriosa, y aun así no garantizan la fidelidad de la distribución. Además, muchos investigadores carecen de los recursos computacionales o del acceso a datos necesarios para estos enfoques de gran peso.

Metodología: Teoría de la Reconstrucción de Preferencias
El artículo introduce la Teoría de la Reconstrucción de Preferencias, que formaliza la alineación de las preferencias de la población como un problema de aprendizaje de representaciones inspirado en la teoría de la preferencia revelada de la economía. La idea central es que las preferencias a nivel de población pueden reconstruirse no mediante la búsqueda de un único "agente representativo", sino mediante la construcción de una base funcional de agentes proxy diversos y la recuperación de las preferencias de la población a través de una agregación ponderada.

Los autores operacionalizan esta teoría mediante Prompts to Proxies (P2P), un sistema de inferencia modular de dos etapas que no requiere ajuste fino ni acceso a datos demográficos sensibles:

1. Etapa 1: Generación de Dotación Activa (Construcción de un Conjunto de Agentes Diversos)

   • Prompting Estructurado: El sistema utiliza un "banco de atributos" jerárquico que contiene factores interpretables (por ejemplo, ideología, rasgos de personalidad, disposiciones económicas) derivados de las disciplinas de las ciencias sociales.
   • Muestreo Adaptativo: En lugar de una enumeración exhaustiva, P2P emplea una estrategia de muestreo adaptativo basada en la entropía. Rastrea la "entropía de la pregunta" (variabilidad de la respuesta) a través de diferentes modos de atributos.
   • Parcheo de Preguntas (Question Patching): Para abordar las preguntas de baja diversidad, el sistema infiere dinámicamente nuevos atributos específicos para las preguntas de baja entropía y genera "modos mixtos" para inyectar diversidad.
   • Objetivo: Construir un conjunto diverso de agentes (dotaciones) que abarque el espacio latente de preferencias del dominio temático, maximizando la variabilidad de las respuestas.

2. Etapa 2: Agregación Basada en Regresión (Selección de un Conjunto Compacto)

   • Selección de Variables: Dado el conjunto diverso de agentes, el sistema emplea una regresión con regularización L1 (Lasso restringido) para seleccionar un subconjunto compacto de agentes.
   • Optimización: El algoritmo resuelve un problema de optimación restringida para encontrar los pesos de los agentes seleccionados de tal manera que sus distribuciones de respuesta agregadas minimicen la pérdida frente a los datos de encuesta observados (conjunto de entrenamiento).
   • Generalización: El conjunto seleccionado se valida en un conjunto de prueba excluido para asegurar que los pesos aprendidos generalicen a preguntas no vistas, evitando el sobreajuste.

Contribuciones Clave

• Formulación del Problema: El artículo formaliza la alineación de las preferencias de la población como un problema de aprendizaje de representaciones, introduciendo el concepto de que las preferencias de la población aprendibles pueden representarse mediante una base funcional de agentes proxy con los pesos de agregación apropiados.
• Sistema de Alineación Modular (P2P): Un sistema de dos etapas que combina el muestreo adaptativo guiado por la entropía para la generación de agentes y el Lasso restringido para la selección del conjunto. Opera sin ajuste fino, sin datos demográficos y sin recursos computacionales significativos.
• Validación Empírica: Los autores validan P2P a través de 14 oleadas del American Trends Panel (ATP) y el World Values Survey (WVS), demostrando un rendimiento robusto en diversos temas y localidades.

Resultados

• Rendimiento en ATP: A través de 14 oleadas de encuestas, P2P logró un Error Cuadrático Medio (MSE) de prueba promedio de 0.014, superando tanto al baseline de prompting "Vanilla" (0.026) como al baseline "PERSONA" condicionado demográficamente (0.029). Esto representa una mejora del 43% sobre el mejor baseline.
• Diversidad y Costo: El conjunto de agentes de P2P exhibió una entropía promedio más alta (0.53) en comparación con los baselines (0.43–0.45), confirmando que la diversidad de respuestas sustenta la reconstrucción de preferencias. El costo por encuesta fue de aproximadamente $0.80, comparable al baseline Vanilla y significativamente más barato que PERSONA ($1.30+).
• Generalización Trans-Local: Al probarse en el World Values Survey (EE. UU., Gran Bretaña, Hong Kong), P2P logró un rendimiento comparable a los resultados de EE. UU. en localidades occidentales (MSE ~0.014–0.015). El rendimiento en Hong Kong fue menor (MSE ~0.024), lo que los autores atribuyen al sesgo de los datos de entrenamiento de los LLMs hacia poblaciones occidentales. El análisis de error mostró que, si bien la transferencia trans-local aprovecha la diversidad, la generación específica de la localidad captura preferencias culturalmente distintas que una base extranjera no puede reconstruir completamente.
• Prueba de Estrés: En una prueba de estrés contra un modelo SFT calibrado por distribución entrenado con datos agrupados de 46 países, P2P logró una Divergencia de Jensen-Shannon (1-JSD) y una Precisión de Predicción de Clase Mayoritaria (MCPA) competitivas utilizando menos del 3% de los datos de entrenamiento y sin ajuste fino.

Significancia y Reivindicaciones
El artículo afirma ofrecer una plataforma práctica y eficiente en recursos para la investigación interdisciplinaria en simulación de ciencias sociales. Al tratar la alineación como un problema de reconstrucción en lugar de una tarea de optimización de un solo agente, P2P aborda la "barrera de recursos invisibles" que enfrentan las instituciones académicas y los investigadores independientes. Los autores posicionan el trabajo como un paso hacia la alineación pluralista, demostrando que los agentes sintéticos pueden reproducir fielmente la heterogeneidad de la población sin depender de datos individuales sensibles o de un reentrenamiento costoso del modelo. El estudio sugiere que, si bien los LLMs tienen sesgos inherentes, una base funcional adecuadamente construida puede mitigar estos problemas para emular eficazmente los patrones de elección humana. Los autores señalan modestamente que se necesita trabajo futuro para abordar las preferencias no estacionarias a lo largo del tiempo, extender el marco a salidas de texto libre y profundizar en la investigación de la generalización a través de diferentes diseños de encuestas para evitar el "aprendizaje de atajos" (shortcut learning).