💬 NLP

Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

Este artículo resuelve los hallazgos contradictorios sobre el uso de modelos de lenguaje de gran tamaño para la simulación de opiniones al distinguir entre "emulación" (generar respuestas individuales) y "estimación" (predecir distribuciones), demostrando que los modelos base sobresalen en la primera mientras que los modelos con entrenamiento posterior son superiores en la segunda.

Autores originales: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender el estado de ánimo de una multitud masiva sin preguntarle a cada persona individualmente. Podrías preguntar a unas pocas personas lo que piensan, o podrías pedirle a un experto que adivine la vibra general. Este es el tipo de rompecabezas que enfrentan los científicos cuando intentan usar la Inteligencia Artificial (IA) para simular las opiniones humanas. En el mundo de la informática, específicamente en un campo llamado "Procesamiento de Lenguaje Natural", los investigadores están construyendo modelos gigantes de IA que han leído casi todo lo escrito en internet. Estos modelos son increíblemente buenos prediciendo qué palabras siguen, lo que los hace parecer capaces de actuar como sustitutos perfectos de personas reales. Pero aquí está la parte complicada: el hecho de que una IA pueda escribir una historia convincente no significa que pueda predecir con precisión cómo votará un grupo entero de personas, cómo se sentirán respecto a la economía o cómo responderán a una encuesta. Los científicos están discutiendo actualmente sobre si estas "personas" de IA son realmente buenas imitando la diversidad humana o si solo están fingiendo ser algo que no son.

Este artículo se adentra en esa discusión para resolver un misterio: ¿por qué algunos estudios dicen que la IA es excelente para simular opiniones humanas, mientras que otros dicen que fracasa estrepitosamente? Los autores, investigadores de la Universidad de Queen's y de la Universidad de Toronto, sugieren que la confusión proviene de confundir dos trabajos muy diferentes. Ellos llaman al primer trabajo Emulación. Esto es como contratar a un actor para que interprete a un personaje específico. La IA genera una única respuesta como si fuera una persona real, y si le pides suficientes "actores", sus respuestas naturalmente se suman para mostrar la forma de la opinión de la multitud. El segundo trabajo es Estimación. Esto es como pedirle a un estadístico que observe a una multitud y simplemente diga: "Creo que el 60% de ellos elegirá la opción A". Los investigadores probaron esta idea enfrentando a dos tipos de IA: modelos "Base" (las versiones puras y sin pulir) y modelos "Post-entrenados" (las versiones que han sido ajustadas para ser asistentes útiles).

Los resultados de sus experimentos, realizados con datos de encuestas reales del Pew Research Center, revelan una clara división de talentos. Cuando la tarea era la Emulación —generar respuestas de texto individuales para ver cómo es la multitud cuando se suman todas ellas—, los modelos Base fueron los ganadores. Produjeron respuestas que se parecían mucho más a los datos humanos reales y hicieron un mejor trabajo manteniendo distintas las diferencias entre grupos (como demócratas frente a republicanos o ricos frente a pobres). De hecho, los modelos "Post-entrenados" a menudo sufrieron de lo que los autores llaman "colapso de la persona", donde todos empezaron a sonar igual, como un coro de clones, perdiendo la desordenada diversidad de las personas reales.

Sin embargo, la historia cambia cuando la tarea es la Estimación. Cuando los investigadores simplemente preguntaron a la IA: "predice el porcentaje de personas que elegirán esta respuesta", los modelos Post-entrenados destacaron. Fueron mucho mejores dando los números correctos directamente. Los modelos Base originales eran aceptables en esto, pero los asistentes pulidos y útiles eran significativamente más precisos al adivinar la distribución sin tener que generar una sola frase de texto falso.

Los autores sugieren que esto sucede porque el proceso de "Post-entrenamiento" enseña a la IA a ser un asistente útil. Cuando le pides a un asistente que adivine la opinión de una multitud, este utiliza su conocimiento para dar una respuesta inteligente y directa. Pero cuando le pides a ese mismo asistente que actúe como una persona específica, se queda atrapado en su rol de "asistente útil", lo que hace que suene demasiado uniforme y pierda los rasgos únicos de diferentes grupos demográficos. Los modelos Base, por otro lado, no han sido forzados a esa caja única de "asistente", por lo que pueden recurrir a un conjunto de voces humanas más amplio y caótico cuando se les pide generar texto.

Por lo tanto, el artículo concluye que no existe un único "mejor" IA para simular humanos. Si necesitas generar texto que se sienta como un grupo diverso de personas (como para un videojuego o una simulación de ciencias sociales), debes usar los modelos Base puros. Pero si solo necesitas una predicción rápida y precisa de lo que pensará un grupo, debes pedir a los modelos Post-entrenados que lo estimen. La confusión en el campo no fue porque un tipo de IA estuviera roto; fue porque los investigadores estaban usando la herramienta equivocada para el trabajo específico que intentaban realizar.

Resumen Técnico: ¿Emulación o Estimación? Las capacidades divergentes de los modelos de lenguaje base y post-entrenados para la simulación de opiniones

Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se utilizan cada vez más para simular opiniones humanas en aplicaciones de pruebas de políticas, investigación de mercados y ciencias sociales. Sin embargo, la literatura previa presenta hallazgos contradictorios sobre su eficacia. Algunos estudios reportan una alineación prometedora entre los modelos base y los datos de encuestas humanas, mientras que otros documentan el "colapso de la persona" (persona collapse), una débil sensibilidad demográfica y una alta sensibilidad a las elecciones metodológicas (por ejemplo, el orden de las opiniones), particularmente al evaluar modelos post-entrenados. Los autores proponen que este desacuerdo surge de la confusión de dos tareas de simulación distintas: emulación y estimación.

Emulación: El modelo genera respuestas individuales como un participante específico; la distribución de la población emerge de la agregación de estas salidas individuales.
Estimación: El modelo predice explícitamente la distribución de respuesta de la población de forma directa.

El artículo argumenta que la confusión de estas tareas oscurece las fortalezas y debilidades específicas de diferentes arquitecturas de modelos (base frente a post-entrenados).

Metodología

El estudio evalúa seis pares emparejados de modelos base y post-entrenados (incluyendo variantes de Qwen3-14B, Olmo-3-7B y Olmo-3.1-32B) utilizando el Pew American Trends Panel (Wave 54) como un referente de verdad fundamental (ground-truth). El conjunto de datos comprende 59 ítems de cuatro opciones que elicitan opiniones económicas a través de siete condiciones demográficas (no condicionadas, políticas, ideológicas, económicas y religiosas).

Los autores implementan dos paradigmas de evaluación distintos:

Paradigma de Emulación (Respuesta Abierta):
- Los modelos generan respuestas de entrevista en texto libre sin acceso a las opciones de selección múltiple.
- Un juez basado en LLM mapea estas respuestas de texto libre a categorías de respuesta (validadas con anotadores expertos, $\kappa = 0.66$ ).
- Modelos Base: Estructurados como un diálogo entre entrevistador y participante con condicionamiento demográfico en un turno precedente.
- Modelos Post-entrenados: Reciben una instrucción de sistema para simular a un participante de una demografía específica.
- Racional: Este método evita el "sesgo posicional" inherente a la extracción de la probabilidad del primer token y produce texto interpretable.
Paradigma de Estimación (Distribución Verbalizada):
- Se solicita a los modelos que predigan directamente la distribución de probabilidad sobre las opciones de respuesta para un grupo demográfico dado, devolviendo un objeto JSON.
- Modelos Base: Se muestrean múltiples completaciones y se promedian para dar cuenta de la variabilidad.
- Modelos Post-entrenados: Se toma una única muestra bajo decodificación codiciosa (greedy decoding) debido a la estabilidad de la salida.

Métricas:

Distancia de Variación Total (TVD): Mide la divergencia distributiva sin supuestos.
Distancia de Wasserstein: Respeta la estructura ordinal de las opciones de respuesta, penalizando los errores basándose en su distancia respecto a la respuesta correcta.

Resultados Clave

1. Los modelos base son mejores emuladores

A través de los seis modelos y las siete condiciones de evaluación, los modelos base produjeron distribuciones emuladas significativamente más cercanas a la verdad fundamental humana que sus contrapartes post-entrenadas.

Fidelidad Distributiva: Los modelos base superaron a los modelos post-entrenados tanto en TVD como en la distancia de Wasserstein. En la distancia de Wasserstein, los modelos base vencieron a la referencia uniforme en 20 de 21 comparaciones, lo que indica que, incluso cuando se falló en las probabilidades exactas, la masa se colocó cerca de las respuestas ordenadas correctas.
Estructura Demográfica: Los modelos base se alinearon consistentemente con la estructura demográfica humana (Spearman's $\rho = 0.61\text{--}0.75$ ), comprimiendo las diferencias inter-grupos a aproximadamente el 70% de su magnitud humana. En contraste, los modelos post-entrenados mostraron una alineación estructural más débil ( $\rho = 0.35\text{--}0.59$ ) y exageraron las diferencias inter-grupos en aproximadamente 2 $\times$ , lo cual es consistente con la simulación de personas estereotipadas.
Colapso de Modo: Las salidas de los modelos post-entrenados exhibieron un colapso de modo significativo, siendo 8.0–14.0 $\times$ más similares a nivel de bigramas que las salidas de los modelos base. El muestreo con temperatura elevada no resolvió este colapso.

2. Los modelos post-entrenados son mejores estimadores

Bajo el paradigma de estimación, los modelos post-entrenados produjeron distribuciones sustancialmente más cercanas a la verdad fundamental humana que la línea de base uniforme y significativamente mejores que sus contrapartes base.

Predicción Explícita: El error de estimación disminuyó con la escala del modelo y fue menor en los modelos post-entrenados (por ejemplo, Claude Opus 4.6 logró el rendimiento más fuerte).
Accesibilidad del Conocimiento: Los modelos base también produjeron resultados de estimación que igualan o superan la línea de base uniforme, lo que sugiere que el conocimiento distributivo existe antes del post-entrenamiento, pero es menos accesible mediante la verbalización directa en los modelos base.

Contribuciones Clave

Distinción de Tareas: El artículo distingue formalmente entre emulación (generar texto individual que se agrega a una distribución) y estimación (predecir directamente una distribución), argumentando que los resultados contradictorios previos surgen de evaluar estas capacidades de forma intercambiable.
Compromiso Arquitectónico (Trade-off): El estudio demuestra un claro compromiso: los modelos base son más adecuados para tareas que requieren texto generado que preserve la diversidad y estructura demográfica, mientras que los modelos post-entrenados sobresalen en tareas que requieren la predicción directa de distribuciones.
Metodología de Evaluación: Los autores proponen la emulación de respuesta abierta como un paradigma de evaluación robusto que elimina el sesgo posicional que confunde los métodos de extracción de probabilidad del primer token utilizados en trabajos previos.

Significancia y Reivindicaciones

El artículo sostiene que la selección de modelos para la simulación humana debe guiarse por los requisitos específicos de la tarea de destino:

Si el objetivo es generar texto que se alinee con la diversidad de una población (por ejemplo, para encuestados sintéticos o agentes interactivos), los modelos base son el sustrato apropiado porque la distribución deseada debe emerger de las salidas muestreadas.
Si el objetivo es estimar distribuciones de opinión agregadas, los modelos post-entrenados son más apropiados, ya que producen predicciones bien calibradas cuando se les solicita explícitamente.

Los autores sugieren que el post-entrenamiento dirige la amplia y quimérica distribución del modelo base hacia una personalidad única de "Asistente" optimizada para la utilidad. Cuando se le pide emular una demografía, el modelo post-entrenado realiza una "simulación de segundo orden" (un Asistente simulando una persona), lo que comprime la diversidad de la salida a través de un cuello de botella de un solo personaje. Por el contrario, los modelos base extraen directamente de la distribución de personalidades pre-entrenada, preservando la diversidad representativa necesaria para una emulación fiel, a costa de una más débil estimación metacognitiva.

Limitaciones

Los autores reconocen varias limitaciones:

Escala: Se desconoce si el compromiso entre emulación y estimación persiste en las escalas de frontera, ya que las variantes de modelos base de frontera no se publican abiertamente.
Alineación Temporal: Los datos de la encuesta (2019) preceden a los corpus de entrenamiento de los modelos (que se extienden hasta 2024–2025), lo que crea un posible factor de confusión sobre si los modelos simulan opiniones de una era específica o una representación temporalmente mezclada.
Alcance: La evaluación se limita a opiniones de encuestas; extender estos hallazgos a entornos conductuales más ricos (diálogo de múltiples turnos, simulación basada en agentes) sigue siendo una pregunta abierta.