💬 NLP

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

Este artículo presenta OmniBehavior, el primer benchmark de simulación de usuarios basado en datos reales que revela que los modelos de lenguaje actuales fallan al capturar la complejidad de las decisiones a largo plazo y tienden a generar comportamientos homogeneizados y utópicos en lugar de reflejar la diversidad humana auténtica.

Autores originales: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Publicado 2026-04-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que quieres construir un doble digital (un "gemelo") de una persona real para probar cómo funcionaría una nueva tienda en línea, un videojuego o una red social antes de lanzarla al público.

Hasta ahora, los científicos usaban "actores" creados por ordenadores (basados en datos falsos o situaciones muy simples) para hacer estas pruebas. Pero el problema es que estos actores digitales eran como títeres de cartón: solo sabían hacer una cosa a la vez y nunca tenían una vida real compleja.

Este paper presenta OmniBehavior, que es como un laboratorio de realidad para probar si la Inteligencia Artificial (IA) puede realmente entender y predecir cómo se comportan los humanos en la vida real.

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: Los Mapas de "Túnel" vs. El Mapa del Mundo

Imagina que intentas entender a un amigo solo viéndolo comprar pan en una panadería.

Lo que hacían antes: Los benchmarks (pruebas) anteriores solo miraban al amigo en la panadería. Pensaban: "¡Ah, le gusta el pan!". Pero no sabían que ese mismo amigo, dos días antes, vio un video de un viaje a la playa, luego buscó "maletas" en Google y finalmente compró un billete de avión.
La realidad: Las decisiones humanas son como una película larga y entrelazada. Lo que haces en la mañana (ver un video) afecta lo que haces en la tarde (comprar algo) y lo que haces en la noche (hablar con un amigo).
OmniBehavior: En lugar de mirar solo la panadería, este nuevo estudio observa a 200 personas reales durante 3 meses completos. Las sigue a través de 5 escenarios diferentes: ver videos, ver transmisiones en vivo, ver anuncios, comprar cosas y buscar información. Es como tener una cámara de seguridad que graba toda la vida digital de una persona, no solo un fragmento.

2. La Prueba: ¿Puede la IA actuar como un humano real?

Los investigadores tomaron a las mejores IAs actuales (como Claude, GPT-5, Gemini, etc.) y les dijeron: "Aquí tienes la historia de vida de esta persona. Ahora, predice qué hará ella en esta situación específica".

El resultado fue decepcionante:

La IA es un "Superfan" (Demasiado entusiasta): Los humanos reales a veces no hacen nada, a veces ignoran cosas o se aburren. Pero la IA siempre parece estar demasiado activa. Si le muestras un video, la IA dice: "¡Me encanta! ¡Lo compartiré! ¡Lo compraré!". En la vida real, la mayoría de la gente solo lo ve y sigue pasando.
La IA es un "Promedio Aburrido": Imagina que mezclas a todos tus amigos en una sola persona. Esa persona sería educada, nunca se enfada, siempre dice "por favor" y "gracias", y no tiene gustos extraños. Así es la IA. Tiende a convertirse en un "humano promedio" demasiado perfecto y educado. Pierde las personalidades raras, los gustos extraños y, sobre todo, no sabe simular la ira o la frustración real. Si un cliente está furioso porque su paquete no llega, la IA suele ser demasiado amable y educada, como si estuviera en un mundo utópico donde nadie se enoja.

3. El Hallazgo Sorprendente: Más memoria no ayuda

Pensarías que si le das a la IA una memoria gigante (que lea 100.000 páginas de historia de la persona), lo hará mejor.

La realidad: No. Aunque la IA pueda "leer" toda la historia, no sabe conectar los puntos. Es como tener una biblioteca gigante pero no saber leer el índice. La IA sigue fallando en entender que "ver un video de cocina hace 10 días" es la razón por la que "compró una sartén hoy".

4. ¿Por qué es importante esto?

Si usamos estas IAs para diseñar productos o políticas públicas, estamos creando un mundo basado en fantasías, no en la realidad.

Si una empresa cree que su IA es un buen simulador de clientes, podría pensar que "todo el mundo ama nuestros productos y nunca se queja".
Pero en la realidad, la gente se queja, se aburre, ignora anuncios y toma decisiones extrañas basadas en cosas que vieron hace semanas.

En resumen:

Este paper nos dice: "¡Ojo! Las IAs actuales son como actores que solo saben sonreír y decir 'sí' a todo. No son espejos de la realidad humana, que es caótica, a veces aburrida, a veces furiosa y siempre conectada por hilos invisibles de largo plazo."

OmniBehavior es la nueva regla de oro para decir: "Si quieres que tu IA sea útil en el mundo real, primero debe aprender a entender la vida compleja y desordenada de las personas, no solo sus momentos más felices".

1. El Problema

A pesar del avance de los Modelos de Lenguaje Grandes (LLMs) como simuladores de usuarios potenciales, los benchmarks existentes presentan limitaciones críticas que impiden una evaluación realista:

Escenarios Aislados: La mayoría de los conjuntos de datos se centran en un solo dominio (ej. solo compras o solo navegación de video), ignorando que el comportamiento humano es un continuo transversal.
Espacios de Acción Reducidos: Se limitan a acciones simples (clics, visualizaciones) en lugar de capturar la complejidad de interacciones heterogéneas.
Datos Sintéticos: Muchos benchmarks utilizan datos generados artificialmente que no reflejan la evolución natural de intereses, la causalidad a largo plazo ni la "ruido" inherente a los datos reales.
Falta de Perspectiva Holística: Los modelos actuales no logran capturar las cadenas causales que conectan eventos en diferentes escenarios y a lo largo de semanas o meses, lo que es esencial para predecir decisiones auténticas.

2. Metodología: OmniBehavior

Los autores introducen OmniBehavior, el primer benchmark de simulación de usuarios construido íntegramente a partir de datos reales del mundo (logs de la plataforma Kuaishou).

A. Construcción del Dataset

Fuente de Datos: Logs de interacción de usuarios activos de Kuaishou durante un periodo de 3 meses (septiembre a noviembre de 2025).
Escala: Se seleccionaron 200 usuarios representativos mediante un proceso de agrupamiento (clustering) basado en demografía, nivel de actividad, distribución de intereses y preferencias de escenario.
Cobertura: El dataset abarca 5 escenarios principales interconectados:
1. Navegación de Video.
2. Transmisión en Vivo (Live Streaming).
3. Publicidad.
4. E-commerce (comercio electrónico).
5. Comportamiento de Búsqueda.
Complejidad: Incluye 22 tipos de acciones distintas y secuencias de comportamiento de longitud ultra-larga (promedio de 8,143 acciones por usuario, con algunas superando las 100,000 acciones).
Procesamiento: Se aplicó un pipeline riguroso de limpieza (nivel de comportamiento y texto), anonimización (mediante LLMs locales) y muestreo para garantizar la privacidad y la calidad de los datos.

B. Tarea de Evaluación

Se formuló una tarea de predicción condicionada al usuario:

Entrada: Perfil del usuario ( $p_u$ ), secuencia histórica de comportamiento ( $H_u$ ) y contexto del escenario actual ( $c_t$ ).
Salida: Predicción de todas las acciones del usuario en ese escenario ( $y_t$ ), que pueden ser decisiones binarias (ej. "Me gusta"), continuas (ej. duración de visualización) o textuales (respuestas en chat de servicio al cliente).

C. Modelos Evaluados

Se probaron modelos de vanguardia (SOTA), tanto de código cerrado (Claude-4.5, GPT-5.2, Gemini-3) como de código abierto (GLM-4.7, DeepSeek-V3, Qwen3-235B), evaluando su rendimiento bajo diferentes tamaños de ventana de contexto (hasta 128k tokens) y estrategias de gestión de memoria.

3. Hallazgos Clave y Resultados

A. Análisis del Comportamiento Humano Real

Dependencia Transversal: Integrar múltiples escenarios aumenta la cobertura de intereses en un 20-30%. Los datos de un solo escenario sufren de "visión de túnel".
Causalidad a Largo Plazo: Más del 80% de las rutas de conversión (ej. una compra) abarcan múltiples escenarios y se extienden a lo largo de varios días, desafiando las suposiciones de sesiones cortas tradicionales.
Divergencia Sintética vs. Real: Los datos sintéticos muestran una evolución de intereses rígida y programática, mientras que los datos reales exhiben una deriva estocástica suave y multidimensional.

B. Rendimiento de los LLMs

Bajo Rendimiento General: Incluso el mejor modelo (Claude-4.5-Opus) obtuvo una puntuación global de solo 44.55. La mayoría de los modelos se situaron entre 32 y 41.
Fallo en la Predicción Binaria: La mayoría de los modelos no superó un 40% en puntuación F1 para tareas binarias (como "dar like"), indicando una incapacidad para predecir la falta de interés.
Límites del Contexto Largo: Aumentar la ventana de contexto (de 32k a 128k tokens) no mejoró significativamente el rendimiento. Los modelos actuales no logran utilizar eficazmente la información adicional a largo plazo.
Gestión de Memoria: Las estrategias actuales (truncamiento, RAG, resumen) son insuficientes. El RAG ignora dependencias causales y el resumen pierde detalles críticos.

C. Sesgo Estructural: "Positividad y Promedio"

El descubrimiento más crítico es un sesgo fundamental en los simuladores basados en LLMs:

Hiper-actividad: Los LLMs sobreestiman sistemáticamente la probabilidad de acciones positivas (40-60% más que los humanos reales), fallando en modelar el rechazo o la inacción.
Homogeneización de Personajes: Los usuarios simulados muestran una alta superposición en sus vectores de comportamiento, perdiendo las diferencias individuales y los comportamientos de "cola larga" (long-tail). Se convierten en un "promedio positivo" de la población.
Sesgo Utopiano: Debido a los mecanismos de alineación, los LLMs generan interacciones excesivamente educadas y positivas. En escenarios de servicio al cliente, fallan en simular la frustración, la ira o el lenguaje confrontacional real, creando un entorno artificialmente limpio.

4. Contribuciones Principales

OmniBehavior: Un benchmark abierto y riguroso basado en datos reales industriales, que integra comportamientos de largo alcance, multi-escenario y heterogéneos.
Análisis Empírico: Evidencia estadística de que la modelación de preferencias auténticas requiere datos transversales y de larga duración, y que los datos sintéticos actuales son insuficientes.
Evaluación Exhaustiva: Establecimiento de líneas base (baselines) que demuestran la brecha significativa entre los LLMs actuales y la simulación humana realista, incluso con contextos masivos.
Identificación de Sesgos: Revelación del sesgo estructural de "positividad y promedio", advirtiendo sobre los riesgos de usar LLMs para modelar dinámicas sociales adversas o de crisis sin correcciones específicas.

5. Significado e Impacto

Este trabajo actúa como una advertencia crítica para la investigación en ciencias sociales computacionales y sistemas de recomendación.

Para la Industria: Sugiere que los simuladores actuales no son fiables para tareas de predicción de abandono (churn), gestión de crisis o detección de comportamientos adversos debido a su sesgo de positividad.
Para la Investigación: Define una nueva dirección para el desarrollo de LLMs, enfatizando la necesidad de arquitecturas de memoria que preserven la estructura causal temporal y mecanismos de entrenamiento que respeten la diversidad humana (incluyendo el comportamiento negativo y de cola larga).
Conclusión: Sin abordar estas distorsiones intrínsecas, los LLMs seguirán siendo "espejos de nuestros ideales" en lugar de "mapas de nuestra realidad", limitando su utilidad en aplicaciones del mundo real.