Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs?

Resumen Técnico: Encuestas de IA Basadas en Personas Guiadas

Planteamiento del Problema

Los métodos tradicionales de encuestas para sistemas de transporte e investigación en ciencias sociales enfrentan obstáculos significativos, incluyendo altos costos operativos, ineficiencias en la recolección de datos y una escalabilidad limitada. Si bien las técnicas existentes de generación de datos sintéticos se han centrado en la simulación demográfica o la imputación, a menudo no logran capturar las intrincadas dependencias entre los atributos sociodemográficos (por ejemplo, edad, educación, estatus económico) y las preferencias conductuales específicas (por ejemplo, elecciones de movilidad). En consecuencia, estos métodos tienen dificultades para replicar correlaciones complejas del mundo real sin una predefinición explícita, lo que limita su utilidad para la planificación de escenarios de alta fidelidad.

Metodología

Este estudio propone una novedosa metodología de Encuesta de IA Basada en Personas Guiadas para generar datos sintéticos de movilidad. El enfoque aprovecha los Modelos de Lenguaje Extensos (LLM), específicamente la API de GPT-4o, para crear respuestas de encuestas artificiales que se alineen con parámetros de referencia del mundo real.

1. Conjunto de Datos y Referencia (Benchmarking)
El estudio utiliza el conjunto de datos MiD 2017 (Movilidad en Alemania 2017) como verdad de terreno (ground truth). Esta encuesta nacional integral incluye distribuciones demográficas detalladas, modos de transporte y frecuencias de viajes. El conjunto de datos fue normalizado, fusionando las respuestas "no especificadas" en las categorías más populares para asegurar la consistencia.

2. Definición de Persona
Una "Persona" se define formalmente como una tupla $P(A, E, M, S, H)$ que representa una combinación única de cinco atributos:

• Grupo de Edad ($A$)
• Nivel de Educación ($E$)
• Actividad Principal ($M$)
• Estatus Económico ($S$)
• Tipo de Hogar ($H$)

El porcentaje de población de una Persona específica ($\pi_P$) se calcula utilizando probabilidades condicionales para respetar las interdependencias entre atributos (por ejemplo, la probabilidad de un estatus económico específico dada la edad, la educación y la actividad).

3. Marco Comparativo
El estudio evalúa seis métodos distintos de generación de encuestas frente al referente MiD 2017:

• Encuesta de IA Naive: Genera una población basada en conocimiento general sin alineación con parámetros de referencia del mundo real.
• Encuesta de IA Estructurada: Alinea la estructura de la población sintética con la demografía de MiD 2017, pero no alinea explícitamente las distribuciones de respuesta.
• Encuesta de IA Guiada: Añade restricciones tanto a la estructura de la población como a los promedios de respuesta basados en las estadísticas de MiD 2017.
• Encuesta de IA Basada en Personas Naive: Define todas las combinaciones posibles de atributos (Personas) y simula respuestas utilizando conocimiento general.
• Encuesta de IA Basada en Personas Estructurada: Alinea las densidades de las Personas con los datos demográficos de MiD 2017.
• Encuesta de IA Basada en Personas Guiada: Se basa en el método de Persona Estructurada incorporando las estadísticas de respuesta esperadas de MiD 2017 en los prompts del LLM.

Los prompts fueron adaptados para cada método, variando desde instrucciones generales hasta directivas avanzadas que instruyen explícitamente al LLM para mantener correlaciones realistas entre atributos basadas en los datos de referencia.

Contribuciones Clave

• Metodología Novedosa: Introducción del enfoque de "Persona Guiada", que integra sistemáticamente atributos sociodemográficos y conductuales para generar respuestas sintéticas, una técnica que no se había aplicado previamente a encuestas de viajes.
• Datos Sintéticos Escalables: Demostración de una alternativa rentable y que preserva la privacidad a las encuestas tradicionales, capaz de generar conjuntos de datos a gran escala (por ejemplo, 15,840 Personas únicas) que abarcan diversos escenarios.
• Captura de Dependencias Complejas: El estudio demuestra que los LLM, cuando son guiados por personas específicas y restricciones del mundo real, pueden modelar eficazmente las dependencias no lineales entre factores demográficos y preferencias de movilidad, superando las limitaciones de las técnicas de imputación tradicionales.

Resultados

El desempeño de los métodos fue evaluado utilizando métricas de alineación estadística, incluyendo el Error Absoluto Medio (MAE), la Raíz del Error Cuadrático Medio (RMSE), la Distancia de Jensen-Shannon (JS), la Entropía, la Entropía Condicional y la V de Cramér.

• Desempeño Superior de la IA Basada en Personas Guiada: Este método logró una alineación casi perfecta con los datos de la encuesta real, registrando un MAE excepcionalmente bajo de 0.03, un RMSE de 0.17 y una Distancia JS de 0.0016. Alcanzó una V de Cramér de 1.00, indicando una fuerza de asociación perfecta entre variables en comparación con los datos reales.
• Desempeño de la Encuesta de IA Guiada: Este método también funcionó de manera robusta (MAE: 3.37, RMSE: 4.65) pero fue menos preciso que la variante basada en Personas, lo que sugiere que la estructuración explícita de la Persona mejora la exactitud.
• Limitaciones de Otros Métodos: Las encuestas de IA Naive y Estructuradas (tanto no basadas en Personas como basadas en Personas sin guía) exhibieron métricas de error significativamente más altas (por ejemplo, MAE de la Encuesta de IA Naive: 10.53) y tuvieron dificultades para capturar las relaciones complejas entre demografía y respuesta. El método de Persona Estructurada mostró un desempeño moderado pero careció de la precisión del enfoque guiado.

Significado y Reivindicaciones

El artículo afirma que la Encuesta de IA Basada en Personas Guiada representa un avance transformador en la metodología de encuestas. Al combinar la alineación demográfica con las restricciones de respuesta, permite la creación de conjuntos de datos sintéticos de alta fidelidad que son escalables, rentables y preservan la privacidad.

Los autores sostienen que este enfoque ofrece oportunidades valiosas para la planificación del transporte y la investigación en ciencias sociales, permitiendo a los investigadores:

1. Analizar tendencias a nivel poblacional sin acceder a datos individuales sensibles.
2. Simular escenarios de "qué pasaría si" y explorar preguntas hipotéticas no presentes en las encuestas originales.
3. Generar datos que reflejen con precisión las interdependencias complejas entre los atributos demográficos y los comportamientos de viaje.

El estudio concluye que, si bien los LLM ofrecen capacidades poderosas para la generación de datos sintéticos, la integración específica de "Personas" con restricciones "Guiadas" es crítica para lograr resultados de alta fidelidad que coincidan con los patrones observados en el mundo real. Se sugiere como trabajo futuro explorar modelos híbridos para la eficiencia computacional y expandir las aplicaciones a otros modos de transporte y conjuntos de datos.