Resumen Técnico: SocialPersona

Planteamiento del Problema

Los benchmarks actuales para asistentes de lenguaje personalizados evalúan predominantemente la capacidad de un modelo para recordar preferencias declaradas explícitamente dentro de los historiales de diálogo. Esta "lente de memoria" no logra capturar la capacidad más compleja y del mundo real requerida de los asistentes personalizados: inferir intereses implícitos de los usuarios a partir de los rastros multimodales y longitudinales que los usuarios dejan naturalmente en las redes sociales. En la práctica, las preferencias se revelan indirectamente a través de lo que los usuarios crean, comparten, fotografían y con lo que interactúan repetidamente. Recuperar estas "preferencias reveladas" presenta un desafío significativo para los Modelos de Lenguaje de Gran Escala Multimodales (MLLM), ya que requiere agregar evidencia dispersa, ruidosa y no estructurada a través de texto, imágenes y marcas de tiempo durante horizontes de tiempo prolongados, además de distinguir entre intereses estables y recurrentes y las fijaciones recientes y emergentes.

Metodología: El Benchmark SOCIALPERSONA

Para abordar esta brecha, los autores introducen SOCIALPERSONA, un benchmark diseñado para evaluar a los MLLM en la inferencia de perfiles de usuario a partir de líneas de tiempo multimodales de redes sociales y el uso de dichos perfiles en el diálogo.

Construcción de Datos

• Fuente: El benchmark se construye a partir de las líneas de tiempo reales y longitudinales de 171 usuarios de redes sociales cotidianos y no promocionales. Excluye celebridades, cuentas de marcas y perfiles altamente curados para asegurar rastros de preferencias naturales y de autoexpresión.
• Escala: El conjunto de datos comprende un promedio de 176.81 publicaciones y 130.38 imágenes por usuario, abarcando hasta dos años.
• Contenido: Cada publicación incluye texto, contenido visual (imágenes/fotogramas de video) y marcas de tiempo. Todo el texto se estandariza al inglés.
• Perfiles de Referencia (Gold Profiles): Un proceso semiautomático seguido de una rigurosa verificación humana (350 horas de anotación) generó 2,597 etiquetas de preferencia. Estas etiquetas están fundamentadas en evidencia textual, visual y temporal a través de siete dominios de interés:
  1. Deportes y actividades al aire libre
  2. Entretenimiento
  3. Videojuegos
  4. Comida y bebida
  5. Viajes y exploración de ciudades
  6. Fotografía y creación
  7. Mascotas
• Granularidad Temporal: Los perfiles separan explícitamente los intereses estables (patrones recurrentes a lo largo de la línea de tiempo) de los intereses recientes (señales concentradas en los últimos 90 días).

Tareas de Evaluación

SOCIALPERSONA evalúa a los MLLM en dos tareas primarias:

1. Construcción de Perfil: Los modelos deben inferir dominios de interés activos y etiquetas de interés de grano fino (distinguiendo entre estable y reciente) directamente de las líneas de tiempo multimodales brutas.
2. Generación de Diálogo Personalizado: Los modelos reciben el contexto de redes sociales de un usuario (ya sea la línea de tiempo bruta o un perfil construido) y una solicitud natural del usuario. Se evalúa si sus respuestas se alinean con los intereses estables o recientes del usuario.

La evaluación emplea tanto MLLMs propietarios (ej. GPT-4o-mini, GPT-5.4, Gemini-2.5-Flash) como de pesos abiertos (ej. serie Qwen). La calidad del diálogo se juzga según la cobertura de intereses, la concreción y la fluidez.

Contribuciones Clave

1. Formulación de la Tarea: Una nueva formulación que desafía a los MLLM a inferir preferencias a partir del comportamiento multimodal longitudinal y aplicarlas en el diálogo posterior, yendo más allá de la simple recuperación de memoria.
2. Lanzamiento del Benchmark: La construcción y el lanzamiento público de SOCIALPERSONA, que cuenta con datos de usuarios reales, líneas de tiempo de largo alcance, evidencia multimodal y perfiles validados por humanos a través de siete dominios.
3. Análisis Empírico: Una evaluación exhaustiva que revela brechas de capacidad específicas en los MLLM actuales con respecto a la agregación de evidencia transmodal y el razonamiento temporal.

Resultados Clave y Hallazgos

Los experimentos a través de varios modelos y configuraciones (Directa, Jerárquica y Extractiva-Abstractiva) revelan tres limitaciones centrales en los MLLM actuales:

1. Sobre-generalización Sistemática: El modo de fallo dominante es el colapso de intereses específicos y de grano fino en categorías amplias y genéricas. Por ejemplo, los modelos a menudo reducen 4–7 etiquetas de referencia específicas (ej. "cenar fuera", "pastel de cumpleaños", "confitería") a solo 1–2 etiquetas amplias (ej. "restaurantes", "dulces"). Esta brecha persiste incluso cuando los prompts de evaluación se ajustan para ser menos conservadores, lo que indica una limitación real del modelo en la elicitación de preferencias de grano fino.
2. Asimetría de Modalidad: Los modelos exhiben un fuerte sesgo hacia la evidencia visual. Los dominios con señales concentradas visualmente (ej. mascotas, capturas de pantalla de videojuegos) se detectan con alta precisión. Por el contrario, los dominios que dependen de evidencia textual dispersa (ej. hábitos de viajes, comida/bebida) son frecuentemente omitidos o marcados incorrectamente como inactivos. Este sesgo se propaga al diálogo, donde los modelos priorizan los intereses visualmente dominantes sobre los apoyados por texto.
3. Déficits de Razonamiento Temporal: Los modelos tienen dificultades para distinguir entre intereses estables y recientes. Tienden a asignar casi todas las etiquetas predichas al grupo de "estables", independientemente de la distribución temporal de la evidencia. Incluso los modelos con alto rendimiento general fallan al computar patrones de dispersión temporal, tratando las líneas de tiempo como secuencias aplanadas en lugar de evidencia ordenada cronológicamente.

Correlación Perfil-Diálogo: El estudio confirma una correlación positiva entre la calidad del perfil (F1 de Interés) y la calidad del diálogo. Sin embargo, debido a que los modelos actuales generan perfiles dispersos o sobre-generalizados, estos errores se acumulan en las etapas posteriores, provocando una reducción en la cobertura y la concreción de las respuestas personalizadas.

Significancia

El artículo plantea que el modelado de usuario transmodal y de largo alcance sigue siendo un desafío clave sin resolver para los asistentes personalizados. SOCIALPERSONA sirve como una herramienta crítica para medir el progreso en esta área. Los resultados indican que, si bien los modelos actuales pueden identificar dominios de interés amplios, carecen de la sutileza necesaria para recuperar preferencias reveladas a partir de rastros multimodales ruidosos y aplicarlas efectivamente en el diálogo. El benchmark destaca que los avances futuros deben abordar la recuperación de intereses de grano fino, el equilibrio de modalidades y el razonamiento temporal para ir más allá de la simple personalización basada en la memoria hacia asistentes verdaderamente impulsados por el conocimiento profundo (insight-driven).