Resumen Técnico: Setoka – Un referente para la comprensión jerárquica del usuario en agentes personalizados

1. Planteamiento del problema

Los agentes personalizados basados en Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más para asistir a los usuarios, lo que requiere la capacidad de recuperar hechos explícitos e inferir características personales abstractas. Sin embargo, los benchmarks de memoria existentes evalúan principalmente la capacidad de un agente para recuperar información expresada explícitamente en los historiales de conversación. Estos fallan al evaluar la comprensión jerárquica del usuario, específicamente la capacidad de integrar evidencia implícita a través de fuentes de datos heterogéneas (p. ej., texto no estructurado, registros estructurados, grafos) para inferir atributos de usuario más profundos, como patrones de comportamiento y rasgos de personalidad.

La construcción de un benchmark para esta tarea enfrenta cuatro desafíos principales:

• C1 (Comprensión jerárquica del usuario): Los requisitos de razonamiento varían desde la simple recuperación de hechos hasta la compleja inferencia de la personalidad, lo que requiere un marco que distinga estos niveles.
• C2 (Muestreo de personas realistas): Las personas sintéticas deben reflejar individuos coherentes donde las combinaciones de rasgos sigan correlaciones psicológicas del mundo real, en lugar de ser conjuntos de rasgos aleatorios.
• C3 (Mapeo diverso entre rasgo y comportamiento): Un solo rasgo de personalidad puede manifestarse como diversos comportamientos en diferentes contextos; los métodos de generación deben evitar los mapeos estereotípicos.
• C4 (Generación escalable y consistente): Generar datos de usuario heterogéneos a largo plazo requiere mantener la consistencia entre los registros y preservar las restricciones de comportamiento a lo largo del tiempo sin desbordamiento de contexto.

2. Metodología

2.1 El Marco Setoka

Setoka define una jerarquía de cuatro niveles de comprensión del usuario, fundamentada en la psicología cognitiva y de la personalidad:

1. Memoria Semántica (SM): Recuperación de hechos explícitos de registros individuales (p. ej., un número de teléfono).
2. Memoria Episódica (EM): Integración de registros que describen un evento específico (p. ej., "¿Qué pasó el 20 de abril?").
3. Patrones de Comportamiento (BP): Agregación de eventos a lo largo del tiempo para identificar regularidades (p. ej., "¿Con qué frecuencia socializa el usuario?").
4. Rasgos de Personalidad (PT): Generalización a través de múltiples patrones de comportamiento y categorías de eventos para inferir disposiciones latentes (p. ej., "¿Qué tan extrovertido es el usuario?").

El marco formaliza la transición entre niveles utilizando cuatro operadores: selección ($\sigma$), vinculación ($\lambda$), agregación ($\gamma$) y generalización ($\rho$). Los conjuntos de evidencia forman una cadena anidada ($E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$), donde los niveles superiores requieren alcances de evidencia más amplios y transformaciones adicionales.

2.2 Pipeline de Generación Basado en Psicometría

Para abordar los desafíos de la generación de datos realistas y consistentes, Setoka emplea un pipeline descendente (top-down):

• Muestreo de Rasgos con Conciencia de Correlación: En lugar de muestrear rasgos de forma independiente, el pipeline extrae vectores de personalidad (Big Five) de una distribución gaussiana multivariante. La matriz de covarianza se deriva de correlaciones psicométricas meta-analíticas, asegurando que las personas sintéticas reflejen interdependencias de rasgos realistas.
• Generación de Comportamiento Guiada por Escalas Psicológicas: Para evitar la generación estereotípica de los LLM, los vectores de rasgos muestreados se mapean a patrones de comportamiento utilizando escalas psicológicas validadas (específicamente el BFI-2). Esto convierte las puntuaciones de los rasgos en respuestas a nivel de ítem, que luego se traducen en patrones de comportamiento concretos y diversos.
• Árbol de Generación Basado en Eventos: Para asegurar la consistencia a largo plazo, los patrones de comportamiento se expanden en una jerarquía temporal de eventos. Los eventos hijos se generan secuencialmente para preservar la continuidad, mientras que los detalles se expanden en paralelo. Todos los registros heterogéneos (logs, relaciones, mensajes) se derivan de una única "fuente de verdad" (el evento) para mantener la consistencia entre esquemas.
• Construcción de Consultas: Las instancias de prueba $(q, a, E)$ se generan automáticamente basándose en la verdad fundamental del proceso de generación. Las consultas están diseñadas para aislar el operador de razonamiento específico requerido en cada nivel (p. ej., recuperación de pistas parciales para EM, agregación estadística para BP).

2.3 Configuración Experimental

Los autores instanciaron Setoka con 10 perfiles de usuario sintéticos que contienen aproximadamente 1,600 registros heterogéneos a través de 23 esquemas y tres modelos de datos (relacional, grafo, no estructurado).

• Modelos Evaluados: Tres LLMs (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
• Sistemas de Memoria: Cinco sistemas que representan diferentes paradigios: Estructurados en grafos (Cognee, HippoRAG 2), basados en hechos planos (Mem0) y jerárquicos (MemMachine, Letta).
• Línea Base: Una base de referencia DBQuery donde el LLM interactúa directamente con bases de datos puras sin construcción de memoria intermedia.
• Métricas: Puntuaciones de similitud de LLM-judge para SM, EM y BP; coeficiente de correlación de rango de Kendall para PT (evaluando el orden relativo correcto de los usuarios).

3. Resultados Clave

• Declive del Rendimiento con la Abstracción: La precisión disminuye monótonamente a medida que aumenta el nivel de abstracción. Las mejores puntuaciones cayeron de 0.85 (SM) a 0.46 (EM), 0.28 (BP) y 0.24 (PT). Los promedios siguieron una tendencia similar, cayendo de 0.37 a 0.07.
• Construcción de Memoria vs. Recuperación Directa:
  • DBQuery superó a los sistemas de memoria en SM (0.85) al recuperar detalles exactos de registros individuales, pero tuvo un desempeño pobre en EM (0.27) donde se requería la integración de múltiples registros.
  • MemMachine (jerárquico) logró la mejor puntuación de EM (0.46), atribuido a su preservación de detalles finos combinada con la recuperación de contexto temporal.
  • Los sistemas estructurados en grafos (Cognee, HippoRAG 2) generalmente superaron a los demás en tareas de BP y PT, sugiriendo que vincular registros relacionados ayuda a agregar comportamientos recurrentes en rasgos de mayor nivel.
• Tasa de Respuesta vs. Competencia: Un hallazgo contraintuitivo fue que las tasas de respuesta aumentaron con la abstracción (72% para SM a 93% para PT) mientras que la precisión disminuyó. Esto indica que los modelos son más propensos a "adivinar" rasgos abstractos cuando falta la evidencia, mientras que se abstienen de responder preguntas fácticas concretas si la evidencia está ausente.

4. Contribuciones y Significado

El artículo reclama las siguientes contribuciones:

1. Identificación de una Limitación: Destaca que los benchmarks existentes evalúan inadecuadamente la comprensión de múltiples niveles del usuario requerida para agentes personalizados, particularmente respecto a la integración de datos heterogéneos.
2. Primer Marco Basado en la Psicología: Setoka introduce el primer marco que abarca desde memorias concretas hasta características abstractas, definiendo explícitamente el alcance de la evidencia y las operaciones de razonamiento para cada nivel.
3. Pipeline Basado en Psicometría: Desarrolla un pipeline de generación escalable que produce datos de usuario heterogéneos coherentes y trazables fundamentados en la teoría psicológica, permitiendo consultas de nivel específico con evidencia verificable.
4. Evaluación Exhaustiva: A través de la evaluación de 3 modelos y 5 sistemas de memoria, el artículo demuestra que la simple recuperación de hechos es insuficiente para una comprensión profunda del usuario.

Significado:
Los autores concluyen que los mecanismos de memoria actuales son insuficientes para tareas que requieren la integración de fuentes cruzadas y la abstracción sobre el comportamiento a largo plazo. Los hallazgos motivan el diseño de sistemas de memoria capaces de vincular, agregar y generalizar la evidencia del usuario más allá del recuerdo literal. Setoka sirve como un banco de pruebas para impulsar el progreso en estas áreas, mostrando que, si bien la recuperación está mejorando, la capacidad de inferir atributos latentes a partir de datos fragmentados y heterogéneos sigue siendo un desafío importante sin resolver.