Resumen Técnico: FinPerMA

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) se despliegan cada vez más como asistentes personalizados en dominios de alto riesgo, como el asesoramiento financiero. Sin embargo, sigue sin estar claro si estos sistemas pueden mantener y actualizar un modelo de usuario individualizado a lo largo de horizontes temporales extensos. Los benchmarks actuales de memoria personalizada sufren dos brechas críticas:

1. Cambio de Estado Condicionado por Eventos Limitado: Los benchmarks actuales se centran en la retención de hechos o la recuperación de contexto largo, pero carecen de control sobre cómo evolucionan las preferencias latentes del usuario tras eventos consecuentes. Esto dificulta distinguir entre la simple recuperación de hechos pasados y el razonamiento con un estado de usuario actualizado.
2. Auditabilidad de Etiquetas Limitada: Muchos benchmarks dependen de una generación de LLM débilmente restringida para las trayectorias post-evento, entrelazando las propiedades del generador con el objetivo de evaluación.

Además, los recursos existentes de LLM financiero (por ejemplo, FinGPT, FinBen) no se centran en el problema longitudinal de la memoria personalizada.

Metodología: Benchmark FinPerMA

Los autores presentan FinPerMA, un benchmark basado en eventos diseñado para evaluar la memoria personalizada frente a trayectorias de inversores longitudinales y congeladas. El sistema se construye sobre un pipeline de generación controlado que combina reglas deterministas informadas por la teoría con una narración controlada por LLM.

1. Pipeline de Generación de Datos

El corpus consta de $N \approx 300$ personas, cada una con una línea de tiempo de eventos específica, diálogos de múltiples sesiones y preguntas de evaluación.

• Síntesis de Personas: Las personas se muestrean a partir de distribuciones conjuntas de variables demográficas, financieras y psicométricas, calibradas contra encuestas reales de inversores minoristas (Bolsa de Shenzhen, Asociación de Gestión de Activos de China). Cada persona se clasifica en uno de cuatro Tipos de Inversores Conductuales (BITs: Preservador Pasivo, Seguidor Amigable, Individualista Independiente, Acumulador Activo) mediante un mapeo basado en reglas.
• Construcción de la Línea de Tiempo de Eventos: El sistema cura 97 eventos fechados (17 macro, 64 de la industria, 16 personales) de 2020–2026. Cada persona recibe una línea de tiempo de 5–8 eventos, asegurando la diversificación de categorías y un espaciado mínimo.
• El Modelo de Impacto (Innovación Central): Un andamiaje de tres capas genera la "reacción al evento" ($R_{i,k}$) para cada par persona-evento:
  • Capa 1 (Reglas Deterministas): Construye un objeto ImpactConstraint basado en cinco submódulos: clasificación BIT, coeficientes de choque del evento (basados en severidad), multiplicadores de rasgos Big-Five (Neuroticismo/Extraversión), agregación de historial de experiencia (retornos ponderados por edad) y anclaje de referencia de memoria simbólica.
  • Capa 2 (Narración Restringida): Un LLM genera una EventReaction candidata (deltas de preferencia, monólogo interno, sesgos activados, confianza) adhiriéndose estrictamente a las restricciones duras de la Capa 1.
  • Capa 3 (Validación Automatizada): Aplica verificaciones estrictas sobre la dirección del riesgo, límites de magnitud y sesgos prohibidos. Las fallas disparan hasta tres reintentos; si todos fallan, se utiliza un fallback de plantilla.
• Síntesis de Diálogo: Un Simulador de Usuario Orientado a Tareas genera diálogos entre inversor-asesor donde las preferencias surgen implícitamente a través de operaciones y preocupaciones. El control de calidad automatizado (deduplicación, plausibilidad financiera, votación multi-LLM) filtra el resultado.

2. Marco de Evaluación

El benchmark evalúa la memoria a través de tres dimensiones y cuatro puntos de control temporales:

• Dimensiones:
  • Fidelidad de Memoria (MF): Recuperación factual de atributos y comportamientos pasados.
  • Razonamiento de Preferencias (PR): Inferencia de preferencias implícitas a partir de trazas conductuales.
  • Adaptación de Contexto (CA): Aplicación de preferencias actualizadas en nuevos escenarios de decisión.
• Puntos de Control:
  • Memoria Cero (Zero-memory): Control (sin historial).
  • En la línea de tiempo (In-timeline): Retención sostenida a medida que los eventos se desarrollan.
  • Post-distracción (Post-distraction): Retención tras sesiones no relacionadas.
  • Post-Choque (Post-Shock): Un punto de control novedoso que prueba si un evento de alta severidad se integra en un modelo de usuario persistentemente actualizado.

El corpus final contiene 2,994 preguntas (2,494 de opción múltiple, 500 abiertas) a través de 276 personas evaluadas.

Contribuciones Clave

1. Benchmark de Memoria Personalizada Dinámica: FinPerMA prueba conjuntamente la recuperación de perfiles estables y la adaptación de preferencias condicionada por eventos, separando explícitamente la recuperación de la actualización de estado.
2. Punto de Control Post-Choque: Una prueba directa de si un evento consecuente se integra en la memoria persistente, aislando la capacidad de actualizar estados de usuario de la simple recuperación.
3. Pipeline de Generación Auditable: Un sistema híbrido que combina reglas deterministas informadas por la teoría (basadas en la literatura de finanzas conductuales) con narración controlada por LLM y cribado de calidad automatizado sobre 97 eventos fechados.
4. Evaluación Empírica Exhaustiva: Una evaluación congelada de siete LLMs de frontera y hasta siete configuraciones de memoria, proporcionando un análisis detallado de atribución sobre modos de falla en lugar de una única puntuación agregada.

Resultados

Los autores evaluaron siete LLMs de frontera (incluyendo variantes de Qwen, Claude, Gemini, DeepSeek, GLM y GPT) y diversas arquitecturas de memoria (BM25, BGE-M3, Mem0, MemOS, Memobase) sobre el corpus congelado v8gold.

• Brecha de Rendimiento: Todos los modelos permanecen lejos de la saturación. Ninguna configuración de contexto completo superó el ~0.47 de precisión general o el ~39% en preguntas de opción múltiple.
• Impacto de la Memoria: El historial de la persona eleva significativamente el rendimiento (un aumento de 1.5–2.4×) sobre el piso de conocimiento paramétrico, confirmando que la evidencia específica de la persona es crítica. Sin embargo, incluso con contexto completo, los modelos luchan con la adaptación de preferencias.
• Recuperación vs. Memoria Estructurada: Bajo un backbone fijo (Qwen3.7-Max), los sistemas de recuperación simple (BGE-M3, BM25) recuperaron el ~88% de la brecha de precisión entre la ausencia de memoria y el contexto completo, usando solo ~10% de los tokens de contexto. Los sistemas de memoria estructurada/basados en perfiles (Mem0, MemOS) recuperaron solo el 54–79% de la brecha.
• Modos de Falla:
  • La memoria basada en resúmenes a menudo preserva detalles factuales pero pierde las señales de preferencia necesarias para la personalización.
  • Rendimiento Post-Choque: La brecha de rendimiento entre el contexto completo y los sistemas de memoria se amplía significativamente después de un evento de choque, indicando una falla en la actualización del modelo de usuario.
  • Atribución: El modo de error dominante es el "valor por defecto de memoria cero", seguido de la sobre-inferencia de señal única y el desalineamiento temporal. Los modelos también muestran un sesgo hacia perfiles estereotipados cuando la evidencia individual entra en conflicto con tipos familiares.

Significado y Reivindicaciones

El artículo afirma que FinPerMA proporciona un cambio necesario en el benchmarking: de la retención factual estática al modelado de usuario dinámico y condicionado por eventos.

• Diferenciación: A diferencia del trabajo previo (por ejemplo, PersonaMem, LoCoMo, LongMemEval) que prueba la continuidad o la recuperación de hechos, FinPerMA aísla si un agente puede integrar un evento consecuente en su modelo de usuario persistente.
• Implicaciones de Diseño: Los resultados sugieren que el diseño de una memoria efectiva para agentes requiere un enfoque híbrido: separar atributos estables de preferencias mutables, incluir marcas de tiempo en los cambios y recuperar evidencia de diálogo cruda en lugar de depender únicamente de perfiles resumidos.
• Modestia: Los autores reconocen que FinPerMA utiliza personas sintéticas y cambios de preferencia guiados por reglas; por lo tanto, la precisión del benchmark no garantiza el rendimiento con inversores reales. Las líneas de tiempo están limitadas a 5–8 eventos, y la comparación de sistemas de memoria usa una única semilla. Se requiere trabajo futuro para probar historias más largas e interacciones longitudinales del mundo real.

En resumen, FinPerMA demuestra que los agentes de LLM actuales son capaces de recuperar el historial del usuario, pero luchan por sintetizar ese historial en un modelo de usuario actualizado y sensible a los eventos. La recuperación simple a menudo supera a las arquitecturas de memoria complejas en la preservación del matiz requerido para la personalización.