Resumen Técnico: FinPersona-Bench

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se despliegan cada vez más como agentes financieros autónomos inicializados con mandatos de comportamiento explícitos (por ejemplo, "preservar el capital", "evitar apuestas especulativas") destinados a gobernar la toma de decisiones durante su despliegue. Sin embargo, a medida que el contexto del mercado se acumula en horizontes prolongados, estos mandatos pierden gradualmente su influencia conductual. Los autores formalizan este fenómeno como Decaimiento de la Saliencia del Mandato (MSD, por sus siglas en inglés).

A diferencia de los errores de razonamiento tradicionales, el MSD representa un fallo conductual donde un agente puede ejecutar operaciones localmente coherentes o incluso rentables mientras viola simultáneamente sus restricciones de riesgo fundamentales. Los benchmarks financieros existentes no logran capturar este desvío longitudinal, centrándose en su lugar en la recuperación de conocimiento estático, retornos a corto plazo o rendimiento en un único punto en el tiempo. Además, trabajos previos sobre la "putrefacción del contexto" o el "desvío de identidad" en el NLP general no se han cuantificado objetivamente en entornos financieros de alto riesgo donde el valor intrínseco puede definirse matemáticamente.

Metodología

1. Arquitectura de FinPersona-Bench

Los autores introducen FinPersona-Bench, un benchmark de simulación diseñado para medir objetivamente el MSD. El sistema consta de tres componentes principales:

• Motor de Mercado Sintético: Para establecer una verdad fundamental matemáticamente definida, el motor desacopla el precio observable del mercado ($P_t$) del valor fundamental oculto ($V_t$) mediante un proceso de ruido estocástico. Esto permite una evaluación falsable de las violaciones del mandato. El motor simula tres escenarios de mercado distintos:
  • La Trampa de Toros (Burbuja): Evalúa la capacidad de distinguir el crecimiento legítimo del exceso especulativo donde el precio se desacopla del valor.
  • El Colapso del Mercado (Pánico): Evalúa la gestión de riesgos durante una caída brusca de precios por debajo del valor fundamental.
  • El Mercado Plano (Baja Señal): Evalúa si los agentes mantienen su mandato sin señales de trading válidas.
• Marco de Agentes: A los agentes se les asignan perfiles de comportamiento basados en el Indicador de Tipo Myers-Briggs (MBTI) (específicamente ENTJ, ISFJ e INTJ) y en las Big Five (para validación). Estos perfiles definen los apetitos de riesgo y los estilos de decisión. El marco compara dos variantes arquitectónicas:
  • Línea Base Estática: El mandato se proporciona una sola vez en la inicialización.
  • Re-enraizamiento de Memoria: El mandato central se reinyecta en el mensaje del usuario en cada paso de decisión para probar si el sesgo de recencia mitiga el decaimiento.
  • Control Placebo: Se reinyecta un texto regulatorio de la misma longitud pero sin instrucciones de comportamiento para aislar el contenido semántico de la recencia posicional.
• Pipeline de Evaluación Conductual: El sistema mide tres modos de fallo específicos utilizando métricas objetivas:
  • Puntuación de Adherencia al Mandato (MAS): Mide la desviación de la asignación de efectivo objetivo en mercados planos.
  • Índice de Caricaturización (CI): Utiliza el Máximo Drawdown (MDD) para cuantificar los efectos de "caricatura" donde los agentes exageran las tendencias por defecto bajo estrés (por ejemplo, ventas de pánico).
  • Brecha de Racionalidad (RG): Mide la probabilidad de que las acciones se alineen con el valor fundamental oculto ($V_t$) en lugar del precio observable ($P_t$).

2. Configuración Experimental

El estudio evalúa 18 modelos líderes, tanto de frontera como de código abierto (incluyendo GPT, Claude, Gemini, DeepSeek y modelos de código abierto como Llama y Gemma) a través de una cuadrícula combinatoria de personas, escenarios de mercado y arquitecturas. Cada configuración se replica a través de cinco semillas aleatorias durante un horizonte de trading de 200 días.

Resultados Clave

1. El Decaimiento de la Saliencia del Mandato es Compuesto

El MSD no es un desfase estático, sino un fenómeno compuesto. En escenarios de colapso, la brecha conductual entre los agentes estáticos y aquellos que reciben un re-enraizamiento periódico del mandato crece 4.4× desde el primer trimestre hasta el último trimestre de la simulación. Esto indica que la influencia del mandato se erosiona progresivamente a medida que el contexto se acumula.

2. El Re-enraizamiento no es Universalmente Beneficioso

La efectividad del re-enraizamiento del mandato depende altamente de la alineación entre el perfil del agente y el régimen de mercado:

• Agentes Conservadores (ISFJ) en Mercados Planos: El re-enraizamiento reduce significativamente el desvío (una mejora del 12.7% en el MAS), ayudando a los agentes a resistir la presión implícita de operar en entornos de baja señal.
• Agentes Agresivos (ENTJ) en Mercados Planos: El re-enclizamiento empeora activamente el comportamiento. Forzar un mandato orientado al crecimiento en un mercado sin señales amplifica el trading innecesario, aumentando el desvío del mandato hasta en un 156.4%.
• Mercados Especulativos (Trampas de Toros): El re-enraizamiento impone un "costo de racionalidad". Enforcing continuamente un mandato conservador durante un mercado alcista suprime la compra de activos infravalorados, lo que conduce a puntuaciones de racionalidad más bajas en comparación con los agentes estáticos que naturalmente derivan hacia la tendencia del mercado.

3. Heterogeneidad Dependiente del Modelo

• Escalamiento de Capacidad: Dentro de la familia Claude, la vulnerabilidad al MSD inducido por colapsos escala inversamente con la capacidad; los modelos más pequeños (Haiku) exhiben un extremo desvío del mandato, mientras que los modelos más grandes (Opus) muestran una mayor resiliencia.
• Reversiones de Capacidad: En la familia GPT, los modelos insignia se benefician del re-enraizamiento, pero las variantes "mini" a menudo exhiben reversiones donde los agentes estáticos superan a los re-enraizados, particularmente en trampas de toros.
• Disociación de Código Abierto: Algunos modelos de código abierto (por ejemplo, Qwen2.5-7B) muestran que el re-enraizamiento puede restaurar un lenguaje consistente con la persona sin corregir el comportamiento de trading subyacente, lo que conduce a un daño activo en todos los escenarios.

4. Mecanismos de Fallo

• Contenido Semántico vs. Posición: Un control placebo confirmó que los beneficios del re-enraizamiento provienen del contenido semántico del mandato, no simplemente de la recencia del texto añadido.
• Conflicto Lingüístico: En escenarios de colapso, los modelos más pequeños (variantes mini) exhiben una mayor "Tasa de Conflicto Léxico" cuando son re-enraizados. Tienden a tratar el lenguaje del mandato como un disparador de acción en lugar de un filtro conductual, lo que lleva a un razonamiento contradictorio (por ejemplo, citar un mandato de "crecimiento" para justar una venta de pánico).

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera medición objetiva y falsable de la estabilidad conductual longitudinal en agentes financieros autónomos. Al formalizar el MSD, los autores demuestran que:

1. El desvío conductual es distinto de los errores de razonamiento: Los agentes pueden ser localmente racionales mientras violan globalmente sus mandatos fiduciarios.
2. El despliegue estático es insuficiente: El despliegue a largo plazo requiere un re-enraizamiento selectivo y consciente del mandato basado en el perfil del agente y el régimen de mercado actual, en lugar de una estrategia universal de "reinyectar todo".
3. Los benchmarks actuales están incompletos: Las evaluaciones financieras estándar no logran capturar la erosión progresiva de las restricciones conductuales a lo largo del tiempo.

Los autores enfatizan que estos hallazgos sugieren que los LLM actuales no deben desplegarse en roles fiduciarios reales sin mecanismos de verificación rigurosos y conscientes del mandato que tengan en cuenta la interacción específica entre la persona del agente y las condiciones del mercado. El trabajo sirve como una herramienta de diagnóstico para identificar modos de fallo en lugar de una solución prescriptiva para todos los escenarios de despliegue.