Resumo Técnico: FinPersona-Bench

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes financeiros autônomos inicializados com mandatos comportamentais explícitos (ex: "preservar o capital", "evitar apostas especulativas") destinados a governar a tomada de decisão ao longo de sua implantação. No entanto, à medida que o contexto de mercado se acumula em horizontes de longo prazo, esses mandatos perdem gradualmente sua influência comportamental. Os autores formalizam este fenômeno como Decaimento da Salicência do Mandato (MSD - Mandate Salience Decay).

Ao contrário dos erros de raciocínio tradicionais, o MSD representa uma falha comportamental onde um agente pode executar negociações localmente coerentes ou até mesmo lucrativas enquanto viola simultaneamente suas restrições de risco centrais. Os benchmarks financeiros existentes falham em capturar esse desvio longitudinal, focando em vez disso em recuperação de conhecimento estático, retornos de curto prazo ou desempenho em um único ponto no tempo. Além disso, trabalhos anteriores sobre "deterioração de contexto" ou "desvio de identidade" em NLP geral não foram objetivamente quantificados em configurações financeiras de alto risco, onde o valor intrínseco pode ser matematicamente definido.

Metodologia

1. Arquitetura do FinPersona-Bench

Os autores introduzem o FinPersona-Bench, um benchmark de simulação projetado para medir objetivamente o MSD. O sistema compreende três componentes principais:

• Motor de Mercado Sintético: Para estabelecer uma verdade fundamental matematicamente definida, o motor desacopla o preço observável do mercado ($P_t$) do valor fundamental oculto ($V_t$) por meio de um processo de ruído estocástico. Isso permite uma avaliação falsificável de violações de mandato. O motor simula três cenários de mercado distintos:
  • A Armadilha de Alta (Bolha): Testa a capacidade de distinguir crescimento legítimo de excesso especulativo, onde o preço se desacopla do valor.
  • O Crash de Mercado (Pânico): Testa a gestão de risco durante uma queda abrupta de preço abaixo do valor fundamental.
  • O Mercado Lateral (Baixo Sinal): Testa se os agentes mantêm seu mandato sem sinais de negociação válidos.
• Estrutura de Agente: Os agentes recebem perfis comportamentais baseados no Indicador de Tipo Myers-Briggs (MBTI) (especificamente ENTJ, ISFJ e INTJ) e no Big Five (para validação). Esses perfis definem apetites de risco e estilos de decisão. A estrutura compara duas variantes arquitetônicas:
  • Baseline Estática: O mandato é fornecido uma única vez na inicialização.
  • Re-fundamentação de Memória (Memory Re-grounding): O mandato central é reinjetado na mensagem do usuário a cada etapa de decisão para testar se o viés de recência mitiga o decaimento.
  • Controle Placebo: Um texto regulatório de mesmo comprimento, mas sem instruções comportamentais, é reinjetado para isolar o conteúdo semântico da recência posicional.
• Pipeline de Avaliação Comportamental: O sistema mede três modos específicos de falha usando métricas objetivas:
  • Pontuação de Adesão ao Mandato (MAS): Mede o desvio da alocação de caixa alvo em mercados laterais.
  • Índice de Caricatura (CI): Utiliza o Drawdown Máximo (MDD) para quantificar efeitos de "caricatura", onde os agentes exageram tendências padrão sob estresse (ex: venda de pânico).
  • Gap de Racionalidade (RG): Mede a probabilidade de ações alinhadas com o valor fundamental oculto ($V_t$) em vez do preço observável ($P_t$).

2. Configuração Experimental

O estudo avalia 18 modelos de fronteira e de código aberto líderes (incluindo GPT, Claude, Gemini, DeepSeek e modelos de código aberto como Llama e Gemma) através de uma grade combinatória de personas, cenários de mercado e arquiteturas. Cada configuração é replicada em cinco sementes aleatórias ao longo de um horizonte de negociação de 200 dias.

Principais Resultados

1. O Decaimento da Salicência do Mandato é Composto

O MSD não é um deslocamento estático, mas um fenômeno composto. Em cenários de crash, a lacuna comportamental entre agentes estáticos e aqueles que recebem a re-fundamentação periódica do mandato cresce 4,4 vezes do primeiro trimestre para o último trimestre da simulação. Isso indica que a influência do mandato erode progressivamente conforme o contexto se acumula.

2. A Re-fundamentação não é Universalmente Benéfica

A eficácia da re-fundamentação do mandato depende fortemente do alinhamento entre o perfil do agente e o regime de mercado:

• Agentes Conservadores (ISFJ) em Mercados Laterais: A re-fundamentação reduz significamente o desvio (melhoria de 12,7% no MAS), ajudando os agentes a resistir à pressão implícita para negociar em ambientes de baixo sinal.
• Agentes Agressivos (ENTJ) em Mercados Laterais: A re-fundamentação piora ativamente o comportamento. Forçar um mandato de crescimento em um mercado sem sinais amplifica a negociação desnecessária, aumentando o desvio do mandato em até 156,4%.
• Mercados Especulativos (Armadilhas de Alta): A re-fundamentação impõe um "custo de racionalidade". Enforçar continuamente um mandato conservador durante um mercado de alta suprime a compra de ativos subvalorizados, levando a pontuações de racionalidade menores em comparação com agentes estáticos que naturalmente derivam para a tendência do mercado.

3. Heterogeneidade Dependente do Modelo

• Escalonamento de Capacidade: Dentro da família Claude, a vulnerabilidade ao MSD induzido por crash escala inversamente com a capacidade; modelos menores (Haiku) exibem erosão extrema do mandato, enquanto modelos maiores (Opus) mostram maior resiliência.
• Reversões de Capacidade: Na família GPT, os modelos de destaque se beneficiam da re-fundamentação, mas variantes "mini" frequentemente exibem reversões onde agentes estáticos superam os re-fundamentados, particularmente em armadilhas de alta.
• Dissociação de Código Aberto: Alguns modelos de código aberto (ex: Qwen2.5-7B) mostram que a re-fundamentação pode restaurar a linguagem consistente com a persona sem corrigir o comportamento de negociação subjacente, levando a danos ativos em todos os cenários.

4. Mecanismos de Falha

• Conteúdo Semântico vs. Posição: Um controle placebo confirmou que os benefícios da re-fundamentação derivam do conteúdo semântico do mandato, e não meramente da recência do texto anexado.
• Conflito Linguístico: Em cenários de crash, modelos menores (variantes mini) exibem uma maior "Taxa de Conflito Lexical" quando re-fundamentados. Eles tendem a tratar a linguagem do mandato como um gatilho de ação em vez de um filtro comportamental, levando a um raciocínio contraditório (ex: citar um mandato de "crescimento" para justificar uma venda de pânico).

Significância e Alegações

O artigo afirma fornecer a primeira medição objetiva e falsificável da estabilidade comportamental longitudinal em agentes financeiros autônomos. Ao formalizar o MSD, os autores demonstram que:

1. O desvio comportamental é distinto de erros de raciocínio: Agentes podem ser localmente racionais enquanto violam globalmente seus mandatos fiduciários.
2. A implantação estática é insuficiente: A implantação de longo horizonte requer uma re-fundamentação seletiva e consciente do mandato, baseada no perfil do agente e no regime de mercado atual, em vez de uma estratégia universal de "re-injetar tudo".
3. Os benchmarks atuais estão incompletos: As avaliações financeiras padrão falham em capturar a erosão progressiva das restrições comportamentais ao longo do tempo.

Os autores enfatizam que essas descobertas sugerem que os LLMs atuais não devem ser implantados em funções fiduciárias reais sem mecanismos de verificação rigorosos e conscientes do mandato, que levem em conta a interação específica entre a persona do agente e as condições de mercado. O trabalho serve como uma ferramenta de diagnóstico para identificar modos de falha, em vez de uma solução prescritiva para todos os cenários de implantação.