🤖 AI

Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

Este artigo apresenta o \textsc{InvestLogicBench}, um benchmark de larga escala de decisões de investidores do mundo real estruturado como traços de Perfil-Evento-Raciocínio-Decisão-Resultado, para demonstrar que os atuais LLMs financeiros exibem um raciocínio polido, porém mal fundamentado, que é negligenciado por avaliações tradicionais baseadas apenas em resultados, defendendo, assim, uma nova interface de dados nativa de processo para agentes consequenciais personalizados.

Autores originais: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

Publicado 2026-08-07

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca gigante repleta de todos os livros já escritos sobre dinheiro, ações e economia. Você tem um amigo robô superinteligente que leu cada página. Se você perguntar "O que é inflação?" ou "Quem fundou a Apple?", seu robô pode responder instantaneamente e perfeitamente. É assim que a maioria dos programas de computador chamados "Modelos de Linguagem de Grande Escala" (LLMs) são testados hoje: eles são como campeões de trivia brilhantes que podem recitar fatos e resolver problemas matemáticos de livros didáticos. Mas aqui está a reviravolta: ser um campeão de trivia não significa que você saiba jogar o jogo da vida. No mundo real, investir não é sobre memorizar fatos; é sobre ouvir uma multidão caótica e barulhenta de notícias, descobrir o que realmente importa, tomar uma decisão baseada em sua própria personalidade e tolerância ao risco e, depois, observar para ver se você estava certo. É a diferença entre conhecer as regras do futebol e realmente marcar um gol enquanto o outro time tenta te dar um carrinho.

Este é exatamente o problema que um novo artigo aborda. Os autores notaram que, embora esses robôs de IA sejam incríveis ao responder perguntas em um teste, eles costumam falhar miseravelmente quando solicitados a tomar decisões de investimento reais em um mercado ao vivo. Eles criaram uma nova maneira de testar a IA, não perguntando "O que você sabe?", mas perguntando "Como você pensa?". Eles construíram um playground especial onde poderiam observar como uma IA conecta os pontos entre um evento de notícias, seu próprio raciocínio, uma ação específica e o resultado final. A grande descoberta deles? Os robôs de IA mais inteligentes, aqueles que obtêm as pontuações mais altas em testes gerais, são na verdade muito ruins nesse tipo específico de pensamento. Eles se confundem com o ruído, copiam o que todos os outros estão pensando e muitas vezes perdem dinheiro, enquanto alguns modelos "menos inteligentes" na verdade se saem melhor. O artigo sugere que, para construir um robô financeiro verdadeiramente útil, precisamos parar de testar sua memória e começar a testar sua capacidade de criar um plano coerente em um mundo bagunçado e incerto.

O Grande Paradoxo do "Inteligente, mas Sem Noção"

Os pesquisadores configuraram um jogo de alto risco chamado "arena de negociação ao vivo". Imagine um videogame onde diferentes bots de IA recebem US$ 10.000 em dinheiro falso e recebem a tarefa de negociar ações no mercado real dos EUA por sete semanas. Eles têm que fazer suas próprias escolhas a cada hora, reagindo a notícias de última hora exatamente como um negociador humano faria. O objetivo era ver se a "inteligência geral" da IA (o quão bem ela se sai em testes padrão) correspondia à sua "inteligência de negociação" (quanto dinheiro ela ganhou).

Os resultados foram um tanto chocantes. O artigo chama isso de "Paradoxo de Capacidade-Desempenho". É como ter um aluno que tira A+ em todos os exames de história, mas falha miseravelmente ao administrar uma barraca de limonada porque não consegue lidar com uma tempestade repentina. Os modelos de IA com as pontuações gerais mais altas, como o GPT-5 e o Claude-Sonnet-4.5, tiveram um desempenho bastante ruim. Um deles, o GPT-5, terminou com menos dinheiro do que começou, perdendo cerca de 1,0%. Outro, o Claude-Sonnet-4.5, mal obteve lucro. Ambos tiveram um desempenho pior do que apenas ficar parado e comprar um fundo de índice simples (o S&P 500), que é como a estratégia de "não fazer nada".

Em uma reviravolta irônica, os modelos que tiveram pontuações mais baixas nos testes gerais foram muito melhor no mercado. O DeepSeek-V3, por exemplo, transformou seus US$ 10.000 em mais de US$ 11.400, superando o mercado e os modelos "mais inteligentes". Isso sugere que ser bom em responder perguntas não o torna automaticamente bom em tomar decisões quando o futuro é incerto.

Por que os Bots "Inteligentes" Falham?

Os autores investigaram profundamente para descobrir por que os modelos de alta pontuação estavam perdendo dinheiro. Eles encontraram duas razões principais, que chamam de "Viés de Consenso" e "Fragmentação de Raciocínio".

Pense no Viés de Consenso como uma ovelha seguindo o rebanho. Quando um grande evento acontece, os modelos "inteligentes" tendem a apenas repetir o que todos os outros já estão pensando, porque foi o que viram com mais frequência em seus dados de treinamento. Eles não têm a coragem de procurar um ângulo diferente ou uma oportunidade oculta. Eles apenas dizem: "Oh, o mercado está caindo, então eu devo vender", mesmo que um especialista humano pudesse ver uma chance de comprar barato.

A Fragmentação de Raciocínio é como tentar resolver um quebra-cabeça enquanto alguém joga confetes no seu rosto. Quando o mercado fica barulhento com muitas notícias conflitantes, esses modelos ficam sobrecarregados. Eles não conseguem conectar os pontos entre uma notícia sobre uma reunião do governo e o preço de uma ação específica. Em vez de construir uma história clara, eles se confundem, tiram conclusões precipitadas ou tomam decisões contraditórias. Eles podem ver uma manchete sobre uma empresa de tecnologia e imediatamente comprá-la, ignorando o fato de que a empresa acabou de ter um relatório de ganhos ruim.

O Novo Teste: INVESTLOGICBENCH2026

Para corrigir isso, a equipe construiu um novo campo de testes chamado INVESTLOGICBENCH2026. Em vez de apenas pedir para a IA responder a uma pergunta, este benchmark observa toda a cadeia de como um investimento é feito. Eles chamam isso de cadeia P→E→R→D→O:

P (Pessoa): Quem é o investidor? Quais são seus objetivos e medos?
E (Evento): O que aconteceu no mundo? (ex: "O Fed aumentou as taxas de juros.")
R (Raciocínio): Como o investidor conecta o evento aos seus objetivos? (ex: "Taxas mais altas significam que o empréstimo está caro, então as ações de tecnologia podem cair.")
D (Decisão): Que ação eles tomam? (ex: "Vender minhas ações de tecnologia.")
O (Resultado): Funcionou? (ex: "Sim, as ações caíram e eu economizei dinheiro.")

Eles reuniram mais de 200.000 decisões de investimento reais de 151 especialistas do mundo real, como famosos gestores de fundos e influenciadores financeiros. Eles detalharam exatamente como esses humanos pensavam, desde as notícias que liam até as negociações que faziam. Então, pediram aos modelos de IA para fazerem o mesmo: olhar para a notícia, pensar como um tipo específico de investidor, tomar uma decisão e ver se a lógica se sustenta.

Os Resultados: Uma Lacuna de Lógica

Quando testaram os modelos de IA contra esse novo padrão, os resultados foram claros. Os modelos pontuaram muito baixo em "Qualidade de Raciocínio". Em uma escala de 1 a 5, o modelo com melhor desempenho (DeepSeek-V3) pontuou 2,8, enquanto o pior (GPT-5) pontuou apenas 1,8. Eles tiveram dificuldade em distinguir entre notícias importantes e ruído aleatório. Frequentemente, tomavam decisões que não correspondiam ao seu próprio raciocínio ou ao perfil do investidor.

Por exemplo, em um caso de teste, um especialista humano analisou uma mistura de notícias sobre um fechamento do governo, relatórios de emprego e taxas de juros, e decidiu corretamente comprar ativos "seguros". Os modelos de IA, no entanto, ficaram confusos. Alguns focaram apenas nas manchetes assustadoras, outros ignoraram as partes mais importantes e alguns fizeram argumentos contraditórios. Um modelo até comprou ações que eram completamente não relacionadas à notícia que estava lendo.

O artigo conclui que, embora a IA possa gerar negociações lucrativas às vezes (talvez por sorte ou por imitar padrões), ela carece da lógica profunda e consistente que os especialistas humanos usam para navegar na incerteza. Os modelos "inteligentes" estão falhando não porque não conhecem os fatos, mas porque não conseguem construir uma história coerente a partir do caos do mundo real.

O Que Isso Significa para o Futuro

Este artigo não diz que a IA nunca será boa em investir. Em vez disso, diz que precisamos mudar a forma como os testamos e treinamos. Não podemos continuar dando a eles testes de trivia cada vez mais difíceis. Precisamos ensiná-los a pensar como estrategistas, a filtrar o ruído e a manter um plano mesmo quando as coisas ficam assustadoras. Ao usar este novo benchmark, os pesquisadores esperam construir agentes de IA que não sejam apenas conhecedores, mas verdadeiramente sábios — capazes de tomar decisões personalizadas e lógicas que realmente funcionem no mundo real, bagunçado e imprevisível. A jornada para uma IA financeira confiável está apenas começando, e este novo mapa é o primeiro passo na direção certa.

Resumo Técnico: INVESTLOGICBENCH2026

1. Declaração do Problema

O artigo identifica um descompasso fundamental entre o paradigma atual de avaliação de Grandes Modelos de Linguagem (LLMs) e as competências reais necessárias para a tomada de decisão financeira confiável. Enquanto os benchmarks existentes (ex: FinBen, BizBench) medem efetivamente a recuperação de conhecimento estático, a recuperação de fatos e o cálculo quantitativo, eles falham em avaliar a lógica de ordem superior necessária para o investimento ativo.

Essa lacuna se manifesta como um "Paradoxo de Capacidade-Desempenho": modelos que se destacam em benchmarks de raciocínio geral frequentemente geram estratégias não lucrativas ou instáveis em ambientes de negociação ao vivo. Os autores argumentam que isso decorre de três desalinhamentos estruturais:

Descompasso de Objetivo: Os LLMs são treinados para a previsão do próximo token visando coerência linguística, carecendo de exposição à cadeia causal explícita da tomada de decisão de investimento (Pessoa $\rightarrow$ Evento $\rightarrow$ Raciocínio $\rightarrow$ Decisão $\rightarrow$ Resultado).
Lacuna de Avaliação: As métricas atuais avaliam a capacidade de um modelo de atuar como um analista financeiro (respondendo perguntas) em vez de um gestor de portfólio (sintetizando ruído em estratégia e mantendo a disciplina).
Deficiências de Raciocínio: Os modelos exibem Viés de Consenso (reproduzindo o consenso de mercado já precificado em vez de gerar alfa) e Fragmentação de Raciocínio (falha em integrar sinais díspares em uma narrativa coerente e voltada para o futuro sob incerteza).

2. Metodologia

A. Validação Empírica: A Arena de Negociação ao Vivo

Para quantificar a lacuna de desempenho, os autores instanciaram uma arena de negociação de ações dos EUA de 7 semanas (19 de novembro de 2025 – 9 de janeiro de 2026).

Configuração: Múltiplos agentes baseados em LLM, inicializados com $10.000 de capital simulado, competiram autonomamente.
Mecanismo: Os agentes utilizaram um loop de Percepção-Ação de dupla ferramenta (consultando dados estruturados via FinQuery e inteligência não estruturada via Search) para realizar operações discricionárias horárias.
Baseline: O desempenho foi comparado ao S&P 500 (SPY) e a proxies de especialistas humanos (Bill Miller e Cathie Wood).
Descoberta: Modelos com altos "Scores de Aptidão Fundamental" (ex: GPT-5, Claude-Sonnet-4.5) subperformaram o benchmark passivo, enquanto modelos com pontuações gerais mais baixas (ex: DeepSeek-V3) alcançaram alfa significativo. Especificamente, o DeepSeek-V3 atingiu um valor de portfólio final de $11.420,3, representando um retorno de +14,2%, superando significativamente o mercado.

B. O Benchmark: INVESTLOGICBENCH2026

Para abordar a falta de ferramentas diagnósticas, os autores construíram o INVESTLOGICBENCH2026, o primeiro benchmark derivado das decisões documentadas de 151 investidores do mundo real (KOLs e gestores de fundos).

Esquema Central: O benchmark estrutura os dados em torno da cadeia P $\rightarrow$ E $\rightarrow$ R $\rightarrow$ D $\rightarrow$ O:
- P (Pessoa): Perfil do investidor, restrições de risco e estilo.
- E (Evento): Eventos de mercado não estruturados e catalisadores.
- R (Raciocínio): A síntese lógica conectando eventos a uma tese.
- D (Decisão): A operação específica e acionável.
- O (Resultado): Lucratividade verificada pelo mercado.
Pipeline de Construção:
1. Ingestão de Dados: Dados de múltiplas fontes (comentários em vídeo, relatórios de fundos).
2. Processamento de Lógica de Agente: Extração de teses verbais explícitas e inferência de padrões implícitos via um motor proprietário de Lógica de Investimento em Ações (SIL Engine).
3. Verificação Aumentada por RAG: A lógica é cruzada com dados reais do mercado, bases de dados financeiras e mercados de previsão (ex: Polymarket) para garantir fidelidade.
4. Montagem: Integração em um grafo de conhecimento estruturado e consultável.
Escala do Dataset: 201.247 teses de investimento anotadas.
Tarefas de Avaliação:
1. Compreensão de Lógica: Extração de raciocínio a partir do texto do agente.
2. Geração de Lógica e Tese: Gerar uma tese dados os eventos e um perfil.
3. Simulação de Ponta a Ponta: Avaliando decisões contra dados reais de mercado.
Estrutura de Pontuação: Um score composto (0–10) combinando:
- Qualidade do Raciocínio: Coerência do Evento e Plausibilidade Lógica (escala de 5 pontos).
- Resultado da Decisão: Soma ponderada do Score de Lucro (relativo aos benchmarks humanos) e Score de Taxa de Acerto.

3. Resultados Principais

A. O Paradoxo de Capacidade-Desempenho

Na arena de negociação ao vivo, modelos generalistas de alto desempenho falharam em traduzir seu domínio de raciocínio em acuidade financeira.

GPT-5 e Claude-Sonnet-4.5 mostraram resultados mistos em relação ao benchmark passivo. O GPT-5 terminou com um valor de portfólio de \ $9.901,1 (-1,0%)**, enquanto o **Claude-Sonnet-4.5** rendeu ganhos insignificantes, fechando em **\$ 10.072,8 (+0,7%). Ambos falharam em superar o benchmark passivo do S&P 500 (SPY), que retornou aproximadamente +4,3% no mesmo período.
O DeepSeek-V3, apesar de um score de aptidão geral mais baixo, alcançou um retorno de +14,2% ($11.420,3), superando significativamente tanto o mercado quanto seus contrapartes de maior pontuação.
Diagnóstico: Modelos de alto desempenho exibiram Viés de Consenso (convergindo para a média estatística dos dados de treinamento) e Fragmentação de Raciocínio (incapacidade de manter a disciplina estratégica durante a volatilidade), levando a rotações prematuras de redução de risco (risk-off) e perda de oportunidades de recuperação.

B. Avaliação do Benchmark (INVESTLOGICBENCH2026)

A avaliação dos principais LLMs na Tarefa 2 (Geração de Lógica e Tese) revelou uma significativa Lacuna de Lógica de Investimento:

Scores de Raciocínio: Modelos de última geração mostraram desempenho divergente em sub-métricas de raciocínio. Por exemplo, o GPT-5 pontuou 1,8/5 em Coerência de Evento, mas 4,1/5 em Plausibilidade Lógica, indicando que, embora os modelos consigam construir argumentos internamente válidos, eles lutam para fundamentá-los corretamente em eventos de mercado específicos.
Resultado vs. Lógica: Embora alguns modelos tenham alcançado resultados lucrativos (pontuando bem na métrica de Resultado), seu raciocínio subjacente era frequentemente incoerente ou mal fundamentado nos eventos.
Estudo de Caso: Em um cenário simulado envolvendo ações de semicondutores, especialistas humanos integraram com sucesso chamadas de resultados (earnings calls), relatórios de capacidade e notícias geopolíticas. Os LLMs ou fixaram-se em ruídos de manchetes ou produziram resumos genéricos e contraditórios. A análise destacou uma divergência de desempenho substancial neste caso específico, onde o especialista humano retornou +3,53%, enquanto o pior LLM (GPT-5) retornou -15,67%, resultando em uma diferença de desempenho de 26,9%.

4. Principais Contribuições

Identificação Empírica do Paradoxo: Através de um estudo de negociação ao vivo de sete semanas, o artigo fornece evidências de que as capacidades de raciocínio geral não se transferem linearmente para a tomada de decisão financeira sob incerteza.
INVESTLOGICBENCH2026: A introdução do primeiro benchmark construído a partir de traços de decisão de investidores do mundo real, apresentando 201.247 decisões estruturadas anotadas com a cadeia completa P $\rightarrow$ E $\rightarrow$ R $\rightarrow$ D $\rightarrow$ O.
Quantificação da Lacuna de Lógica: O trabalho estabelece um padrão reproduzível mostrando que os principais LLMs falham em emular a discriminação de ruído-evento e a consistência de longo prazo dos especialistas humanos, explicando seu subdesempenho em negociações ao vivo.

5. Significância e Alegações

O artigo alega que o INVESTLOGICBENCH2026 desloca o paradigma de avaliação da recuperação passiva de conhecimento para o raciocínio ativo. Ao estabelecer um benchmark diagnóstico para o raciocínio alinhado ao mercado, o trabalho:

Vai além das métricas de "caixa-preta" de resultado (P&L) para diagnosticar a qualidade do processo de raciocínio.
Fornece uma base para treinar modelos que possam formular e executar teses de investimento coerentes e adaptáveis a diversas estratégias.
Aborda o "Paradoxo de Capacidade-Desempenho" ao destacar que agentes financeiros bem-sucedidos requerem mais do que recuperação de fatos; eles requerem a capacidade de sintetizar sinais não estruturados em decisões personalizadas e lucrativas.

Os autores concluem que, sem uma avaliação fundamentada nesta cadeia de lógica integrada, o progresso em direção a agentes financeiros personalizados e capazes permanece estagnado. O benchmark serve como um passo necessário para a construção de agentes de investimento de LLM robustos, de ponta a ponta, que gerem decisões alinhadas ao mercado.