Resumo Técnico: BizFinBench.v2

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em aplicações financeiras; no entanto, existe uma lacuna significativa entre o desempenho relatado em benchmarks existentes e sua eficácia real em cenários de negócios do mundo real. O artigo identifica duas limitações fundamentais nos atuais frameworks de avaliação financeira:

1. Desconexão com o Negócio Real: A maioria dos benchmarks baseia-se em conjuntos de dados simulados, sintéticos ou de propósito geral que carecem da complexidade, do ruído e da lógica específica de fluxo de trabalho das operações financeiras autênticas.
2. Foco Estático Offline: Os benchmarks existentes avaliam predominantemente tarefas estáticas e offline, falhando em capturar a "capacidade online" essencial para serviços financeiros, como o processamento de dados de mercado em tempo real, monitoramento dinâmico de risco e tomada de decisão instantânea.

Essa desconexão leva a uma avaliação enganosa da prontidão do modelo, onde altas pontuações em benchmarks não se traduzem em desempenho confiável em contextos práticos de investimento ou consultoria.

Metodologia

Para abordar essas lacunas, os autores introduzem o BizFinBench.v2, o primeiro benchmark integrado offline e online construído a partir de dados autênticos de interação usuário-resposta de ambos os mercados de ações da China e dos EUA.

Construção de Dados e Controle de Qualidade

• Fonte: O conjunto de dados compreende 28.860 perguntas derivadas de interações reais de usuários em plataformas de negócios financeiros.
• Cenários: Os dados são categorizados em quatro cenários principais de negócios:
  1. Proveniência de Informação de Negócios (BIP): Consultas de linha de frente que exigem discernimento robusto de entradas errôneas e interações de múltiplos turnos.
  2. Raciocínio Lógico Financeiro (FLR): Tarefas envolvendo computação quantitativa, lógica de eventos e inferência contrafactual.
  3. Percepção de Características de Stakeholders (SFP): Análise de sentimento do usuário e relatórios financeiros.
  4. Discernimento de Mercado em Tempo Real (RMD): Tarefas online envolvendo previsão de preços de ações e gestão de portfólio.
• Controle de Qualidade: Um mecanismo rigoroso de três níveis foi empregado:
  1. Agrupamento de Plataforma e Desensibilização: Agregação automatizada e remoção de PII/dados sensíveis.
  2. Revisão de Linha de Frente: Triagem manual por 10 profissionais para filtrar pares inválidos ou duplicados, mantendo perturbações realistas.
  3. Validação Cruzada de Especialistas: Validação por seis especialistas financeiros seniores de três equipes para garantir o alinhamento de negócios e conformidade.

Design de Tarefas

O benchmark inclui oito tarefas offline e duas tarefas online:

• Tarefas Offline: Rastreamento de Informação de Anomalia, Percepção Financeira de Múltiplos Turnos, Descrição de Dados Financeiros, Computação Quantitativa Financeira, Raciocínio de Lógica de Eventos, Inferência Contrafactual, Análise de Sentimento do Usuário e Análise de Relatório Financeiro.
• Tarefas Online:
  • Previsão de Preço de Ações (SPP): Prever preços de fechamento diários com um intervalo de tolerância de 1%.
  • Alocação de Ativos de Portfólio (PAA): Um sistema de simulação que restaura regras de negociação do mundo real (taxas, latência, slippage) onde os modelos tomam decisões de investimento horárias ao longo de um período específico.

Configuração de Avaliação

• Modelos Avaliados: 21 LLMs, incluindo 6 modelos proprietários (ex: GPT-5, Gemini-3, DeepSeek-R1), 11 modelos de propósito geral de código aberto e 4 modelos financeiros de domínio específico.
• Métricas:
  • Offline: Acurácia (com intervalos de tolerância específicos para sentimento e previsão de preço).
  • Online (PAA): Indicadores de investimento, incluindo Retorno Total (TR), Fator de Lucro (PF), Índice de Sharpe (SR) e Drawdown Máximo (MD).
• Baselines: Modelos comerciais foram comparados com estratégias quantitativas tradicionais (ex: Cruzamento de Média Móvel, Alocação de Peso Igual, Momentum).

Principais Contribuições

1. Benchmark Impulsionado por Dados de Negócios Autênticos: O BizFinBench.v2 é o primeiro framework de avaliação em larga escala impulsionado inteiramente por dados de negócios reais de mercados duais (China e EUA), indo além de conjuntos de dados sintéticos ou de baixa complexidade.
2. Framework de Avaliação de Via Dupla Inovador: O benchmark integra de forma única "Capacidades Principais de Negócio" (offline) com "Desempenho Online" (tomada de decisão em tempo real), abordando as deficiências de cobertura das avaliações estáticas tradicionais.
3. Análise de Erros de Negócio Informada por Especialistas: O artigo fornece uma análise de erro granular do ponto de vista de especialistas financeiros, identificando cinco dilemas de negócios específicos: Desvio Semântico Financeiro, Descontinuidade de Lógica de Negócio de Longo Prazo, Desvio de Análise Integrada Multivariada, Distorção Computacional de Alta Precisão e Desordem Lógica de Séries Temporais Financeiras.

Resultados Experimentais

• Desempenho Geral: Mesmo o modelo de melhor desempenho, o GPT-5, alcançou apenas 61,5% de acurácia média, ficando significativamente abaixo do limiar de requisito de negócio prático de 84,8% (estabelecido por especialistas financeiros humanos).
• Comparações de Modelos:
  • Modelos Proprietários: GPT-5, Gemini-3 e Doubao-Seed-1.6 classificaram-se no topo geral. No entanto, o desempenho variou amplamente entre as tarefas; por exemplo, Claude-Sonnet-4 e Grok-4 tiveram dificuldades significativas com tarefas quantitativas e de raciocínio.
  • Modelos de Código Aberto: Qwen3-235B-A22B-Thinking-2507 liderou a categoria de código aberto (53,3% de acurácia), superando modelos financeiros especializados.
  • Modelos de Domínio Específico: Modelos especificamente financeiros (ex: Dianjin-R1) tiveram desempenho inferior aos modelos de propósito geral de escala similar, atribuído a dados de treinamento estreitos e falta de exposição a cenários reais complexos e voláteis.
• Resultados de Tarefa Online (PAA):
  • O DeepSeek-R1 demonstrou eficácia de investimento superior entre os modelos comerciais, alcançando um retorno total de 47,34% e um índice de Sharpe de 1,25. No entanto, exibiu alto risco com um drawdown máximo de 53%.
  • Outros modelos comerciais (GPT-5, Gemini-3, etc.) geralmente tiveram desempenho inferior, com alguns mostrando retornos negativos e drawdowns superiores a 10%.
  • Comparação com Estratégias Quantitativas: A maioria dos LLMs teve desempenho inferior às estratégias quantitativas tradicionais (ex: estratégias de Peso Igual e Momentum). Apenas o DeepSeek-R1 aproximou-se do desempenho de estratégias quantitativas de nível médio, enquanto outros ficaram significativamente atrás na geração de alfa e mitigação de risco.
• Impacto do CoT: Contrariamente às expectativas, o prompting de Cadeia de Pensamento (Chain-of-Thought - CoT) não melhorou universalmente o desempenho. Para muitos modelos (ex: Claude-Sonnet-4), o CoT levou a um declínio significativo de desempenho, sugerindo que cadeias de raciocínio estendidas podem introduzir fragmentação lógica em contextos financeiros complexos.

Significância e Alegações

O artigo postula que o BizFinBench.v2 fornece uma base substanciada para o avanço da implantação de LLMs no setor financeiro, mudando o paradigma de avaliação de "proficiência em realizar testes" para "capacidade de negócio real".

• Realismo sobre Simulação: Ao utilizar dados reais de usuários, o benchmark revela que os atuais modelos de última geração ainda não estão prontos para aplicações financeiras de alto risco sem otimização significativa.
• Utilidade Diagnóstica: As categorias de erro identificadas (ex: desvio semântico, distorção computacional) oferecem direções direcionadas para a melhoria dos modelos, indo além de métricas de acurácia genéricas para falhas específicas de lógica de negócio.
• Direção Futura: Os autores concluem que as avaliações futuras devem ser fundamentadas em cenários de negócios reais. A liberação dos dados do benchmark, do código e do sistema de simulação de investimento de LLM visa facilitar o desenvolvimento de uma IA financeira mais confiável e alinhada aos negócios.