Resumo Técnico: BIGFINANCEBENCH

Declaração do Problema

As respostas de pesquisa financeira só são relevantes para a tomada de decisão quando sua derivação é auditável. Profissionais devem verificar não apenas o número final, mas as fontes específicas escolhidas, as definições contábeis aplicadas, as premissas assumidas e as etapas de cálculo realizadas. Os benchmarks financeiros existentes avaliam amplamente sub-habilidades isoladas (ex: recuperação, busca de fatos únicos) ou respostas finais, deixando a própria derivação auditável sub-mensurada. Além disso, as tarefas típicas de benchmarks frequentemente pareiam uma consulta com uma única entrada discreta (ex: uma página ou relatório), falhando em capturar a natureza de código aberto, multi-fonte e dependente de premissas do trabalho real de um analista. Isso cria uma lacuna onde as avaliações atuais não refletem a "resolução de nível de derivação" utilizada na revisão especializada.

Metodologia

Os autores introduzem o BIGFINANCEBENCH, um benchmark fundamentado em fluxo de trabalho projetado para avaliar agentes de pesquisa financeira em formas de perguntas inspiradas por profissionais e na resolução da revisão de derivação de especialistas.

Construção do Dataset

• Escala e Composição: O dataset contém 928 itens elaborados por 52 especialistas em pesquisa financeira (predominantemente atuais e ex-investidores de bancos de investimento e de private equity).
• Controle de Qualidade: Cada item foi auditado por um painel separado de 12 revisores. As perguntas eram rejeitadas se apenas empilhassem buscas simples; elas eram aceitas apenas se exigissem profundidade de raciocínio, conhecimento especializado de nicho ou julgamento específico do domínio.
• Objetividade: As perguntas são ancoradas temporalmente a pontos específicos no tempo e exigem respostas fixadas pelo consenso de especialistas sob metodologias legítimas. Premissas não óbvias são explicitamente declaradas na consulta.
• Design da Rubrica: Cada item pareia uma resposta de referência da verdade fundamental com uma rubrica ponderada por pontos derivada do fluxo de trabalho do analista.
  • Estrutura: As rubricas decompõem a derivação em etapas independentemente verificáveis (ex: identificação de entidade, seleção de fonte, recuperação de linha de item, ajuste contábil, construção de fórmula).
  • Critérios: Existem 15.656 critérios de rubrica totalizando 36.241 pontos.
  • Regras de Autoria: Os critérios são binários (sim/não), precisos (especificando valores e períodos exatos), atômicos (isolando conceitos únicos), autossuficientes (graduáveis sem outros critérios) e ponderados (escala de 1 a 10).
• Fundamentação no Fluxo de Trabalho: O benchmark preserva a estrutura aberta e multi-fonte do trabalho do analista. Não é um censo ponderado por frequência, mas uma avaliação de fronteira sobre famílias realistas de fluxos de trabalho.

Configuração de Avaliação

• Harness do Agente: Dez modelos de fronteira e de pesos abertos foram avaliados em um harness comum do tipo ReAct de livro aberto com um orçamento de 50 passos.
• Superfície de Ferramentas: O conjunto de ferramentas é mínimo e apenas de código aberto: web_search, edgar_search (arquivos SEC), fetch_url e python_exec (cálculo em ambiente isolado). Nenhum banco de dados financeiro proprietário é utilizado.
• Julgamento: Dois juízes de LLM independentes (Gemini 3.1 Pro Preview e Claude Opus 4.7) classificam cada trajetória. Eles avaliam a correção para cada critério da rubrica e para a resposta final.
• Métricas:
  • Pontuação da Rubrica: A métrica primária, definida como pontos de rubrica ganhos divididos pelo total de pontos da rubrica (média macro).
  • Precisão da Resposta Final: A fração de respostas finais julgadas corretas.
  • Taxa de Aprovação de Critério da Rubrica: A fração não ponderada de critérios aprovados.

Principais Contribuições

1. Fluxos de Trabalho Financeiros Auditáveis: A introdução de 928 perguntas elaboradas por especialistas que exigem seleção de fonte, julgamento contábil e cálculo sobre evidências públicas, indo além de tarefas isoladas de QA ou recuperação.
2. Avaliação de Nível de Derivação: Um novo framework de graduação usando rubricas ponderadas por pontos sobre etapas de fluxo de trabalho independentemente verificáveis, permitindo avaliação de crédito parcial e localização de falhas através do fluxo de trabalho do analista.
3. Diagnóstico Empírico de Agentes Atuais: Uma avaliação abrangente de dez modelos revelando que os sistemas atuais possuem um fôlego substancial e que as capacidades dos modelos variam de forma não uniforme entre diferentes fluxos de trabalho financeiros.

Resultados

• Desempenho Não Saturado: O benchmark permanece longe da saturação. O melhor sistema (Claude Opus 4.7, GPT-5.5 e Claude Sonnet 4.6) atinge apenas 58,8% na pontuação da rubrica e 41,5–44,3% na precisão da resposta final.
• Rubrica vs. Resposta Final: As pontuações da rubrica e a precisão da resposta final estão fortemente alinhadas (Pearson $r = 0,94$), mas sistematicamente separadas. A lacuna média é de 15,95 pontos percentuais, indicando que a graduação da rubrica credita o progresso intermediário do fluxo de trabalho que a graduação da resposta final descarta.
• Especialização de Fluxo de Trabalho: Os três principais modelos fechados estão fortemente agrupados em pontuações gerais de rubrica, mas exibem forças ortogonais. Nenhum modelo único lidera em mais de 37,7% das perguntas; cada um lidera em aproximadamente um terço do benchmark. Um roteador simples usando características observáveis (fluxo de trabalho, fonte) melhora o desempenho em 7,6% de ganho de rubrica relativa ao melhor modelo único.
• Localização de Falhas: A análise de "configuração limpa" (crédito perfeito de Recuperação e Definição) revela que a maior parte da separação entre modelos ocorre antes da etapa de cálculo. Uma vez que um modelo atinge uma configuração limpa, as diferenças residuais de cálculo são pequenas em comparação com a variação de pergunta para pergunta. Isso sugere que as falhas se acumulam na recuperação e na configuração, e não apenas na aritmética.
• Sensibilidade à Fonte: O desempenho varia conforme o tipo de documento de origem; os modelos pontuam consistentemente 6 a 9 pontos percentuais abaixo em perguntas baseadas em 8-K comparadas a 10-K, provavelmente devido à natureza menos padronizada dos eventos 8-K.

Significância e Alegações

O artigo alega que o BIGFINANCEBENCH desloca o paradigma de avaliação de agentes financeiros de testes de conhecimento estático para trabalho profissional economicamente valioso. Ao graduar toda a derivação em vez de apenas o output final, o benchmark:

• Expõe o progresso parcial oculto pela precisão da resposta final.
• Localiza se uma derivação falhou na seleção de fonte, definição de métrica, ajuste contábil ou cálculo.
• Demonstra que a precisão da resposta final é um "proxy com perda" útil para a correção do fluxo de trabalho.
• Sugere que a fronteira do raciocínio financeiro é "irregular" (spiky) em vez de uniforme, implicando que trabalhos futuros podem se beneficiar de estratégias de roteamento de modelos que selecionam modelos específicos para tipos de fluxos de trabalho específicos.

Os autores enfatizam que o benchmark é uma aproximação estática do trabalho de um analista (carecendo de bancos de dados proprietários ou interação ao vivo com clientes) e que as pontuações não devem ser lidas como validação de implantação para decisões financeiras. Em vez disso, serve como um instrumento de alta resolução para medir se os sistemas conseguem conectar a entidade, a fonte, o período, a definição, a premissa e o cálculo necessários para tornar uma resposta financeira passível de revisão.