Resumo Técnico: FINESSE-Bench

Declaração do Problema

Enquanto os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em análise financeira, relatórios e gestão de riscos, a avaliação robusta de sua competência específica do domínio permanece incompleta. Benchmarks abertos existentes, como FinQA, ConvFinQA e TAT-QA, avançaram na resposta a perguntas financeiras e no raciocínio numérico, mas focam principalmente na extração de informações de relatórios financeiros. Eles carecem de uma hierarquia explícita de dificuldade profissional, falhando em medir a transição do conhecimento fundamental para o raciocínio de nível especializado. Além disso, recursos mais amplos como FinanceBench, PIXIU e FinBen, embora expandam a cobertura de tarefas, frequentemente subrepresentam domínios aplicados críticos, como análise técnica, negociação de derivativos e gestão de carteiras baseada em cenários. Consequentemente, há uma lacuna na avaliação de como o desempenho do modelo se degrada à medida que a complexidade da tarefa aumenta e de quão bem os modelos se generalizam para cenários especializados e profissionalmente relevantes.

Metodologia

Os autores introduzem o FINESSE-Bench, uma suíte de benchmarks hierárquica composta por oito conjuntos de dados especializados com um total de 3.993 perguntas. O design fundamenta-se em dois princípios centrais: hierarquia de dificuldade e especialização de domínio.

Construção do Conjunto de Dados

A suíte integra três tipos distintos de fontes de dados:

1. Hierarquias Orientadas a Exames: Inspiradas em certificações profissionais, a suíte inclui:
   • Níveis 1–3 do tipo CFA: Cobrindo ética, métodos quantitativos, relatórios financeiros, avaliação e gestão de carteiras. O Nível 1 visa a alfabetização fundamental; o Nível 2 foca em conjuntos de itens vinculados e cálculos multi-etapa; o Nível 3 aborda síntese estratégica de nível especializado.
   • Nível 2 do tipo CMT: Focado em teoria de análise técnica, padrões de gráficos e estatísticas de mercado.
   • Nível 1 do tipo CFTe: Cobrindo conceitos básicos de análise técnica (tendências, médias móveis).
2. Tarefas de Negociação Aplicada:
   • Trading_TA: Reconhecimento de padrões, estratégias de momentum e back-testing.
   • Trading_derivatives: Precificação de opções, Gregos, hedge e estratégias de arbitragem.
3. Raciocínio no Estilo Olimpíada:
   • VLigaBench-ru: Um conjunto de dados em língua russa com 324 problemas em micro/macroeconomia, matemática financeira e teoria dos jogos, enfatizando raciocínio e cálculo sobre a resposta a perguntas padrão.

Protocolo de Avaliação

O benchmark emprega um protocolo de avaliação unificado para tipos de tarefas heterogêneas (múltipla escolha, respostas numéricas, respostas curtas abertas e perguntas vinculadas a casos).

• Pontuação: Para tarefas onde a correspondência exata é insuficiente, os autores utilizam um paradigma de LLM como juiz (especificamente usando GPT-5.2) para atribuir pontuações de correção binária a respostas de forma livre, fundamentado na literatura de avaliação automatizada.
• Métricas: As métricas primárias incluem precisão com intervalos de confiança de 95% calculados via bootstrap. A avaliação analisa o desempenho em três grupos agregados: tipo exame, benchmarks públicos (para comparação) e negociação/TA.
• Dimensões de Análise: O estudo investiga lacunas de transferência entre benchmarks públicos e especializados, degradação de desempenho através dos níveis de dificuldade (Nível 1 → 3), efeitos de escalonamento dentro da família e o poder discriminativo da dificuldade da pergunta (analisando as proporções de perguntas de "falha unânime", "sucesso unânime" e "faixa intermediária").

Principais Contribuições

1. Suíte FINESSE-Bench: O lançamento de oito conjuntos de dados especializados (3.993 perguntas) projetados para avaliar competências financeiras hierarquicamente, movendo-se de níveis fundamentais para níveis especializados.
2. Design de Avaliação Hierárquica: Um quadro que mede explicitamente a degradação do desempenho à medida que os modelos transitam do conhecimento financeiro básico para tarefas complexas, multi-etapa e de nível especializado.
3. Cobertura de Domínio Expandida: Inclusão de áreas subrepresentadas, como análise técnica, negociação de derivativos e raciocínio financeiro em língua russa, complementando benchmarks existentes centrados em relatórios.
4. Protocolo Unificado: Uma abordagem de avaliação padronizada combinando prompts fixos, inferência determinística e pontuação de LLM como juiz para tarefas financeiras heterogêneas.
5. Insights Diagnósticos: Evidência empírica demonstrando que um desempenho forte em benchmarks públicos clássicos não garante robustez em cenários financeiros especializados e orientados profissionalmente.

Principais Resultados

• Lacuna de Transferência: Existe uma lacuna consistente de desempenho entre benchmarks abertos clássicos e os grupos FINESSE-Bench. A maioria dos modelos exibe uma lacuna de transferência positiva (degradação) ao migrar de benchmarks públicos para tarefas tipo exame ou de negociação/TA. Por exemplo, modelos financeiros especializados (por exemplo, Fin-R1, Fino1-8B) e modelos menores de propósito geral mostram quedas significativas (0,27–0,36) no desempenho no FINESSE-Bench em comparação com conjuntos públicos.
• Hierarquia de Dificuldade: A hierarquia do tipo CFA captura efetivamente a degradação do desempenho. Embora alguns modelos mantenham ou melhorem ligeiramente o desempenho do Nível 1 para o Nível 2, todos os modelos avaliados mostram um declínio distinto no desempenho no Nível 3, confirmando a capacidade da suíte de testar a síntese de nível especializado.
• Poder Discriminativo: Ao contrário de benchmarks clássicos (por exemplo, TAT-QA, FinQA) que frequentemente têm altas taxas de "sucesso unânime" (perguntas resolvidas por todos os modelos), os subconjuntos do FINESSE-Bench (particularmente Níveis 2 e 3 do tipo CFA e Trading_derivatives) contêm uma alta proporção de perguntas de "faixa intermediária" (10–90% dos modelos resolvem corretamente). Isso indica uma capacidade superior de diferenciar entre modelos de capacidades variadas.
• Perfis de Modelo: Nenhum modelo único domina todos os grupos. Enquanto o Claude Sonnet 4.6 lidera em benchmarks públicos, o Qwen3.5-Plus-02-15 e o Kimi K2.5 demonstram equilíbrio e robustez superiores nos grupos tipo exame e de negociação/TA. O benchmark também revela distinções mais finas dentro das famílias de modelos (por exemplo, escalonamento do Qwen3), onde as lacunas de desempenho são mais pronunciadas no FINESSE-Bench do que em conjuntos de dados públicos.

Significado e Alegações

O artigo postula que o FINESSE-Bench serve como um complemento necessário aos benchmarks financeiros abertos existentes, e não como uma substituição. Seu significado reside na capacidade de expor a "lacuna de transferência" entre a alfabetização financeira geral (medida por benchmarks públicos) e a competência robusta e profissionalmente relevante.

Os autores afirmam que o FINESSE-Bench fornece:

• Diagnóstico Mais Fino: Revela pontos fortes e fracos em domínios especializados (derivativos, análise técnica) que são frequentemente mascarados em pontuações agregadas de benchmarks públicos.
• Avaliação Escalável: O design hierárquico permite que os profissionais acompanhem a melhoria do modelo não apenas na precisão, mas na retenção da qualidade à medida que a complexidade da tarefa aumenta.
• Avaliação Realista: Ao incorporar estruturas de estilo de exame e cenários aplicados, a suíte oferece uma avaliação mais substantiva das capacidades de raciocínio financeiro necessárias para implantações de alto risco.

Os autores reconhecem limitações, incluindo a licença não comercial devido a incertezas na proveniência dos dados, o potencial de contaminação de dados e a atual falta de cobertura em subdomínios específicos como conformidade regulatória e análise de seguros. Eles veem o FINESSE-Bench como um primeiro passo extensível em direção a um padrão mais completo para avaliar LLMs financeiros.