Resumo Técnico: InvestPhilBench

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implementados como assistentes de pesquisa de investimento, contudo, os benchmarks existentes falham em avaliar se os modelos conseguem reconstruir e aplicar com precisão os frameworks de decisão procedimentais específicos de investidores especialistas. Os benchmarks atuais focam em recuperação factual (ex: FinanceBench), raciocínio numérico (ex: FinQA) ou resultados de decisões baseadas em agentes (ex: INVESTORBENCH). Eles não testam se um modelo compreende a lógica sequencial, condicional e de "critério de interrupção" (kill-criterion) que define a filosofia de um investidor (ex: o "Círculo de Competência" de Warren Buffett ou a lógica dependente de regime de Ray Dalio).

O artigo argumenta que o conhecimento da filosofia de investimento é distinto do cálculo financeiro ou da recuperação de documentos porque é procedimental, atribuído, contraditório e comparativo. Os modelos frequentemente falham por:

• Omissão de Critérios de Interrupção: Prosseguir com a análise após um gatilho que deveria encerrar o processo (ex: avaliar a relação P/L de uma empresa farmacêutica apesar de ela estar fora do círculo de competência de Buffett).
• Achatamento de Operacionalizações: Confundir definições distintas de conceitos compartilhados (ex: aplicar o filtro mecânico "net-net" de Graham a uma pergunta sobre a "margem de segurança" de Buffett).
• Conflação Temporal: Mesclar posições históricas contraditórias (ex: a rejeição de companhias aéreas por Buffett em 2001 versus sua compra delas em 2016).
• Difusão de Voz: Misturar as distintas personas analíticas de diferentes investidores.

Metodologia

1. Taxonomia Cognitiva (L1–L8)

O InvestPhilBench introduz uma taxonomia cognitiva de oito camadas para avaliar a profundidade do raciocínio:

• L1–L3 (Recuperação Factual): Identificação de princípios, atribuição de fonte e recall de operacionalização.
• L4–L5 (Reconstrução Procedimental): Reconstrução de processos de decisão de múltiplas etapas na ordem correta e comparação de frameworks entre investidores.
• L6–L8 (Aplicação Generativa): Reconhecimento de contradições, aplicação de frameworks a cenários inéditos e extrapolação para desenvolvimentos macroeconômicos não observados.

2. Arquitetura do Dataset (v0.6)

O lançamento compreende um dataset verificado por fontes primárias:

• 118 Cartões de Princípios: Princípios de investimento resolvidos por revisores, com critérios operacionais explícitos e citações de fontes.
• 25 Cartões de Framework de Decisão: Representações estruturadas em JSON dos processos de decisão de investidores, anotadas com metadados de topologia (ex: linear_sequential, parallel_threshold, conditional_branch) e lógica de gatilhos (gate logic).
• 243 Perguntas de QA: 197 perguntas de desenvolvimento e 46 de teste retidas, incluindo 8 perguntas de dificuldade "hard" de nível especialista visando padrões específicos de falha em nível de gatilho.
• Programas de Raciocínio de Ouro (GRPs): Para perguntas L4 e L7, o dataset inclui "programas de ouro" estruturados definindo a sequência exata de gatilhos, vereditos (PROCEED/REJECT/INCONCLUSIVE) e elementos necessários, permitindo a avaliação dupla da execução (veredito final) e da precisão do programa (caminho de raciocínio).

3. Protocolo de Avaliação

O benchmark emprega um design de três condições para decompor lacunas de desempenho:

• Condição A (Closed-book): Testa o conhecimento de pré-treinamento.
• Condição B (PKB-augmented/RAG): Testa o raciocínio aumentado por recuperação utilizando os top-3 cartões de princípios recuperados.
• Condição C (Oracle): Testa a aplicação procedimental injetando o cartão de framework exato da verdade fundamental (ground-truth).

4. Pipeline de Pontuação Automatizada (BASP)

Para substituir rubricas qualitativas, o artigo introduz o Benchmark Automated Scoring Pipeline (BASP), composto por cinco métricas algorítmicas:

1. OGRS (Ordered Gate Reconstruction Score): Penaliza tanto a omissão de gatilhos quanto a ordenação incorreta.
2. KCCS (Kill Criterion Coverage Score): Mede a cobertura F1 das condições específicas que disparam uma "interrupção" (rejeição).
3. SAP@k (Source Attribution Precision): Avalia a atribuição nos níveis de entidade, documento e contexto.
4. IVP (Investor Voice Precision): Utiliza embeddings para garantir que a resposta do modelo retenha a assinatura lexical e conceitual específica do investidor atribuído.
5. CKCA (Compound Kill Criterion Accuracy): Avalia frameworks institucionais com critérios de interrupção de múltiplos componentes.

Adicionalmente, o algoritmo de Protocolo de Detecção de Modos de Falha (FMDP) detecta algoritmicamente seis modos de falha (ex: Alucinação de Gatilho, Conflação Temporal) com regras computáveis. Uma métrica mais rigorosa, Gate Reconstruction Accuracy (GRA), avalia a reconstrução por gatilho (nome, veredito, elementos) para expor déficits mascarados por pontuações compostas.

Principais Resultados (Sanity Wave v0.6)

O artigo relata uma "onda de sanidade" preliminar (W1) avaliando quatro modelos (Claude Sonnet 4.6, GPT-5.5, Gemini Flash Lite, Gemini 3.5 Flash) sob a Condição A (closed-book) usando um setup de juiz misto.

• Divisão por Tier de Provedor: Modelos de fronteira (Claude, GPT) superam significativamente modelos de baixo custo (Gemini) em todas as camadas, com um colapso acentuado em L8 para estes últimos.
• Divergência entre Composto e GRA:
  • Saturação do Composto: A pontuação composta do BASP para modelos de fronteira é alta (ex: Claude L4 = 0.932), não mostrando "declínio" entre as camadas fatuais (L3) e procedimentais (L4). Isso sugere que a pontuação composta recompensa a prosa fluente e esconde lacunas procedimentais.
  • Déficit Procedimental Exposto pela GRA: Quando avaliados com a métrica mais rigorosa Gate Reconstruction Accuracy (GRA), os modelos de fronteira caem significativamente (L4 GRA ≈ 0.77; L7 GRA ≈ 0.57–0.62). Isso revela um déficit procedimental residual onde os modelos nomeiam corretamente os gatilhos, mas falham em reconstruir os critérios de interrupção ou a lógica do veredito.
• Modos de Falha: Os modos de falha mais prevalentes são a Omissão de Critério de Interrupção (FM-3, 42.5%) e o Achatamento de Operacionalização (FM-5, 35.0%). Modelos de fronteira exibem taxas baixas desses erros em comparação aos modelos de baixo custo, que apresentam altas taxas de colapso procedimental.
• Piloto de Três Condições: Um pequeno piloto (n=10) sugere que, embora fornecer a fonte correta (Oracle) melhore as pontuações em relação ao closed-book (Lacuna de Conhecimento), a recuperação direcionada (Condição B) às vezes supera a injeção de framework completo (Condição C), provavelmente devido à distração de contexto longo. Uma Lacuna de Aplicação residual persiste mesmo com a fonte correta em contexto.

Significância e Alegações

O artigo posiciona o InvestPhilBench como uma contribuição de benchmark e metodologia, e não como um leaderboard definitivo de modelos. Suas principais alegações são:

1. Inovação Metodológica: É o primeiro benchmark a avaliar LLMs na reconstrução procedimental de frameworks de investimento especializados, indo além da recuperação factual ou avaliação baseada em resultados.
2. Design de Métricas: Demonstra que a pontuação composta satura na fronteira, mascarando déficits procedimentais. A métrica Gate Reconstruction Accuracy (GRA) é apresentada como a ferramenta necessária para expor esses déficits, distinguindo entre prosa fluente e lógica de gatilho correta.
3. Taxonomia de Modos de Falha: Fornece uma taxonomia quantificada de erros sistemáticos (ex: Conflação Temporal, Difusão de Voz) com regras de detecção algorítmica, oferecendo um framework diagnóstico para melhoria de modelos.
4. Resistência à Contaminação: Através de perturbação dinâmica (substituição de métricas, deslocamento temporal) e um protocolo de fronteira de carreira de "investidor vivo", o benchmark visa resistir à contaminação de dados de corpora de pré-treinamento.

Os autores declaram explicitamente que os resultados empíricos apresentados são uma "onda de sanidade preliminar" destinada a testar o design das métricas. O leaderboard completo de múltiplos modelos, os resultados de juiz unificado desconfundados e os estudos de confiabilidade humana são adiados para o lançamento da v1.0. O artigo conclui que distinguir o entendimento procedimental genuíno da recuperação por correspondência de padrões é crítico para a implantação segura de LLMs no setor financeiro institucional, e o InvestPhilBench fornece a infraestrutura para tornar essa distinção.