🤖 machine learning

GAUGE: Grading Agent-Built Financial Models Without a Golden Answer

O artigo apresenta o GAUGE, um novo benchmark que avalia modelos financeiros construídos por IA em comparação com práticas observadas de analistas, em vez de uma única resposta "padrão ouro", revelando que, embora os agentes atuais se destaquem na construção mecânica de modelos, eles ainda estão significativamente atrás dos profissionais humanos em julgamento de avaliação.

Autores originais: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz em um programa de culinária. Geralmente, os juízes têm um único cartão de receita "perfeita". Se o prato de um competidor tiver um sabor mesmo que ligeiramente diferente desse cartão, ele perde pontos. Mas e se existirem dez maneiras diferentes de fazer uma lasanha deliciosa? E se a receita "perfeita" for apenas a opinião de uma pessoa, e a versão do competidor for igualmente saborosa, mas utilizar temperos diferentes? Este é o problema que os cientistas enfrentam ao testar a IA em tarefas complexas como a modelagem financeira. A modelagem financeira é como construir uma máquina de previsão detalhada para o futuro de uma empresa; ela mistura fatos concretos (como vendas passadas) com suposições instruídas (como a rapidez com que a empresa crescerá). Durante décadas, testamos a IA comparando seus palpites com a resposta de um único especialista. Mas se os próprios especialistas discordam sobre qual é o melhor palpite, punir a IA por ter uma resposta diferente, porém razoável, não parece justo. Este artigo questiona: Como avaliamos a IA quando não existe apenas uma resposta "certa"?

Os pesquisadores por trás deste estudo, intitulado GAUGE, decidiram parar de fingir que existe apenas um modelo financeiro perfeito. Eles construíram um novo campo de testes para ver se agentes de IA conseguem construir essas complexas "máquinas de previsão" financeiras e, mais importante, se conseguem fazer os julgamentos que os especialistas humanos fazem dentro delas.

Primeiro, eles testaram a antiga forma de avaliação. Eles pegaram 108 pares de modelos financeiros construídos por diferentes especialistas humanos para as mesmas empresas. Quando avaliaram o modelo de um especialista contra o de outro usando a antiga regra de "resposta única perfeita", os resultados foram chocantes. A mediana da pontuação foi de apenas 0,33 de 1,0. Na verdade, 92,6% dos pares pontuaram abaixo de 0,70. Isso significa que mesmo humanos profissionais, que são todos especialistas, frequentemente discordam tanto que, se você tratasse um como a "verdade", você reprovaria o outro. Acontece que, nas finanças, ser "diferente" não significa ser "errado".

Para corrigir isso, a equipe criou o GAUGE (Grading Agent-Built Financial Models Without a Golden Answer — Avaliação de Modelos Financeiros Construídos por Agentes Sem uma Resposta de Ouro). Em vez de um único cartão de receita, eles criaram um "envelope de segurança" baseado no que os especialistas reais realmente fazem. Imagine um alvo onde o centro não é um único ponto, mas um anel largo. Se o palpite de uma IA cair em qualquer lugar dentro desse anel de "comportamento de especialista razoável", ela recebe crédito. O sistema verifica duas coisas:

A Mecânica: A matemática funcionou? A planilha fechou o balanço? (Como verificar se o forno foi realmente ligado).
O Julgamento: Os palpites da IA caíram dentro da faixa do que os especialistas reais consideram defensável? (Como verificar se o tempero está dentro da faixa do paladar de um bom chef).

Eles testaram 24 agentes de IA diferentes neste novo sistema, juntamente com um grupo de 55 humanos, variando de estudantes de finanças a analistas seniores. Aqui está o que descobriram:

A IA está ficando boa na matemática, mas ruim no "feeling". Os agentes de IA foram excelentes nas partes mecânicas. Os melhores agentes de IA passaram em 93% das verificações mecânicas (garantindo que as fórmulas da planilha estavam corretas). No entanto, quando se tratava das partes de julgamento (fazer as previsões propriamente ditas), a melhor IA passou em apenas 78%.
O "Gap" é real. Em média, os agentes de IA foram 26 pontos melhores em construir o modelo do que em realizar os julgamentos de avaliação. Eles conseguem construir o carro, mas ainda não são bons em dirigi-lo.
Os humanos ainda vencem. A melhor IA pontuou 53,4. Isso foi melhor que a média dos estudantes de finanças (43,2), mas pior que todos os analistas seniores (que tiveram média de 88,3) e a maioria dos analistas juniores. A IA é inteligente o suficiente para fazer o dever de casa, mas não é tão inteligente quanto para ser o chefe.

O estudo sugere que, embora a IA esteja se tornando muito capaz de construir modelos financeiros complexos, a parte mais difícil — fazer os julgamentos matizados e defensáveis que os especialistas usam para avaliar uma empresa — continua sendo um desafio significativo. Os autores não encontraram apenas uma pontuação; eles provaram que a antiga forma de avaliar (procurar por uma resposta perfeita) era injusta tanto para humanos quanto para máquinas, e ofereceram uma nova maneira de medir o progresso que respeita a realidade complexa da discordância entre especialistas.

Resumo Técnico: GAUGE – Avaliando Agentes de Construção de Modelos Financeiros Sem uma "Resposta de Ouro"

1. Declaração do Problema

A modelagem financeira envolve a combinação de divulgações públicas com premissas de analistas para gerar projeções e avaliações. Embora os componentes mecânicos desses modelos (ex: precisão de dados históricos, equilíbrio de identidades contábeis) sejam objetivamente verificáveis, os componentes de avaliação (ex: projeções de receita, taxas de desconto, preços-alvo) admitem inerentemente múltiplas respostas razoáveis.

Os benchmarks existentes para agentes de IA financeira tipicamente avaliam saídas comparando-as com uma única referência elaborada por um especialista (uma "resposta de ouro"). Os autores argumentam que essa abordagem é falha para tarefas de avaliação porque penaliza agentes por discordarem de um analista de referência específico, mesmo quando as premissas do agente são defensáveis e consistentes com a prática profissional. Esse design confunde o desacordo profissional com erro de modelo, falhando em considerar a "indeterminação de classificação" inerente a artefatos financeiros abertos.

O artigo demonstra empiricamente esse problema ao avaliar modelos de analistas construídos de forma independente uns contra os outros. Em 108 pares direcionados cobrindo 65 empresas, a pontuação mediana usando uma abordagem de tolerância de ponto de referência única é 0,33, e 92,6% dos pares pontuam abaixo de 0,70. Nenhum par da mesma época concorda no preço implícito da ação dentro de uma margem de 10%. Isso sugere que a graduação padrão por tolerância de ponto penaliza o desacordo natural que existe mesmo entre analistas profissionais.

2. Metodologia: O Benchmark GAUGE

Para abordar as limitações da graduação de referência única, os autores introduzem o GAUGE, um benchmark projetado para avaliar modelos de avaliação construídos por agentes contra a prática observada de analistas, em vez de uma estimativa de ponto único.

2.1 Corpus e Design da Tarefa

Corpus: O benchmark é construído a partir de 1.001 planilhas de analistas classificadas por fornecedores, cobrindo 922 tickers de 25 setores GICS.
Formato da Tarefa: O conjunto de avaliação consiste em 196 tarefas (com um núcleo de 48 tarefas para avaliação de agentes). Os agentes recebem uma tarefa de "Excel-in / Modelo-out": são fornecidos com históricos brutos, esqueletos de segmentos e orientações, mas as projeções de consenso são ocultadas.
Entregáveis: Os agentes devem produzir um modelo baseado em fórmulas, avaliação, análise de sensibilidade, arquivo de premissas e um memorando.
Integridade dos Dados: O corpus é desidentificado, e um "pool de atualização retido" (~600 planilhas) é reservado para futura avaliação longitudinal para evitar contaminação.

2.2 Sistema de Pontuação

O GAUGE emprega uma pilha de pontuação de múltiplas camadas que separa a correção mecânica do julgamento:

Envelope de Defensibilidade de Três Camadas: Em vez de um ponto único, as quantidades que dependem de julgamento são avaliadas contra um intervalo derivado da prática observada.
- Método-E: Utiliza o mínimo/máximo de valores de múltiplos métodos e grades de sensibilidade dentro de uma planilha específica.
- E-indústria: Utiliza distribuições P10–P90 de premissas através da indústria.
- E-empresa: Calibra faixas utilizando a dispersão de múltiplos analistas cobrindo a mesma empresa.
- Pontuação: Valores dentro da faixa estreita pontuam 2; valores na faixa "próxima" ampliada (expandida pelo desacordo P90) pontuam 1; valores fora pontuam 0.
56 Facetas: O sistema avalia 56 facetas específicas categorizadas em:
- 29 Determinísticas (D): Verificações estruturais (ex: vinculação de fórmulas, identidades contábeis).
- 23 Avaliadas por LLM (J): Avaliações qualitativas de premissas e lógica.
- 4 de Regra Direta (R): Verificações baseadas em regras específicas (ex: pertencimento à faixa de WACC).
Portões de Validade (G1–G8): Oito portões determinísticos detectam falhas estruturais (ex: balanços desequilibrados, referências circulares, contaminação por olhar para o futuro/look-ahead). Se um portão for acionado, ele impõe um teto de pontuação (limite superior), impedindo que modelos estruturalmente inutilizáveis recebam pontuações altas apesar de saídas locais plausíveis.
Pontuação Sensível a Falhas ( $\phi_0$ ): A métrica primária atribui uma pontuação de 0 para não conclusões ou falhas de capacidade, garantindo que os agentes não possam ranquear alto simplesmente completando um subconjunto de tarefas enquanto falham em outras.

3. Configuração Experimental

Agentes: 24 agentes de 12 provedores (incluindo variantes de Claude, GPT-5, Gemini, Kimi, Qwen, etc.) foram avaliados no núcleo de 48 tarefas.
Linha de Base Humana: Um estudo de grupos conhecidos com 55 participantes foi conduzido com três grupos: Analistas Seniores (12), Analistas Juniores (18) e Estudantes de Finanças (25). Os participantes trabalharam sob as mesmas restrições que os agentes (sem acesso à rede, mesmos inputs), mas sem o orçamento de tempo rigoroso.
Protocolo de Avaliação: Os agentes utilizaram um harness de chamada de ferramentas padronizado. Cada tarefa foi executada uma vez por agente para evitar viés de melhor caso.

4. Principais Resultados

4.1 Desempenho do Agente vs. Humanos

Na pontuação sensível a falhas $\phi_0$ :

Analistas Seniores: Média de 88,3
Analistas Juniores: Média de 66,0
Estudantes de Finanças: Média de 43,2
Melhor Agente (Claude Fable 5): Pontuou 53,4.
- Isto está acima da média dos estudantes, mas abaixo de todos os analistas seniores e de 15 dos 18 analistas juniores.
- 33 dos 55 participantes humanos superaram o melhor agente.

4.2 Lacuna Mecânica vs. Julgamento

Uma descoberta crítica é a disparidade entre a capacidade de um agente de construir modelos e sua capacidade de exercer julgamento de avaliação:

Facetas Mecânicas: O melhor agente passou em 93% das facetas mecânicas (corretude estrutural/formulaica).
Facetas de Julgamento: O melhor agente passou em apenas 78% das facetas de julgamento.
Lacuna Mediana da Frota: Entre os 24 agentes, a lacuna mediana entre as taxas de aprovação mecânica e de julgamento é de 26 pontos.
Conclusão: Os agentes atuais são substancialmente mais fortes na construção de modelos do que no julgamento de avaliação.

4.3 Validade e Estabilidade

Ordenação de Grupos Conhecidos: O benchmark ordena com sucesso os humanos por experiência (Sênior > Júnior > Estudante) com alta significância estatística ( $p < 10^{-6}$ ).
Impacto dos Portões: Remover os portões de validade inverteu 11 de 286 ordenações de pares de modelos, confirmando que as verificações estruturais são necessárias para evitar pontuações infladas para modelos quebrados.
Estabilidade do Juiz: A votação repetida por um único juiz congelado (5 sorteios) rendeu um Kendall's $\tau$ de 0,944, indicando alta estabilidade de amostragem.

5. Significância e Alegações

O artigo alega três contribuições principais:

Exame Empírico da Premissa de Referência Única: Demonstra que avaliar contra uma única referência de especialista é problemático para avaliação, pois analistas profissionais frequentemente discordam sobre inputs chave (WACC, crescimento terminal, preço implícito), mesmo produzindo modelos internamente consistentes.
Introdução do GAUGE: Fornece um benchmark que desacopla a verificação mecânica da avaliação de julgamento, utilizando um "envelope de prática observada" para graduar escolhas defensáveis em vez de respostas idênticas.
Identificação de Capacidades de Agentes: Estabelece que, embora os agentes estejam se tornando capazes de automatizar a construção de modelos financeiros, o julgamento necessário para a avaliação permanece um gargalo significativo.

Os autores enfatem que o GAUGE não pretende estabelecer uma "verdade fundamental" para a avaliação (já que múltiplas respostas defensáveis existem), mas sim fornece um framework para avaliar se as escolhas de um agente caem dentro do intervalo da prática profissional observada. O lançamento inclui a metodologia, divisões de dados com portões e um núcleo longitudinal versionado para suportar avaliação reprodutível e controlada de contaminação.