Capital Markets LLM Reliability Score (CM-LRS): From Plausible to Bankable

Resumo Técnico: Pontuação de Confiabilidade de LLM para Mercados de Capitais (CM-LRS)

Definição do Problema
Os métodos atuais de avaliação de Grandes Modelos de Linguagem (LLMs) em finanças são insuficientes para fluxos de trabalho de alto risco e regulamentados nos mercados de capitais. Embora os modelos de fronteira possam produzir rascunhos fluentes e com precisão superficial, os benchmarks existentes (ex: MMLU, FinanceBench, FinQA) avaliam primariamente no nível de par pergunta-resposta ou de componente. Eles falham em avaliar a "bancabilidade" da saída de um fluxo de trabalho: a capacidade de um banqueiro, analista ou oficial de conformidade defender o resultado contra uma contraparte ou regulador. Modos de falha críticos invisíveis à pontuação de pares de QA incluem alegações carentes de rastreabilidade de fonte, inconsistências numéricas em figuras derivadas, etapas de fluxo de trabalho puladas e a adição de conteúdo não suportado. O artigo argumenta que a plausibilidade é barata, mas a "bancabilidade" — a capacidade de um resultado ser verificado, auditado e colocado em prática sem grandes retrabalhos — é o patamar necessário para a implantação.

Metodologia
O artigo introduz a Pontuação de Confiabilidade de LLM para Mercados de Capitais (CM-LRS), um conjunto de métricas projetado para avaliar saídas de LLM no nível de saída do fluxo de trabalho, em vez do nível da tarefa.

1. Taxonomia de Fluxo de Trabalho: Os autores definem uma taxonomia de cinco classes para tarefas de mercados de capitais: Extração, Recuperação, Síntese, Comparação & Raciocínio e Redação. Esta taxonomia informa a ponderação das dimensões de avaliação para casos de uso específicos.
2. Sete Dimensões de Confiabilidade: O CM-LRS avalia as saídas através de sete dimensões, cada uma pontuada em uma rubrica ordinal de 0 a 5 ancorada em sinais práticos usados por revisores do domínio:
   • D1 Precisão Factual: Correção de alegações substantivas em relação às fontes.
   • D2 Rastreabilidade de Evidência: Vinculação de alegações a passagens verificáveis da fonte.
   • D3 Consistência Numérica: Correção de números extraídos, transformados e derivados.
   • D4 Completude do Fluxo de Trabalho: Conclusão de todas as etapas necessárias da tarefa sem elisão.
   • D5 Disciplina de Fonte: Ausência de suposições não suportadas, fabricação ou preenchimento (padding).
   • D6 Utilidade de Decisão: Utilidade prática para um tomador de decisão downstream (ex: um banqueiro).
   • D7 Revisabilidade/Auditabilidade: Capacidade de um humano verificar a proveniência e reprodução.
3. Protocolo de Pontuação:
   • Modelos Avaliados: Quatro modelos foram testados: Claude Opus 4.7, GPT-5.5, Claude Sonnet 4.6 e Llama 3.3 70B Instruct.
   • Juízes: Para controlar o viés de autopercepção e o viés de família, foi empregado um protocolo de quatro juízes usando três famílias de modelos: Sonnet 4.6 (dentro do painel), GPT-5.5 (dentro do painel), Haiku 4.5 (fora do painel, mesma família) e Gemini 2.5 Pro (fora do painel, família diferente).
   • Datasets: Cinco fluxos de trabalho demonstrativos foram construídos usando registros públicos do SEC EDGAR, um comunicado de RI de uma aquisição pública do Reino Unido e suplementos sintéticos de estilo nórdico para garantir a reprodutibilidade.
   • Agregação: A pontuação agregada é uma soma ponderada das sete dimensões. Pesos padrão são fornecidos por classe de fluxo de trabalho, embora o artigo note que estes podem ser ajustados via métodos como AHP ou regressão de preferência revelada.

Principais Resultados
A avaliação gerou três descobertas primárias sobre o desempenho dos modelos e a utilidade do framework CM-LRS:

1. Convergência de Modelos de Fronteira: Os três modelos proprietários de fronteira (Sonnet 4.6, Opus 4.7, GPT-5.5) são estatisticamente indistinguíveis em termos de confiabilidade de saída de fluxo de trabalho, agrupando-se em uma banda de 0,22 pontos na média de quatro juízes do CM-LRS (Sonnet: 4,31, Opus: ,430, GPT-5.5: 4,09). O ranking entre estes três é dependente do juiz. Em contraste, a linha de base de pesos abertos (Llama 3.3 70B) pontuou significativamente abaixo, com 3,15, ficando atrás do cluster de fronteira por aproximadamente um ponto.
2. Concentração de Gap: O gap de desempenho entre os modelos de fronteira proprietários e a linha de base de pesos abertos não é uniforme. Ele está concentrado fortemente em fluxos de trabalho de recuperação (gap de 2,23 pontos) e síntese (gap de 2,15 pontos). O gap diminui significativamente em tarefas de extração de documento único (gap de 0,84 pontos), sugerindo que modelos de pesos abertos têm mais dificuldade com síntese de múltiplos documentos e atribuição de fonte do que com extração de campos estruturados.
3. Utilidade de Decisão (D6) como Sinal: A dimensão Utilidade de Decisão (D6) exibiu a maior dispersão entre modelos (um spread de 4,0 pontos no fluxo de perfil de emissor) enquanto mantinha alta concordância entre juízes (Pearson $r$ médio = 0,52). Esta combinação torna o D6 o sinal mais limpo ao nível de dimensão para prontidão de produção; ele separa efetivamente saídas que um revisor pode utilizar daquelas que exigem grande retrabalho.

Significância e Alegações
O artigo posiciona o CM-LRS não como um substituto para benchmarks de QA, mas como um complemento necessário para a prontidão de implantação em ambientes regulamentados. Sua significância reside em:

• Operacionalização da "Bancabilidade": Desloca o foco da avaliação de "o modelo consegue responder a uma pergunta?" para "um humano consegue defender esta saída?".
• Alinhamento de Governança: O framework é projetado para integrar-se com padrões emergentes de governança de IA, especificamente o NIST AI Risk Management Framework (como ferramenta de medida/gestão) e a Lei de IA da UE (como evidência para avaliação de conformidade de sistemas de alto risco).
• Orientação Prática de Implantação: Os resultados sugerem que, para fluxos de trabalho de alto risco nos mercados de capitais, a escolha entre modelos de fronteira proprietários de alto nível deve ser impulsionada por custo, latência e adequação à classe de fluxo de trabalho, em vez de métricas de confiabilidade de manchete, já que seus escores CM-LRS são efetivamente equivalentes. Por outro lado, o gap significativo para modelos de pesos abertos em síntese e recuperação sugere cautela ao implantá-los para fluxos de trabalho complexos de múltiplos documentos sem controles adicionais.
• Princípio de "Prever, Calcular, Decidir": O framework reforça o princípio operacional de que os LLMs devem ser usados para análise de intenção e orquestração, enquanto cálculos numéricos devem ser tratados por código determinístico, e decisões finais por humanos. O CM-LRS serve como a métrica para verificar a adesão a este princípio.

O artigo conclui que o CM-LRS fornece uma métrica defensável, rastreável e alinhada ao revisor para avaliar as saídas de LLM antes da implantação, abordando uma lacuna crítica na avaliação atual de IA financeira. Todas as rubricas, prompts e dados são liberados publicamente para apoiar extensão e crítica.