Resumo Técnico: FinProBench e Construção de Rubricas Baseadas em Papéis (RGRC)

Declaração do Problema

A rápida implantação de Grandes Modelos de Linguagem (LLMs) como agentes de IA para tarefas profissionais complexas superou o desenvolvimento de frameworks de avaliação capazes de avaliar a qualidade de entregáveis profissionais do mundo real. Os benchmarks financeiros existentes (ex: FinEval, CFinBench, FinBen) focam predominantemente em recuperação factual, análise de sentimento ou resposta de perguntas extrativas. Eles falham ao avaliar a produção de artefatos profissionais completos e de múltiplas páginas, como modelos de avaliação, relatórios de conformidade e artigos de pesquisa.

Um gargalo crítico na avaliação de saídas de código aberto é a construção de rubricas de alta qualidade. Métodos atuais — geração direta, extração contrastiva e refinamento iterativo — derivam critérios a partir de prompts de tarefas ou saídas de modelos. Essa abordagem ignora os padrões profissionais tácitos que estão incorporados em produtos de trabalho reais, mas raramente articulados nas descrições das tarefas. Além disso, a construção de rubricas existente carece de um mecanismo para reutilização em nível de papel (role-level), exigindo uma autoria laboriosa e específica para cada tarefa, o que não escala entre ocupações ou jurisdições.

Metodologia: Construção de Rubricas Baseada em Papéis (RGRC)

O artigo introduz a Construção de Rubricas Baseada em Papéis (RGRC), um pipeline projetado para destilar critérios de avaliação diretamente de entregáveis profissionais autênticos escritos por praticantes no mesmo papel ocupacional. O pipeline opera em quatro estágios:

1. Coleta de Entregáveis

A base é um corpus curado de documentos autênticos.

• Critério de Autenticidade: Um documento é incluído apenas se o autor corresponder ao papel ocupacional alvo (ex: excluindo artigos acadêmicos, registros regulatórios ou relatórios anuais elaborados por departamentos de RI).
• Priorização de Fontes: Os documentos são escalonados por confiança de autenticidade: Nível 1 (Autoria institucional direta), Nível 2 (Papéis próximos com sobreposição) e Nível 3 (Inferido a partir do conteúdo).
• Requisitos do Corpus: Para cada papel, é necessário um mínimo de 20 entregáveis de pelo menos 3 instituições distintas abrangendo ≥2 anos para capturar padrões evolutivos.

2. Extração de Competências

Dimensões latentes de qualidade são extraídas do corpus usando uma análise de LLM em duas fases:

• Análise por Documento: Identifica padrões estruturais, marcadores de profundidade analítica, convenções profissionais e diferenciadores de qualidade.
• Síntese Trans-Documental: Agrega achados para identificar padrões de nível de papel que aparecem consistentemente (frequência ≥60%) através de múltiplos autores e instituições. Isso distingue competências universais (ex: precisão numérica) de competências específicas do papel (ex: coerência de modelo DCF) e padrões implícitos (ex: seções obrigatórias de divulgação de risco).

3. Síntese de Rubrica

As competências extraídas são transformadas em critérios pontuados seguindo quatro princípios de design:

• Avaliabilidade: Os critérios devem ser independentemente julgáveis com regras de pontuação determinantes, evitando descrições subjetivas sem âncora.
• Ambiguidade Mínima: Os critérios utilizam indicadores observáveis concretos e limiares quantitativos para garantir alta concordância entre avaliadores (probabilidade ≥0,9).
• Não-Hackabilidade: Os critérios exigem cadeias de raciocínio de múltiplos passos onde resultados intermediários restringem respostas subsequentes para evitar o "gaming da rubrica".
• Ortogonalidade: Verifica-se que os critérios são minimamente correlacionados para evitar inflação mecânica de pontuação.
• Esquema de Pontuação: Os critérios recebem pesos (1–5), polaridade (positiva/negativa) e tags de categoria. Um mecanismo adaptativo de complexidade ajusta o número de critérios (38–49) com base na dificuldade da tarefa.

4. Validação

As rubricas geradas passam por um processo de validação de três portões:

• Portão 1 (QA Automatizado): Verifica a cobertura prompt-rubrica, alinhamento com o entregável, conformidade com os princípios e distribuição de pesos.
• Portão 2 (Revisão Discriminativa): Verifica se a rubrica consegue distinguir referências autênticas de alternativas degradadas ou geradas por modelos sem atribuir pontos por conformidade superficial.
• Portão 3 (Consistência entre Avaliadores): Exige um coeficiente $\kappa$ de Cohen $\ge 0,75$ entre avaliadores independentes (humanos ou LLM) para garantir a clareza da formulação.

Reuso de Papel-para-Tarefa: Uma característica arquitetônica fundamental é a separação entre Rubricas de Nível de Papel (padrões normativos compartilhados em todas as tarefas de uma ocupação) e Rubricas de Nível de Tarefa (camadas finas e específicas). Isso permite que 60–70% dos critérios sejam herdados, reduzindo o esforço de autoria por tarefa em um fator estimado de 6,7×.

O Benchmark FinProBench

O RGRC é instanciado como FinProBench, um benchmark construído sobre um corpus de 1.723 entregáveis do mundo real curados, abrangendo:

• 57 Ocupações Financeiras: Classificadas em 30 "papéis convencionais ricos em conhecimento prévio" (ex: analistas de ações) e 27 "papéis especializados com pouco conhecimento prévio" (ex: oficiais de conformidade especializados).
• 8 Sub-setores: Bancário, valores mobiliários, seguros, gestão de ativos, gestão de patrimônio, fintech, conformidade e engenharia de dados.
• 161 Tipos de Entregáveis.

O conjunto de avaliação inicial compreende 20 tarefas completas em 20 papéis e 7 sub-setores, cada uma consistindo em um prompt de tarefa, um entregável humano padrão-ouro e uma rubrica derivada do RGRC.

Resultados Experimentais

A avaliação utilizou um painel de quatro LLMs heterogêneos (GPT, DeepSeek, Qwen, Gemini) e comparou entregáveis humanos contra três agentes de IA (Codex, Qoder, Claude Code).

1. Cobertura de Padrões Profissionais

O estudo comparou o RGRC contra uma linha de base "Apenas Prompt" (usando conhecimentos prévios gerais do modelo para gerar rubricas).

• Papéis Convencionais (30): O método "Apenas Prompt" alcançou 89,2% de cobertura, quase igualando os 90,7% do RGRC. Isso sugere que modelos gerais já codificam convenções para papéis comuns.
• Papéis Especializados (27): O RGRC superou significativamente o "Apenas Prompt" (99,1% vs. 78,0%). Isso indica que, para papéis especializados, os padrões tácitos não estão codificados em conhecimentos prévios gerais e requerem fundamentação em entregáveis autênticos.

2. Confiabilidade do Juiz

As rubricas demonstraram alta consistência, com um $\kappa$ de Fleiss de 0,76 através do painel de juízes, atendendo ao limite de $\ge 0,75$ para pontuação automatizada confiável.

3. Desempenho Humano vs. Agente

Sob a rubrica de nível de papel padrão-ouro:

• Entregáveis Humanos classificaram-se em primeiro lugar em média (73,7/100).
• Agentes de IA seguiram com intervalos de confiança de 95% sobrepostos: Codex (70,3), Qoder (70,2) e Claude Code (69,6).
• Análise Dimensional: Humanos lideraram em completude estrutural, precisão de dados, conformidade e apresentação. Os agentes mostraram forças complementares; por exemplo, o Qoder liderou em profundidade analítica e divulgação de riscos, enquanto o Claude Code mostrou forte profundidade analítica, mas maior variância. Nenhum sistema dominou todas as dimensões.

Significância e Alegações

O artigo afirma que o FinProBench e o RGRC abordam três lacunas críticas na avaliação de IA financeira:

1. Mudança de Respostas para Entregáveis: Indo além da correção binária para avaliar produtos de trabalho profissional completos e estruturados.
2. Rubricas Baseadas em Evidências: Estabelecendo um paradigma onde os critérios de avaliação são derivados de trabalho humano autêntico em vez de prompts ou saídas de modelos, recuperando com sucesso padrões profissionais tácitos.
3. Escalabilidade através do Reuso: Demonstrando que a fundamentação em nível de papel permite o reuso de padrões normativos entre tarefas, reduzindo drasticamente o esforço para construir suítes de avaliação.

Os autores enfatizam que, embora a engenharia de prompt possa aproximar rubricas para papéis convencionais onde os padrões já estão codificados nos conhecimentos prévios do modelo, a fundamentação profissional autêntica é crítica para recuperar os padrões tácitos e específicos de papéis especializados. O framework é apresentado como agnóstico a jurisdições, dependendo da disponibilidade de um corpus de evidências alinhado ao papel, em vez de uma metodologia de construção específica.