Resumo Técnico: MortarBench e CRIT

Declaração do Problema

O processo de originação de empréstimos hipotecários é um domínio crítico e de alto risco, envolvendo avaliação complexa de riscos e conformidade regulatória (ex: diretrizes da Fannie Mae, Freddie Mac). Embora as empresas estejam integrando cada vez mais agentes de Grandes Modelos de Linguagem (LLMs) para auxiliar os agentes de crédito na validação dos perfis financeiros dos candidatos contra extratos bancários, a indústria carece de um benchmark padronizado para avaliar esses agentes. Os benchmarks de QA financeira existentes não abordam adequadamente os desafios específicos da análise hipotecária, que exigem a reconciliação de extratos bancários não estruturados com perfis estruturados de candidatos (arquivos ULAD) para detectar inconsistências, calcular métricas financeiras específicas e garantir a conformidade regulatória. Além disso, a incapacidade de compartilhar dados financeiros reais devido a preocupações com privacidade tem dificultado a criação de conjuntos de dados de avaliação realistas e ricos em casos extremos (edge cases).

Metodologia

1. Criação do Conjunto de Dados MortarBench

Para abordar a falta de padrões de avaliação, os autores introduzem o MortarBench (Mortgage Transaction Analysis, and Reasoning Benchmark). O pipeline de geração de dados emprega uma abordagem de síntese e mutação de dados financeiros para superar as restrições de privacidade, garantindo simultaneamente a consistência interna:

• Síntese de Dados: Os autores amostraram 300 extratos bancários reais para extrair estatísticas de resumo anônimas (frequências e valores médios de tipos de transações como folha de pagamento, despesas habitacionais, cripto e BNPL) . Essas estatísticas foram usadas para gerar proceduralmente extratos bancários sintéticos (períodos de 60 dias) que correspondem às distribuições do mundo real.
• Geração de ULAD: Arquivos Uniform Loan Application Dataset (ULAD) foram gerados usando uma abordagem baseada em modelos conforme o esquema da Freddie Mac. Os valores no ULAD (ativos, passivos) foram computados diretamente a partir dos extratos bancários sintéticos para garantir a consistência.
• Geração de Perguntas e Respostas: Perguntas do mundo real de um chatbot de assistência a empréstimos em produção foram curadas e refinadas por especialistas. As perguntas foram categorizadas em três tipos de resposta: Booleana, Lista de Transações (IDs) e Lista de Contas (IDs).
• Mutação para Casos Extremos: Para garantir a cobertura equilibrada de casos extremos, os autores projetaram funções de mutação. Para uma determinada pergunta e resposta desejada (ex: "3 transações de BNPL"), o sistema edita programaticamente o extrato bancário e o ULAD para forçar esse resultado específico, mantendo a consistência do documento. Isso permite a geração de exemplos tanto positivos quanto negativos para cada consulta.

O conjunto de dados final compreende 188 casos de teste derivados de 47 perguntas únicas, com uma média de 33,6 transações por extrato bancário.

2. O Framework CRIT

Observando que os modelos de linha de base exibiam uma severa supersensibilidade (altos falsos positivos, zero falsos negativos em alguns casos), os autores propõem o CRIT (Confidence Reflection Inference for Transactions).

• Mecanismo: Em vez de simplesmente fornecer uma lista de transações, o agente gera um escore de confiança (1–5) para cada transação potencial incluída em sua resposta. Esse escore reflete a probabilidade de correção baseada no número e na força das suposições necessárias para justificar a inclusão.
• Limiarização (Thresholding): O sistema aplica um limiar rígido ($T=5$), descartando qualquer transação com um escore de confiança abaixo deste valor.
• Objetivo: Esta abordagem visa alinhar os modelos para longe da supersensibilidade, melhorar o direcionamento da gestão de risco e reduzir o viés, permitindo que o sistema filtre inclusões de baixa confiança e potencialmente errôneas.

Principais Resultados

Métricas de Desempenho

• Desempenho de Linha de Base: Modelos proprietários de última geração apresentaram um desempenho ruim no MortarBench, com o melhor modelo de linha de base (Gemini 3.1 Pro) alcançando apenas 77,1% de precisão de Correspondência Exata (EM).
• Impacto do CRIT: O framework CRIT melhorou o desempenho em todos os modelos testados. Para o Gemini 3.1 Pro, o CRIT aumentou a precisão EM para 80,5% e o F1 para 83,6.
• Redução de Erros: O CRIT proporcionou uma redução de erro de 14,8% sobre a linha de base mais forte. Os ganhos mais significativos foram observados em perguntas de lista de transações, onde os modelos de linha de base tiveram dificuldades com a supersensibilidade.
• Mitigação de Viés: O CRIT reduziu a lacuna de classificação de "origem estrangeira" entre nomes de origem inglesa e não inglesa de 77,0% para 54,0% no modelo Gemini de linha de base.

Análise de Falhas

A revisão manual de 36 traços de raciocínio errôneos do modelo Gemini de linha de base identificou quatro modos principais de falha:

1. Classificação Incorreta de Transação (33,3%): Categorização incorreta de transações baseada em descrições (ex: identificar incorretamente um empréstimo pessoal como BNPL).
2. Erros de Correspondência de Valor (27,8%): Falha ao corresponder corretamente valores calculados contra limites declarados (ex: pagamentos de aluguel excedendo os totais do ULAD).
3. Falta de Conhecimento de Domínio (22,2%): Assumir incorretamente normas da indústria (ex: assumir que todas as transferências via wire transfer são internacionais).
4. Interpretação Incorreta de Restrições (11,1%): Interpretar incorretamente as restrições do prompt (ex: classificar pagamentos únicos como recorrentes).

Estocasticidade e Consistência

Os autores analisaram a consistência do erro usando o Risk Ratio (RR). Um RR de 12,7 foi encontrado para o Gemini de linha de base, indicando que os erros não são devidos à estocasticidade aleatória, mas sim a crenças falsas consistentes dentro do modelo. Isso sugere que os modelos dependem de padrões de raciocínio espúrios em vez de compreensão genuína.

Análise de Viés

O estudo revelou vieses sistemáticos nos LLMs em relação a nomes de origem não inglesa:

• Viés de Origem Estrangeira: Transferências associadas a nomes de origem não inglesa (especialmente escritas não latinas como árabe, hindi e mandarim) foram classificadas como "origência estrangeira" em 77,0% dos casos, comparado a apenas 13,3% para nomes ingleses.
• Sensibilidade de Escrita: O viés foi mais pronunciado para escritas não latinas (93,3%) do que para escritas latinas não inglesas (52,5%).
• Viés de IVTS: Usuários de Sistemas de Transferência de Valor Informal (IVTS) enfrentaram taxas de recall mais altas para classificação "estrangeira" em comparação com sistemas de pagamento formais, indicando tratamento desigual potencial.

Significância e Alegações

O artigo alega as seguintes contribuições e significância:

1. Primeiro Benchmark Especializado: O MortarBench é o primeiro benchmark projetado especificamente para tarefas de análise hipotecária, preenchendo uma lacuna crítica na capacidade da indústria de avaliar agentes de LLM.
2. Cobertura Realista de Casos Extremos: Ao usar um pipeline baseado em mutação, o conjunto de dados gera com sucesso exemplos realistas com ampla cobertura de casos extremos que correspondem às distribuições do mundo real, superando as barreções de privacidade dos dados financeiros reais.
3. Demonstração das Fraquezas dos Modelos: O benchmark expõe que os modelos de fronteira atuais lutam contra a supersensibilidade, raciocínio complexo de listas e exibem viés significativo contra nomes de origem não inglesa e sistemas de pagamento informais.
4. Estratégia de Mitigação Eficaz: O framework CRIT é apresentado como uma estratégia centrada no ser humano que não apenas melhora a precisão, mas também aumenta a capacidade de direcionamento (steerability) e a gestão de risco. Ao ajustar os limiares de confiança, os usuários podem trocar entre falsos positivos e falsos negativos com base no custo dos erros em um contexto financeiro.
5. Chamada para Especialidade de Domínio: A análise dos padrões de erro sugere que melhorar esses sistemas requer mais do que apenas modelos maiores; necessita de expertise de domínio adicional em contexto e pós-treinamento relevante para corrigir crenças falsas consistentes.

Os autores concluem que, embora os LLMs mostrem promessa para melhorar a eficiência, o estado atual da tecnologia exige supervisão humana (human-in-the-loop), particularmente para o raciocínio de listas de transações e mitigação de viés.