Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting

Resumo Técnico: Além da Similaridade Semântica na Análise de Crédito Corporativo

Declaração do Problema
A análise de crédito corporativo depende da análise de documentos financeiros longos e heterogêneos, incluindo relatórios anuais e análises setoriais. Os analistas devem extrair indicadores financeiros específicos, avaliar divulgações de risco e sintetizar insights de documentos que abrangem centenas de páginas e múltiplos idiomas. Embora os sistemas de Geração Aumentada por Recuperação (RAG) tenham surgido para auxiliar esses fluxos de trabalho, as pipelines padrão priorizam a similaridade semântica entre consultas e trechos de documentos. Em contextos financeiros, essa abordagem frequentemente falha em alinhar-se às necessidades dos analistas; os documentos frequentemente contêm descrições narrativas, divulgações regulatórias e linguagem repetitiva padrão. Consequentemente, a recuperação baseada em similaridade pode trazer à tona trechos que compartilham terminologia com uma consulta, mas carecem de valor analítico acionável. Os autores identificam essa discrepância como a "lacuna entre similaridade e utilidade", onde conteúdo topicamente relacionado não necessariamente apoia a tomada de decisão.

Metodologia
Para preencher essa lacuna, os autores propõem um fluxo de trabalho de recuperação não paramétrico em duas fases, projetado especificamente para suporte à decisão empresarial. O sistema opera inteiramente localmente (on-premise) usando modelos de código aberto auto-hospedados para garantir conformidade com políticas estritas de governança de dados. A arquitetura consiste em cinco componentes principais:

1. Ingestão de Documentos: Documentos financeiros são segmentados em seções estruturadas usando pistas de layout. Cada segmento é indexado com metadados, incluindo origem, título da seção e referências de página, para preservar informações estruturais para processamento a jusante.
2. Fase 1: Recuperação Híbrida de Candidatos: Esta fase visa alta recuperação (recall) em documentos multilíngues. Emprega uma estratégia híbrida combinando recuperação por palavras-chave (para preservar a precisão de terminologia financeira) e recuperação semântica densa usando embeddings multilíngues. Um valor TopK de 50 é usado para gerar um pool inicial de candidatos de alta recuperação ($C_0$).
3. Fase 2: Controlador de Recuperação Adaptativo e Reclassificação Baseada em Utilidade:
   • Controlador Adaptativo: Um modelo de linguagem leve avalia candidatos com base na intenção da consulta e na estrutura do documento. Ele prevê três métricas para cada passagem: relevância ($Rel_i$), suporte de evidência ($S_i$) e uma pontuação de utilidade ($U_i$). O controlador filtra o conjunto de candidatos ($C_1$) aplicando uma condição lógica onde o suporte de evidência é considerado apenas se a relevância for estabelecida, efetivamente podando linguagem padrão semanticamente relacionada, mas analiticamente irrelevante.
   • Reclassificação Baseada em Utilidade: Os candidatos restantes são classificados usando um framework "LLM como Juiz". Em vez de medir a similaridade com a consulta, o modelo avalia as passagens com base em sua utilidade de decisão para análise de crédito. Um limite ajustável ($U_{threshold}$) equilibra precisão e recuperação, filtrando passagens que contêm evidência financeira acionável.
4. Extração de Evidências Consciente do Contexto: Para prevenir a distorção do significado ou perda de atribuição, o sistema emprega estratégias de extração distintas com base na estrutura do conteúdo:
   • Seções Narrativas: Usa segmentação consciente de markdown para preservar cabeçalhos, listas com marcadores e limites de parágrafo.
   • Dados Tabulares: Distingue entre tabelas não complexas (analisadas para extrair linhas/células específicas) e tabelas complexas (cabeçalhos multinível, células mescladas). Para tabelas complexas, o sistema preserva o contexto completo da tabela junto com metadados de origem (nome do documento, referência de página) para apoiar a verificação manual e a atribuição precisa.

Principais Contribuições
O artigo delineia quatro contribuições principais:

• Um framework de recuperação baseado em utilidade que alinha a classificação de passagens com a utilidade de decisão na análise de crédito, indo além da mera similaridade semântica.
• Um controlador de recuperação adaptativo que filtra passagens candidatas usando sinais de intenção da consulta e estrutura do documento.
• Um módulo de extração consciente do contexto que preserva informações estruturais tanto em conteúdo financeiro narrativo quanto tabular.
• Uma implantação empresarial demonstrando grandes ganhos de produtividade, operando inteiramente dentro de um ambiente regulado e local (on-premise).

Resultados
O sistema foi avaliado em um corpus multilíngue de documentos internos de crédito corporativo, com rótulos de relevância curados por analistas de crédito seniores. Devido à natureza proprietária dos dados, conjuntos de dados detalhados e estudos de caso não foram divulgados publicamente. No entanto, em uma implantação no mundo real envolvendo mais de 800 analistas, o sistema demonstrou ganhos significativos de eficiência, reduzindo o tempo de revisão de documentos de várias horas para aproximadamente três minutos. A avaliação indica que a abordagem proposta melhora significativamente o desempenho de recuperação em comparação com sistemas de recuperação ingênua tradicionais, trazendo à tona passagens contendo evidência financeira verificável.

Significância e Alegações
Os autores afirmam que a significância do sistema reside em sua capacidade de otimizar para utilidade analítica em vez de apenas similaridade semântica, abordando diretamente as necessidades de fluxos de trabalho empresariais em ambientes financeiros regulados. Ao combinar recuperação híbrida, controle adaptativo de candidatos e classificação baseada em utilidade, o sistema prioriza evidência financeira acionável. A implantação local (on-premise) garante que dados financeiros sensíveis permaneçam locais, satisfazendo requisitos estritos de governança e auditabilidade.

Trabalho Futuro
O artigo observa que o trabalho futuro explorará a extração aprimorada de dados estruturados de tabelas financeiras. Especificamente, os autores sugerem integrar pipelines especializados de Reconhecimento Óptico de Caracteres (OCR) e Modelo de Linguagem de Visão (VLM) para extrair informações numéricas estruturadas diretamente de regiões de tabelas. Isso permitiria que o sistema capturasse métricas financeiras adicionais embutidas em layouts complexos e as incorporasse aos processos de raciocínio a jusante.