DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
Este artigo apresenta o DiligenceProv, um novo benchmark e uma metodologia de construção utilizando salas de negociação sintéticas com imperfeições registradas para avaliar e melhorar a verificabilidade, a recuperação de evidências e a precisão de definições de grandes modelos de linguagem em processos de due diligence financeira de alto risco.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Quando uma empresa é comprada ou vendida, o processo depende de uma verificação rigorosa de sua saúde financeira, uma etapa conhecida como due diligence. Conselheiros passam semanas analisando uma "sala de dados" (deal room), uma coleção de documentos que variam de demonstrações financeiras auditadas e relatórios de lucros a minutas de contratos e apresentações de gestão. O trabalho deles é responder a perguntas críticas: Quanto a empresa realmente lucra? Qual é o risco que seus maiores clientes representam? Neste ambiente de alto risco, uma resposta só é tão boa quanto a prova que a sustenta. Um revisor deve ser capaz de verificar não apenas o número final, mas a definição específica usada para calculá-lo e o documento exato que apoia a afirmação. Se uma resposta parece confiante, mas está errada, ela pode induzir uma decisão de investimento ao erro de forma mais perigosa do que a ausência de uma resposta.
A inteligência artificial, especificamente os modelos de linguagem de grande escala, está começando a entrar neste campo, prometendo acelerar a leitura e a análise desses documentos complexos. No entanto, um obstáculo significativo permanece. Os sistemas de IA atuais conseguem ler textos com fluidez, mas têm dificuldade com o tipo específico de verificação exigido nas finanças. Eles podem produzir um número plausível que é, na verdade, incorreto, ou podem citar um documento que não sustenta sua conclusão. O desafio central não é se a IA consegue ler as palavras, mas se ela consegue navegar em uma coleção desordenada de informações conflitantes para encontrar a verdade única que um especialista humano aceitaria.
Para enfrentar isso, pesquisadores criaram um novo campo de teste chamado DiligenceProv. Este não é um teste padrão baseado em relatórios financeiros públicos e limpos, onde as respostas já estão reconciliadas e acordadas. Em vez disso, os pesquisadores construíram uma empresa fictícia e geraram um conjunto realista de trinta documentos, incluindo demonstrações financeiras, cronogramas de dívidas e apresentações de gestão. Eles introduziram deliberadamente os tipos de desordem encontrados em negociações reais: a mesma medida de lucro definida de três maneiras diferentes, números desatualizados que parecem atuais e questões que os documentos simplesmente não conseguem responder. O objetivo era ver se um sistema de IA poderia fornecer respostas que um revisor humano pudesse verificar, checando o número, a definição e a evidência, tudo ao mesmo tempo.
Os pesquisadores descobriram que apenas tornar os documentos realistas não era suficiente para desafiar os sistemas de IA mais avançados. Em um teste inicial com um conjunto de documentos realista, porém perfeitamente consistente, um modelo comercial de alto nível respondeu a todas as perguntas corretamente, mesmo quando as perguntas eram complexas. O sistema não teve problemas porque os documentos não continham os tipos específicos de armadilhas que existem em negociações reais. Os pesquisadores perceberam que, para testar verdadeiramente esses sistemas, precisavam projetar a dificuldade. Eles criaram um "livro-razão da verdade" (truth ledger), um registro mestre de cada fato, e então escreveram os documentos para conter imperfeições registradas. Estas incluíam conflitos entre diferentes documentos, distrações realistas que pareciam a resposta certa, mas estavam erradas, e lacunas silenciosas onde a informação estava faltando, mas nunca era explicitamente declarada como ausente.
Quando testaram os modelos de IA contra essa desordem projetada, os resultados mudaram drasticamente. Os modelos mais avançados, que anteriormente pontuavam perfeitamente, começaram a falhar quando tiveram que navegar por essas imperfeições registradas. Mais surpreendentemente, os pesquisadores descobriram que, para muitos dos modelos de nível intermediário, fornecer à IA o conjunto completo de trinta documentos na verdade fez com que o desempenho fosse pior do que fornecer apenas seis páginas cuidadosamente selecionadas. Quando a IA tinha acesso à sala completa, ela frequentemente se distraía com números desatualizados ou citações fabricadas que apareciam no texto adicional. Ela capturava a versão errada de um número ou inventava um documento que não existia. No entanto, quando os pesquisadores forneciam apenas as passagens mais relevantes, a IA performava significativamente melhor. Neste caso, o processo de recuperação atuou como um filtro protetor, blindando o modelo contra o ruído e a confusão do conjunto total de documentos.
O estudo também revelou que a parte mais difícil para esses sistemas de IA não era encontrar a evidência, mas entender como usá-la. Mesmo quando os pesquisadores forneciam os documentos corretos e os números certos, os modelos ainda cometiam erros. Eles frequentemente falhavam em aplicar a definição correta de uma métrica financeira ou não consegravam distinguir entre uma minuta de contrato e a versão final. Os erros não eram devidos à falta de informação, mas a uma falta de disciplina na aplicação das regras do negócio. Os pesquisadores categorizaram essas falhas em tipos específicos, como "respostas erradas e confiantes", onde a IA afirma um fato falso com certeza, ou "captura de distrator", onde ela se prende a um número enganoso.
Uma descoberta particularmente preocupante foi a incapacidade da IA de admitir quando não sabia algo. No mundo real, se um documento não contém uma previsão específica, a resposta correta é dizer que a informação está ausente. Nos testes, os modelos de IA raramente recusavam-se a responder. Em vez disso, diante de dados ausentes, eles frequentemente tentavam adivinhar ou extrapolar, criando um número fabricado que parecia estruturado e profissional. Este é um comportamento perigoso nas finanças, onde um número errado e de aparência confiável pode ser mais prejudicial do que uma admissão clara de informação ausente.
Os pesquisadores concluíram que a dificuldade na due diligence financeira não é apenas sobre a complexidade do texto, mas sobre a forma como a evidência é acessada e gerenciada. Para os sistemas de IA mais fortes, ter acesso ao contexto completo de todos os documentos permitiu que alcançassem pontuações quase perfeitas, sugerindo que sua principal limitação é simplesmente ter a informação certa disponível. Para outros modelos, ter muita informação era um passivo. O estudo sugere que, para que esses sistemas sejam confiáveis em negócios reais, eles precisam de fluxos de trabalho que priorizem a verificação e a definição sobre a simples recuperação de dados. O benchmark em si está agora disponível para que outros pesquisadores o utilizem, proporcionando uma maneira de medir e melhorar esses sistemas antes que sejam confiados com dinheiro real. O trabalho demonstra que, para tarefas financeiras de alto risco, o caminho para a confiabilidade não reside em tornar a IA mais inteligente, mas em construir sistemas que possam verificar suas próprias respostas contra um conjunto estrito de regras e evidências.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.