DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
Cet article présente DiligenceProv, un nouveau benchmark et une méthodologie de construction utilisant des salles de transaction synthétiques comportant des imperfections enregistrées pour évaluer et améliorer la vérifiabilité, l'extraction de preuves et la précision définitionnelle des grands modèles de langage dans le cadre de la diligence raisonnable financière à enjeux élevés.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsqu'une entreprise est achetée ou vendue, le processus repose sur une vérification rigoureuse de sa santé financière, une étape connue sous le nom de diligence raisonnable (due diligence). Les conseillers passent des semaines à scruter une « data room », une collection de documents allant des états financiers audités et des rapports de résultats aux projets de contrats et aux présentations de la direction. Leur travail consiste à répondre à des questions critiques : Quel est le revenu réel de l'entreprise ? Quel est le risque lié à ses plus gros clients ? Dans cet environnement à enjeux élevés, une réponse n'est valable que si elle est étayée par des preuves. Un examinateur doit être capable de vérifier non seulement le chiffre final, mais aussi la définition spécifique utilisée pour le calculer et le document exact qui soutient l'affirmation. Si une réponse semble assurée mais qu'elle est fausse, elle peut induire une décision d'investissement en erreur de manière plus dangereuse qu'une absence de réponse.
L'intelligence artificielle, et plus précisément les modèles de langage étendus, commence à pénétrer ce domaine, promettant d'accélérer la lecture et l'analyse de ces documents complexes. Cependant, un obstacle majeur subsiste. Les systèmes d'IA actuels peuvent lire du texte avec fluidité, mais ils peinent avec le type spécifique de vérification requis en finance. Ils peuvent produire un chiffre plausible qui est en réalité incorrect, ou citer un document qui ne soutient pas leur conclusion. Le défi central n'est pas de savoir si l'IA peut lire les mots, mais si elle peut naviguer dans une collection désordonnée d'informations contradictoires pour trouver la vérité unique qu'un expert humain accepterait.
Pour remédier à cela, des chercheurs ont créé un nouveau terrain d'essai appelé DiligenceProv. Il ne s'agit pas d'un test standard basé sur des rapports financiers publics et propres où les réponses sont déjà réconciliées et convenues. Au lieu de cela, les chercheurs ont construit une entreprise fictive et généré un ensemble réaliste de trente documents, incluant des états financiers, des tableaux de la dette et des présentations de la direction. Ils ont délibérément introduit les types de désordre que l'on trouve dans les transactions réelles : la même mesure de résultat définie de trois manières différentes, des chiffres obsolètes qui semblent actuels, et des questions auxquelles les documents ne peuvent tout simplement pas répondre. L'objectif était de voir si un système d'IA pouvait fournir des réponses qu'un examinateur humain pourrait vérifier, en contrôlant simultanément le chiffre, la définition et la preuve.
Les chercheurs ont constaté que le simple fait de rendre les documents réalistes ne suffisait pas à mettre au défi les systèmes d'IA les plus avancés. Lors d'un test initial avec un ensemble de documents réalistes mais parfaitement cohérents, un modèle commercial de premier plan a répondu correctement à chaque question, même lorsque celles-ci étaient délicates. Le système n'a eu aucun mal car les documents ne contenaient pas les types de pièges qui existent dans les véritables négociations. Les chercheurs ont réalisé que pour véritablement tester ces systèmes, ils devaient concevoir la difficulté. Ils ont créé un « registre de vérité » (truth ledger), un enregistrement maître de chaque fait, puis ont rédigé les documents de manière à contenir des imperfections enregistrées. Celles-ci comprenaient des conflits entre différents documents, des distractions réalistes qui semblaient être la bonne réponse mais qui étaient fausses, et des lacunes silencieuses où l'information était manquante sans jamais être explicitement déclarée comme telle.
Lorsqu'ils ont testé les modèles d'IA contre ce désordre orchestré, les résultats ont radicalement changé. Les modèles les plus avancés, qui avaient précédemment obtenu des scores parfaits, ont commencé à échouer lorsqu'ils devaient naviguer parmi ces imperfections enregistrées. Plus surprenant encore, les chercheurs ont découvert que pour de nombreux modèles de milieu de gamme, donner à l'IA l'ensemble des trente documents la faisait en réalité moins bien performer que si on ne lui donnait que six pages soigneusement sélectionnées. Lorsque l'IA avait accès à la salle complète, elle était souvent distraite par des chiffres obsolètes ou des citations fabriquées qui apparaissaient dans le texte supplémentaire. Elle saisissait la mauvaise version d'un chiffre ou inventait un document qui n'existait pas. Cependant, lorsque les chercheurs fournissaient uniquement les passages les plus pertinents, l'IA performait nettement mieux. Dans ce cas, le processus de récupération agissait comme un filtre protecteur, protégeant le modèle du bruit et de la confusion de l'ensemble des documents.
L'étude a également révélé que la partie la plus difficile pour ces systèmes d'IA n'était pas de trouver la preuve, mais de comprendre comment l'utiliser. Même lorsque les chercheurs donnaient aux modèles les documents exacts et les bons chiffres, les modèles commettaient tout de même des erreurs. Ils échouaient souvent à appliquer la définition correcte d'une mesure financière ou ne parvenaient pas à distinguer une version provisoire d'un contrat de la version finale. Les erreurs n'étaient pas dues à un manque d'information, mais à un manque de discipline dans l'application des règles de la transaction. Les chercheurs ont catégorisé ces échecs en types spécifiques, tels que les « réponses fausses mais assurées » (confident-wrong answers) où l'IA énonce un fait faux avec certitude, ou la « capture de distracteur » (distractor capture) où elle se focalise sur un chiffre trompeur.
Une découverte particulièrement troublante fut l'incapacité de l'IA à admettre qu'elle ne savait pas quelque chose. Dans le monde réel, si un document ne contient pas une prévision spécifique, la réponse correcte est de dire que l'information est manquante. Lors des tests, les modèles d'IA refusaient rarement de répondre. Au lieu de cela, face à des données manquantes, ils tentaient souvent de deviner ou d'extrapoler, créant un chiffre fabriqué qui paraissait structuré et professionnel. C'est un comportement dangereux en finance, où un chiffre faux et présenté avec assurance peut être plus préjudiciable qu'une admission claire de l'absence d'information.
Les chercheurs ont conclu que la difficulté de la diligence raisonnable financière ne réside pas seulement dans la complexité du texte, mais dans la manière dont les preuves sont accédées et gérées. Pour les systèmes d'IA les plus puissants, avoir accès au contexte complet de tous les documents leur permettait d'atteindre des scores quasi parfaits, suggérant que leur principale limitation est simplement d'avoir la bonne information disponible. Pour d'autres modèles, avoir trop d'informations était un handicap. L'étude suggère que pour que ces systèmes puissent être dignes de confiance lors de transactions réelles, ils ont besoin de flux de travail qui privilégient la vérification et la définition plutôt que la simple récupération d'informations. Le benchmark est désormais disponible pour que d'autres chercheurs puissent l'utiliser, offrant un moyen de mesurer et d'améliorer ces systèmes avant qu'ils ne soient confiés à de l'argent réel. Ce travail démontre que pour les tâches financières à enjeux élevés, la voie vers la fiabilité ne consiste pas à rendre l'IA plus intelligente, mais à construire des systèmes capables de vérifier leurs propres réponses par rapport à un ensemble strict de règles et de preuves.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.