DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
Dieses Paper stellt DiligenceProv vor, einen neuartigen Benchmark und eine Konstruktionsmethodik unter Verwendung synthetischer Datenräume mit registrierten Unvollkommenheiten, um die Verifizierbarkeit, Evidenzabfrage und definitorische Genauigkeit von großen Sprachmodellen bei hochriskanten finanziellen Due-Diligence-Prüfungen zu bewerten und zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn ein Unternehmen gekauft oder verkauft wird, beruht der Prozess auf einer rigorosen Prüfung seiner finanziellen Gesundheit, einem Stadium, das als Due Diligence bekannt ist. Berater verbringen Wochen damit, einen „Deal Room“ zu durchforsten – eine Sammlung von Dokumenten, die von geprüften Jahresabschlüssen und Gewinnberichten bis hin zu Vertragsentwürfen und Management-Präsentationen reicht. Ihre Aufgabe ist es, kritische Fragen zu beantworten: Wie viel verdient das Unternehmen wirklich? Welche Risiken tragen seine größten Kunden? In diesem Hochrisiko-Umfeld ist eine Antwort nur so gut wie der Beweis, der hinter ihr steht. Ein Prüfer muss in der Lage sein, nicht nur die endgültige Zahl zu verifizieren, sondern auch die spezifische Definition, die zur Berechnung verwendet wurde, und das exakte Dokument, das die Behauptung stützt. Wenn eine Antwort zwar selbstbewusst aussieht, aber falsch ist, kann sie eine Investitionsentscheidung gefährlicher in die Irre führen als gar keine Antwort.
Künstliche Intelligenz, insbesondere große Sprachmodelle, beginnt in diesen Bereich vorzudringen und verspricht, das Lesen und Analysieren dieser komplexen Dokumente zu beschleunigen. Dennoch bleibt ein erhebliches Hindernis bestehen. Aktuelle KI-Systeme können Texte flüssig lesen, haben aber Schwierigkeiten mit der spezifischen Art der Verifizierung, die in der Finanzwelt erforderlich ist. Sie produzieren möglicherweise eine plausibel klingende Zahl, die tatsächlich falsch ist, oder sie zitieren ein Dokument, das ihre Schlussfolgerung nicht stützt. Die Kernherausforderung besteht nicht darin, ob die KI die Wörter lesen kann, sondern ob sie in der Lage ist, durch eine unordentliche Sammlung widersprüchlicher Informationen zu navigieren, um die eine Wahrheit zu finden, die ein menschlicher Experte akzeptieren würde.
Um dies zu adressieren, haben Forscher ein neues Testfeld namens DiligenceProv geschaffen. Dies ist kein Standardtest, der auf sauberen, öffentlichen Finanzberichten basiert, bei denen die Antworten bereits abgeglichen und abgestimmt sind. Stattdessen bauten die Forscher ein fiktives Unternehmen auf und erstellten einen realistischen Satz von dreißig Dokumenten, darunter Jahresabschlüsse, Schuldenpläne und Management-Präsentationen. Sie führten bewusst die Arten von Unordnung ein, die in realen Deals vorkommen: dieselbe Gewinnkennzahl, die auf drei verschiedene Arten definiert ist, veraltete Zahlen, die aktuell aussehen, und Fragen, die die Dokumente schlichtweg nicht beantworten können. Das Ziel war es zu sehen, ob ein KI-System Antworten liefern kann, die ein menschlicher Prüfer verifizieren kann, indem es Zahl, Definition und Beleg gleichzeitig prüft.
Die Forscher fanden heraus, dass es nicht ausreichte, die Dokumente lediglich realistisch aussehen zu lassen, um die fortschrittlichsten KI-Systeme herauszufordern. In einem ersten Test mit einem realistischen, aber vollkommen konsistenten Dokumentensatz beantwortte ein erstklassiges kommerzielles Modell jede Frage korrekt, selbst wenn die Fragen knifflig waren. Das System hatte keine Probleme, da die Dokumente nicht die spezifischen Arten von Fallen enthielten, die in echten Verhandlungen existieren. Die Forscher erkannten, dass sie, um diese Systeme wirklich zu testen, die Schwierigkeit konstruieren mussten. Sie erstellten ein „Truth Ledger“, ein Stammdatensatz für jeden Fakt, und schrieben die Dokumente so, dass sie registrierte Unvollkommenheiten enthielten. Diese umfassten Konflikte zwischen verschiedenen Dokumenten, realistische Ablenkungen, die wie die richtige Antwort aussah, aber falsch waren, sowie stille Lücken, in denen Informationen fehlten, ohne explizit als fehlend deklariert zu werden.
Als sie die KI-Modelle gegen dieses konstruierte Chaos testen ließen, änderten sich die Ergebnisse dramatisch. Die fortschrittlichsten Modelle, die zuvor perfekt abgeschnitten hatten, begannen zu scheitern, als sie navigieren mussten durch registrierte Unvollkommenheiten. Überraschenderweise entdeckten die Forscher, dass es für viele der mittelmäßigen Modelle die Leistung tatsächlich verschlechterte, wenn man ihnen den gesamten Satz von dreißig Dokumenten gab, anstatt nur sechs sorgfältig ausgewählte Seiten. Wenn die KI Zugang zum gesamten Raum hatte, wurde sie oft durch veraltete Zahlen oder fingierte Zitate abgelenkt, die im restlichen Text erschienen. Sie griff die falsche Version einer Zahl oder erfand ein Dokument, das nicht existierte. Wenn die Forscher jedoch nur die relevantesten Passagen bereitstellten, schnitt die KI signifikant besser ab. In diesem Fall fungierte der Retrieval-Prozess als Schutzfilter, der das Modell vor dem Rauschen und der Verwirrung des vollständigen Dokumentensatzes abschirmte.
Die Studie zeigte auch, dass der schwierigste Teil für diese KI-Systeme nicht das Finden der Belege war, sondern das Verständnis darüber, wie man sie verwendet. Selbst wenn die Forscher den Modellen die exakt richtigen Dokumente und die richtigen Zahlen gaben, machten die Modelle dennoch Fehler. Sie versäumten es oft, die korrekte Definition einer Finanzkennzahl anzuwenden, oder konnten nicht zwischen einer Entwurfsversion eines Vertrages und der finalen Version unterscheiden. Die Fehler lagen nicht an einem Mangel an Informationen, sondern an einem Mangel an Disziplin bei der Anwendung der Regeln des Deals. Die Forscher kategorisierten diese Fehler in spezifische Typen, wie etwa „selbstbewusste Fehlantworten“ (confident-wrong answers), bei denen die KI einen falschen Fakt mit Gewissheit nennt, oder „Ablenkungsübernahme“ (distractor capture), bei der sie an einer irreführenden Zahl hängen bleibt.
Ein besonders besorgniserregender Befund war die Unfähigkeit der KI, zuzugeben, wenn sie etwas nicht wusste. In der realen Welt ist die korrekte Antwort, wenn ein Dokument eine bestimmte Prognose nicht enthält, dass die Information fehlt. In den Tests gaben die KI-Modelle selten an, dass sie etwas nicht wussten. Stattdessen versuchten sie, wenn sie mit fehlenden Daten konfrontiert waren, zu raten oder zu extrapolieren, wodurch sie eine fabrikierte Zahl erzeugten, die strukturiert und professionell aussah. Dies ist ein gefährliches Verhalten in der Finanzwelt, in der eine selbstbewusst klingende falsche Zahl schädlicher sein kann als ein klares Eingeständnis fehlender Informationen.
Die Forscher kamen zu dem Schluss, dass die Schwierigkeit in der finanziellen Due Diligence nicht nur in der Komplexität des Textes liegt, sondern in der Art und Weise, wie Beweise abgerufen und verwaltet werden. Für die stärksten KI-Systeme ermöglichte der Zugriff auf den vollständigen Kontext aller Dokumente das Erreichen nahezu perfekter Punktzahlen, was darauf hindeutet, dass ihre Hauptbeschränkung schlicht darin besteht, die richtigen Informationen verfügbar zu haben. Für andere Modelle war zu viel Information ein Nachteil. Die Studie legt nahe, dass diese Systeme für echte Deals Workflows benötigen, die Verifizierung und Definition über den einfachen Abruf von Informationen stellen. Der Benchmark steht nun anderen Forschern zur Verfügung, um eine Möglichkeit zu bieten, diese Systeme zu messen und zu verbessern, bevor man ihnen echtes Geld anvertraut. Die Arbeit zeigt, dass für hochriskante finanzielle Aufgaben der Weg zur Zuverlässigkeit nicht darin liegt, die KI intelligenter zu machen, sondern Systeme zu bauen, die ihre eigenen Antworten gegen einen strengen Satz von Regeln und Belegen verifizieren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.