ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering
Dieses Paper führt ENTLORE ein, einen graphbasierten Benchmark, der Enterprise-Fragebeantwortungssysteme hinsichtlich ihrer Fähigkeit zur latenten organisationalen Argumentation bewertet, indem er auditierte Unternehmenswelten aus Routine-Dokumenten rekonstruiert, um die Wiederherstellung impliziter Beziehungen jenseits einfacher Faktenabfrage zu testen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer riesigen, chaotischen Bibliothek zu lösen. Dies ist nicht einfach nur irgendeine Bibliothek; sie ist das „Gehirn“ eines massiven Unternehmens, gefüllt mit Millionen von Dokumenten wie E-Mails, Projektberichten, Sitzungsprotokollen und Tabellenkalkulationen. In der Welt der Künstlichen Intelligenz (KI) gibt es ein populäres Spiel namens „Question Answering“ (Fragebeantwortung). Normalerweise wird der KI eine Frage und ein Stapel Dokumente gegeben, und ihre Aufgabe ist es, den exakten Satz zu finden, der die Antwort enthält. Denken Sie an es wie ein Spiel von „Ich sehe was, was du nicht siehst“, bei dem die Antwort direkt vor einem liegt und nur darauf wartet, aufgegriffen zu werden.
Doch das echte Leben in einem Unternehmen ist chaotischer als ein einfaches Spiel. Oft ist die Antwort auf eine Frage nicht in einem einzigen Satz niedergeschrieben. Stattdessen liegt die Wahrheit in den Beziehungen zwischen verschiedenen Dokumenten verborgen. Vielleicht sagt eine E-Mail: „Alice arbeitete an Modul X“, und ein anderer Bericht besagt: „Modul X ist Teil von Projekt Y“, aber kein einzelnes Dokument besagt jemals: „Alice arbeitete an Projekt Y“. Um die Antwort zu finden, muss die KI die Punkte selbst verbinden und dabei die unsichtbaren Regeln nutzen, nach denen das Unternehmen organisiert ist. Dieses Paper, geschrieben von Forschern bei ScitiX.ai, handelt davon, Computer genau dieses Arten von Detektivarbeit lehren zu wollen, anstatt nur gut darin zu sein, Wörter zu finden.
Das Problem: Die Falle der „verborgenen Wahrheit“
Die meisten KI-Benchmarks (Tests für KI) sind wie eine Schatzsuche, bei der die Karte bereits gezeichnet ist. Die Ersteller des Tests schreiben eine Frage und stellen dann sicher, dass die Antwort explizit in den Dokumenten steht, die sie der KI geben. Es ist, als würde man fragen: „Welche Farbe hat der rote Ball?“ und der KI gleichzeitig ein Bild eines roten Balls überreichen. Die KI muss nur das Wort „rot“ finden.
Die Autoren dieses Papers argumentieren, dass dies zu einfach ist und nicht widerspiegelt, wie echte Unternehmen funktionieren. In der realen Welt könnte der „rote Ball“ in einer Datei erwähnt werden, und die Tatsache, dass es ein „Ball“ ist, steht in einer anderen, aber die Verbindung zwischen beiden wird nie explizit genannt. Die KI muss schlussfolgern, dass „Modul X“ zu „Projekt Y“ gehört, basierend darauf, wie das Unternehmen strukturiert ist, selbst wenn kein Dokument sie jemals explizit verknüpft. Die Forscher nennen diese fehlende Fähigkeit Latente Organisationale Argumentation (Latent Organizational Reasoning). Es ist die Fähigkeit, die unsichtbaren Regeln einer Organisation aus den chaotischen Nebenprodukten der täglichen Arbeit abzuleiten.
Die Lösung: ENTLORE, der „Wahrheits-Graph“
Um zu testen, ob eine KI dies tatsächlich leisten kann, hat das Team einen neuen Benchmark namens ENTLORE entwickelt. Stellen Sie sich vor, sie hätten die gesamte digitale Historie eines echten, privaten Unternehmens genommen – tausende Dokumente, Organigramme und operative Protokolle – und im Hintergrund einen riesigen, geheimen „Wahrheits-Graph“ (Truth Graph) aufgebaut. Dieser Graph ist wie ein Master-Blaupause, der genau weiß, wie jeder Mensch, jedes Projekt und jedes Modul miteinander verbunden ist, basierend auf strengen, geprüften Regeln.
Dann erschufen sie eine „veröffentlichte Welt“, in der die KI spielen darf. Diese veröffentlichte Welt enthält dieselben Dokumente, aber alle Namen wurden geändert, um die Privatsphäre zu schützen (wie „Alice“ in „Mitarbeiter #42“ und „Projekt Alpha“ in „Projekt Beta“ zu ändern). Entscheidend ist, dass die KI den geheimen Wahrheits-Graph nicht sehen kann. Sie sieht nur die chaotischen, anonymisierten Dokumente.
Das Team stellte daraufhin 907 Fragen. Sie unterteilten diese Fragen in drei Schwierigkeitsstufen:
- Level 1 (Der Abruf): Die Antwort steht direkt in einem Dokument. (z. B. „Wer ist der Manager von Projekt Beta?“)
- Level 2 (Die Komposition): Die Antwort erfordert das Lesen von zwei Dokumenten und das Kombinieren von Fakten. (z. B. „Wer leitet das Team, das Modul X gebaut hat?“)
- Level 3 (Die latente Argumentation): Die Antwort erfordert das Verknüpfen von Punkten, die nicht explizit verbunden sind. (z. B. „Wer ist für den Gesamterfolg von Projekt Beta verantwortlich?“ – obwohl kein Dokument explizit sagt: „Mitarbeiter #42 ist verantwortlich für Projekt Beta“, weiß der Wahrheits-Graph dies, weil die Person das Modul innerhalb des Projekts leitete.)
Die Ergebnisse: KI ist gut im Lesen, aber schlecht im Verbinden
Die Forscher testeten 8 verschiedene KI-Modelle mit verschiedenen Methoden, von einfacher Stichwortsuche bis hin zu komplexen „Agenten“-Systemen, die wie ein Mensch durch Dokumente navigieren können. Hier ist, was sie herausfanden:
1. Die „verborgene Wahrheit“ ist schwer zu finden
Wenn die Antwort explizit in den Dokumenten geschrieben stand (Level 1 und 2), machten die KI-Modelle eine recht ordentliche Leistung. Aber als sie auf Level 3 (Latente Argumentation) stießen, sank die Leistung dramatisch. Selbst die besten Modelle beantworteten nur etwa 36,2 % dieser schwierigen Fragen korrekt.
2. Struktur ist wichtiger als Geschwindigkeit
Die Forscher probierten verschiedene Wege aus, um der KI beim Finden von Informationen zu helfen.
- Einfache Suche (BM25): Nur das Suchen nach passenden Wörtern. Dies war überraschend gut.
- Dichte Suche (Flat RAG): Die Verwendung fortgeschrittener Mathematik, um ähnliche Ideen zu finden. Dies schnitt tatsächlich schlechter ab als die einfache Suche.
- Graph-basierte Systeme (GraphRAG): Diese Systeme versuchen, vor der Beantwortung eine Karte der Verbindungen zwischen Dokumenten zu erstellen. Dies erwies sich als der stärkste Ansatz und schlug die anderen im Durchschnitt. Es deutet darauf hin, dass die KI die Struktur des Unternehmens verstehen muss, nicht nur die Wörter.
3. Selbst mit den „Goldenen Dokumenten“ scheitert die KI
Die überraschendste Entdeckung ergab sich, als die Forscher der KI die „Goldenen Dokumente“ gaben – also die exakten Dateien, die zur Beantwortung der Frage nötig waren, wodurch der Suchteil komplett übersprungen wurde.
- Bei einfachen Fragen (Level 1) beantwortete die KI fast alles richtig.
- Bei mittleren Fragen (Level 2) schnitt sie immer noch gut ab.
- Aber bei den schwierigen, latenten Fragen (Level 3) waren 30,4 % der Antworten immer noch falsch, obwohl die KI die perfekten Dokumente direkt vor sich hatte!
Dies bedeutet, dass das Problem nicht nur darin besteht, dass die KI nicht die richtige Datei finden kann; es ist vielmehr, dass sie nicht in der Lage ist, durch die unsichtbaren organisationalen Regeln zu argumentieren, selbst wenn sie alle Beweise vorliegen hat. Es ist, als würde man einem Detektiv die Tatortfotos geben, er aber dennoch daran scheitert zu erkennen, dass der Butler und der Gärtner eigentlich dieselbe Person sind, weil die Fotos das nicht explizit sagen.
Warum das wichtig ist
Das Paper kommt zu dem Schluss, dass wir nicht einfach nur bessere Suchmaschinen für Unternehmen bauen können. Wir brauchen eine KI, die die „Seele“ einer Organisation verstehen kann – die ungeschriebenen Regeln, die Projekt-Hierarchien und die verborgenen Verbindungen. ENTLORE beweist, dass die aktuelle KI hiermit noch immer kämpft. Sie ist gut darin, das zu lesen, was geschrieben steht, aber sie lernt noch, über das nachzudenken, was impliziert wird.
Die Forscher haben ihre Daten und ihren Code öffentlich zugänglich gemacht, damit andere Wissenschaftler dieses Rätsel lösen können. Bis eine KI die „latente organisationale Argumentation“ meistert, wird sie immer ein wenig wie ein neuer Mitarbeiter sein, der zwar das Handbuch lesen kann, aber noch nicht versteht, wie das Unternehmen tatsächlich funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.