W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
Dieses Paper stellt W-RAG vor, ein quellenbewusstes Retrieval-Framework, das die Einschränkungen des globalen Rankings in heterogenen Unternehmens-Wissensbasen durch den Einsatz von ontologiegestütztem Retrieval und Gewichtung auf Quellenebene adressiert, um die Dokumentenabdeckung sowie die Generierungsqualität zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Arbeitswelt erfordert das Verfassen komplexer Dokumente wie Richtlinienhandbücher, Fusionsberichte oder Produktlaunch-Pläne oft das Zusammenführen von Informationen aus vielen verschiedenen Quellen. Ein Team muss unter Umständen gleichzeitig interne Unternehmensregeln, wissenschaftliche Forschungspapiere, staatliche Vorschriften und Marktnachrichten konsultieren. Um dies zu unterstützen, haben Informatiker Systeme entwickelt, die es künstlicher Intelligenz ermöglichen, Fakten nachzuschlagen, bevor sie einen Satz schreibt. Dieser Ansatz, bekannt als Retrieval-Augmented Generation (R-AG), fungt wie ein digitaler Assistent, der eine Bibliothek von Dokumenten liest und diese Notizen nutzt, um eine Antwort zu entwerfen. Das Ziel ist es, die KI präziser und in der Realität verankert zu machen, um zu verhindern, dass sie Fakten erfindet. Ein erhebliches Problem entsteht jedoch, wenn diese Systeme versuchen, Informationen aus mehreren verschiedenen Arten von Bibliotheken gleichzeitig zu sammeln.
Die Herausforderung besteht darin, dass nicht alle Informationsquellen gleichwertig sind und nicht alle dieselbe Rolle in einem einzelnen Dokument spielen. Ein Standardsystem behandelt oft jeden gefundenen Textabschnitt so, als würde er in einem einzigen Rennen gegeneinander antreten, und wählt die besten Ergebnisse rein basierend darauf aus, wie eng die Wörter mit der Frage des Nutzers übereinstimmen. In einem geschäftlichen Umfeld scheitert diese Methode oft. Sie könnte hunderte Seiten allgemeiner Nachrichtenartikel heranziehen, weil diese die richtigen Schlüsselwörter enthalten, während sie einen einzigen, entscheidenden Absatz einer spezifischen staatlichen Verordnung oder einer technischen Sicherheitsrichtlinie völlig ignoriert. Das Ergebnis ist ein Entwurf, der zwar flüssig klingt, aber die wesentlichen, spezialisierten Details vermissen lässt, die erforderlich sind, um das Dokument rechtlich oder technisch gültig zu machen. Das Kontextfenster der KI wird so von einer Art von Quelle dominiert, dass die vielfältigen Belege, die für den Aufbau eines vollständigen Bildes nötig sind, fehlen.
Die Forscher Hridya Dhulipala, Rajesh Ombase, Michael Wang und Tien N. Nguyen setzten sich zum Ziel, genau dieses Problem zu lösen. Sie schlugen ein neues Framework namens W-RAG vor, was „Source-Aware Retrieval“ (quellenbewusstes Abrufen) bedeutet. Anstatt alle Dokumente aus allen Bibliotheken in einem großen Pool gegeneinander antreten zu lassen, organisiert dieses neue System den Suchprozess. Es identifiziert zuerst die spezifischen Themen, die für das Dokument erforderlich sind, wie etwa „Datenschutz“ oder „Finanzkonformität“, und nutzt eine strukturierte Konzeptkarte, um relevante Passagen zu finden. Dann bewertet es, anstatt alles gemeinsam zu ranken, die besten Dokumente innerhalb jeder spezifischen Bibliothek separat. Schließlich weist es jeder Bibliothek ein spezifisches Budget zu und entscheidet genau, wie viel Platz des fertigen Dokuments durch Unternehmensberichte, wie viel durch wissenschaftliche Arbeiten und wie viel durch Rechtstexte gefüllt werden soll. Dies stellt sicher, dass der endgültige Entwurf eine ausgewogene Komposition aus Belegen ist, die den tatsächlichen Anforderungen der Aufgabe entspricht, statt nur dem Volumen des in einer Quelle verfügbaren Textes.
Um zu testen, ob dieser Ansatz tatsächlich funktionierte, erstellte das Team einen neuen Datensatz, der speziell für diese Art des Enterprise-Writing konzipiert wurde. Sie konstruierten einhundert realistische Szenarien, die vom Entwurf von Gesundheitsrichtlinien bis hin zur Vorbereitung von Fusions- und Übernahmeberichten reichten. Für jedes Szenario bauten sie vier unterschiedliche Informationsbibliotheken auf: eine mit Unternehmensunterlagen und Betriebshandbüchern, eine mit wissenschaftlicher Forschung, eine dritte mit rechtlichen und regulatorischen Texten sowie eine vierte mit Marktnachrichten und Branchenberichten. Dann ließen sie die KI Dokumente basierend auf diesen gemischten Quellen schreiben. Die Forscher fanden heraus, dass Standard-Systeme, die einfach die Top-Ergebnisse aus einer globalen Liste auswählen, erheblich Schwierigkeiten hatten. Diese Systeme produzierten oft Dokumente, die zwar flüssig, aber unvollständig waren, da sie die verbindlichen Anforderungen der Aufgabe nicht erfüllten, weil sie die kleineren, spezialisierten Bibliotheken ignoriert hatten.
Die Ergebnisse zeigten einen deutlichen Unterschied, wenn die neue quellenbewusste Methode angewendet wurde. Durch die Erzwingung, dass das System die unterschiedlichen Rollen der jeweiligen Wissensdatenbanken respektiert, verbesserte sich die Qualität der generierten Dokumente drastisch. Der neue Ansatz steigerte die Erfüllung der Dokumentationsanforderungen um mehr als fünfzig Prozent im Vergleich zu den bisher besten Methoden und um über einhundert Prozent im Vergleich zu Standard-Systemen. Er stellte zudem sicher, dass die zum Schreiben des Dokuments verwendeten Informationen aus der richtigen Mischung von Quellen stammten, anstatt durch die größte oder textreichste Bibliothek verzerrt zu sein. Die Studie legt nahe, dass bei komplexen, realen Schreibaufgaben die Art und Weise, wie Informationen ausgewählt und ausbalanciert werden, genauso wichtig ist wie die Fähigkeit, sie überhaupt zu finden. Durch die sorgfältige Verwaltung der Zusammensetzung der Belege kann das System Entwürfe erstellen, die nicht nur faktisch fundiert, sondern auch strukturell vollständig sind und den vielfältigen Anforderungen moderner Unternehmensschreibaufgaben gerecht werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.