💬 NLP

Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

Die Arbeit stellt Corpus2Skill vor, ein System, das Unternehmensdokumente in eine hierarchische Struktur von navigierbaren Fähigkeiten umwandelt, wodurch Agenten im Gegensatz zu herkömmlichen RAG-Ansätzen den Suchraum aktiv erkunden, zurückverfolgen und Beweise über verschiedene Zweige hinweg kombinieren können, was auf dem WixQA-Benchmark zu überlegenen Ergebnissen führt.

Ursprüngliche Autoren: Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

Veröffentlicht 2026-04-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, chaotischen Keller voller alter Aktenordner, Handbücher und Notizen – das ist die Wissensdatenbank eines Unternehmens. Wenn Sie eine Frage haben (z. B. „Wie ändere ich meine Firmenart von Einzelunternehmen zu einer GmbH?"), wollen Sie die Antwort schnell und genau finden.

Das ist das Problem, das dieses Papier mit dem Namen CORPUS2SKILL löst.

Hier ist die einfache Erklärung, wie es funktioniert, ohne Fachchinesisch:

1. Das alte Problem: Der „Blinde Sucher" (RAG)

Stellen Sie sich vor, Sie rufen einen sehr klugen, aber blinden Bibliothekar an (das ist die künstliche Intelligenz, der LLM).

Die alte Methode (RAG): Sie werfen dem Bibliothekar einen Zettel mit Ihrer Frage zu. Er schaut in einen riesigen Haufen lose Blätter, sucht nach Wörtern, die ähnlich klingen, und gibt Ihnen die ersten 5 Blätter, die er findet.
Das Problem: Der Bibliothekar sieht nicht den ganzen Keller. Er weiß nicht, welche Regale es gibt, ob er etwas übersehen hat, oder ob die Antwort vielleicht in einem ganz anderen Ordner liegt, der nur ein paar Wörter gemeinsam mit Ihrer Frage hat. Er ist passiv. Er bekommt nur das, was ihm hingelegt wird, und kann nicht selbstständig nachdenken oder zurückgehen, wenn er auf eine Sackgasse stößt.

2. Die neue Lösung: Der „Navigierende Experte" (CORPUS2SKILL)

Die Autoren sagen: „Hören wir auf, nur zu suchen. Lassen Sie uns navigieren."

Statt dem Bibliothekar nur lose Blätter zu geben, bauen wir ihm eine perfekte Landkarte und ein intelligentes Regalsystem, bevor er überhaupt die Frage hört.

Schritt 1: Die Vorbereitung (Das „Einrichten des Hauses")

Bevor der Bibliothekar arbeitet, nehmen wir alle 6.000+ Dokumente und sortieren sie ordentlich:

Wir fassen Gruppen von ähnlichen Dokumenten zusammen (z. B. alle über „Zahlungen" in einen Ordner, alle über „Webseiten-Design" in einen anderen).
Wir schreiben für jeden Ordner eine kurze Zusammenfassung (wie ein Inhaltsverzeichnis).
Wir erstellen eine hierarchische Struktur: Ein großer Ordner hat Unterordner, die wieder Unterordner haben.
Das Ergebnis: Eine saubere, durchsuchbare Datei-Struktur, die wie ein gut organisiertes Haus aussieht.

Schritt 2: Die Navigation (Das „Begehen des Hauses")

Jetzt kommt der Bibliothekar (die KI) ins Spiel. Er ist nicht mehr blind.

Der Vogelblick: Er sieht sofort das ganze Haus. Er sieht die Hauptordner („Zahlungen", „Design", „Recht").
Das Durchdringen: Wenn er Ihre Frage hört, geht er nicht wahllos durch den Keller. Er öffnet den Ordner „Zahlungen", liest die Zusammenfassung, sieht, dass es dort einen Unterordner „GmbH-Gründung" gibt, und klickt hinein.
Das Zurückgehen: Wenn er merkt, dass er im falschen Unterordner ist, klickt er einfach zurück und probiert einen anderen aus. Er kann verschiedene Pfade kombinieren, um die Antwort zu finden.

Die große Analogie: Der Supermarkt

Die alte Methode (RAG) ist wie ein Kunde, der einen Korb bekommt und der Supermarkt-Mitarbeiter ihm sagt: „Hier sind 5 Produkte, die das Wort 'Milch' enthalten." Der Kunde sieht nicht die ganze Abteilung, weiß nicht, wo der Käse ist, und verpasst vielleicht die spezielle Ziegenmilch, die er eigentlich braucht.
Die neue Methode (CORPUS2SKILL) ist wie ein Kunde, der eine perfekte Karte des Supermarkts bekommt. Er sieht: „Ah, Milch ist im Gang 3. Aber ich brauche Ziegenmilch? Okay, Gang 3, Regal B, Untere Ebene." Er kann selbst entscheiden, wohin er geht, wenn er merkt, dass er im falschen Gang ist, und er kann verschiedene Abteilungen (z. B. Milch und Käse) verbinden, um sein Rezept zu vervollständigen.

Warum ist das besser?

Kein „Raten": Die KI muss nicht raten, welche Suchbegriffe sie eingeben soll. Sie sieht die Struktur und kann logisch denken.
Keine Halluzinationen: Da sie die echten Dokumente direkt aus dem Ordner holt, wenn sie sicher ist, erfindet sie weniger falsche Fakten.
Bessere Antworten: In Tests (am Beispiel von Wix, einer Website-Bau-Plattform) war diese Methode deutlich besser als alle anderen, weil sie den Kontext besser verstand.

Der einzige Haken

Es kostet etwas mehr Zeit und Geld, das Haus erst einmal perfekt zu sortieren (die „Vorbereitungsphase"). Aber sobald das Haus steht, ist das Leben für den Bibliothekar viel einfacher und die Antworten für die Kunden viel besser.

Zusammengefasst: Statt der KI zu sagen „Suche mir etwas!", geben wir ihr eine Landkarte und sagen: „Hier ist das Haus, geh selbstständig von Raum zu Raum, bis du die Antwort findest." Das macht sie zu einem echten Navigator, nicht nur zu einem Suchmaschinen-Benutzer.

1. Problemstellung

Herkömmliche Retrieval-Augmented Generation (RAG)-Systeme behandeln Large Language Models (LLMs) als passive Konsumenten von Suchergebnissen.

Fehlender Kontext: Das LLM sieht nur die zurückgegebenen Textpassagen, nicht jedoch die Struktur des gesamten Dokumentenkorpus. Es weiß nicht, welche Themenbereiche existieren oder welche Informationen nicht gefunden wurden.
Limitierte Reasoning-Fähigkeiten: Bei komplexen Anfragen, die mehrere Themenbereiche überspannen (z. B. „Wie wechsle ich von Einzelunternehmen zu einer LLC auf Wix?"), scheitern flache Retrieval-Systeme oft, da sie nur oberflächliche semantische Ähnlichkeiten finden und kritische, aber nicht direkt abgefragte Informationen (z. B. dass ein Wechsel nur über den Support möglich ist) übersehen.
Schwächen agenter RAG-Ansätze: Selbst Systeme, die iterative Suchanfragen erlauben, operieren ohne „Karte". Sie müssen Suchbegriffe raten und haben keinen systematischen Überblick über die Korpus-Struktur, um von breiten Themen zu spezifischen Dokumenten vorzudringen.
Limitationen hierarchischer Ansätze: Bestehende Methoden wie RAPTOR oder GraphRAG organisieren Dokumente zwar hierarchisch, nutzen diese Struktur aber zur Laufzeit oft nur als Hintergrund für Vektorsuchen. Das LLM erhält die Ergebnisse immer noch als „Black Box" ohne Einsicht in die Organisationslogik.

2. Methodik: CORPUS2SKILL

Das Paper stellt CORPUS2SKILL vor, einen Ansatz, der das Korpus nicht durchsucht, sondern navigiert. Die Kernidee ist die Umwandlung eines Dokumentenkorpus in eine hierarchische „Skill"-Verzeichnisstruktur, die ein Agent aktiv erkundet.

A. Compile-Phase (Offline)

In einer einmaligen Vorverarbeitungsphase wird das Rohkorpus in einen navigierbaren Skill-Baum transformiert:

Dokument-Loading & Embedding: Dokumente werden geladen, eindeutige IDs zugewiesen und mittels Sentence-Embedding-Modellen (z. B. Qwen3-Embedding) vektorisiert.
Iteratives hierarchisches Clustering:
- Ein Bottom-up-Prozess gruppiert Dokumente mittels K-Means-Clustering (gesteuert durch einen Verzweigungsfaktor $p$ ).
- LLM-Zusammenfassung: Auf jeder Ebene des Clusters generiert ein LLM eine Zusammenfassung der Themen, Fragen und Schlüsselbegriffe der Gruppe.
- Diese Zusammenfassungen werden erneut eingebettet und für die nächste Clustering-Runde verwendet.
Materialisierung als Skills:
- Die Hierarchie wird als Dateisystem-Struktur ausgegeben.
- Root-Cluster werden zu Skill-Verzeichnissen mit einer SKILL.md (Zusammenfassung der Gruppe).
- Sub-Cluster werden zu Unterordnern mit INDEX.md (Liste von Untergruppen oder Dokument-IDs mit kurzen Titeln).
- Blattknoten enthalten die Dokument-IDs, die auf den eigentlichen Text in einem separaten documents.json verweisen.
- Dies ermöglicht eine Progressive Disclosure: Der Agent sieht zunächst nur Metadaten und Zusammenfassungen, lädt erst bei Bedarf den Volltext.

B. Serve-Phase (Online)

Zum Laufzeitzeitpunkt interagiert ein LLM-Agent mit diesem vorverarbeiteten Skill-Baum:

Tools: Der Agent verfügt über zwei Hauptwerkzeuge:
1. code_execution (Dateibrowser): Zum Durchsuchen von SKILL.md und INDEX.md Dateien.
2. get_document(doc_id): Zum Abrufen des vollständigen Textes eines Dokuments.
Navigations-Workflow:
1. Der Agent erhält einen „Vogelperspektive"-Überblick (vorgefertigte Skill-Namen und Beschreibungen).
2. Er wählt den relevantesten Skill aus und liest dessen SKILL.md.
3. Er navigiert durch die Hierarchie (INDEX.md lesen), um den Bereich einzugrenzen.
4. Sobald ein vielversprechendes Dokument identifiziert ist, wird get_document aufgerufen.
5. Der Agent kann bei Sackgassen zurückverfolgen (Backtracking) oder Beweise aus verschiedenen Zweigen kombinieren (Cross-branch synthesis).

3. Wichtige Beiträge

Identifikation der Navigierbarkeit: Das Paper hebt die „Navigierbarkeit des Korpus" als bisher vernachlässigte Dimension in RAG-Systemen hervor. LLMs benötigen einen strukturierten Überblick, um systematisch die besten Beweise zu finden.
Framework „Compile-then-Navigate": CORPUS2SKILL ersetzt die Vektorsuche zur Laufzeit durch eine Agent-gesteuerte Dateibrowser-Navigation über einen vorverarbeiteten Baum. Dies eliminiert die Notwendigkeit von Vektordatenbanken oder Embedding-Indizes zur Laufzeit.
Umwandlung von Procedural zu Informational Skills: Es wird gezeigt, wie das Konzept von Agent-Skills (ursprünglich für Workflows gedacht) neu interpretiert werden kann, um Informationsstrukturen (Dokumentenhierarchien) zu kodieren.
Evaluation auf WixQA: Das System wurde auf einem realen Enterprise-Kundensupport-Benchmark (WixQA) evaluiert.

4. Ergebnisse

Die Evaluation auf dem WixQA-Datensatz (6.221 Artikel, 200 Expert-Fragen) zeigt folgende Ergebnisse im Vergleich zu Baselines (BM25, Dense Retrieval, Hybrid, RAPTOR, Agentic RAG):

Qualität: CORPUS2SKILL erzielt in allen Qualitätsmetriken die höchsten Werte:
- Token F1: 0,460 (vs. 0,388 bei Agentic RAG, +19% Verbesserung).
- Factuality: 0,729 (vs. 0,724 bei Agentic, +0,675 bei RAPTOR).
- Context Recall: 0,652 (deutlich höher als bei Agentic RAG mit 0,481), was zeigt, dass der Agent relevantere Inhalte findet als reine Vektorsuche.
Kosten:
- Die Kosten pro Anfrage liegen bei ca. 0,172 $ (hauptsächlich durch Input-Token für die Navigation bedingt).
- Dies ist teurer als einfache RAG (0,008 $), aber günstiger als komplexe Agentic-RAG-Ansätze (0,098 $ bei 10 Runden, wobei CORPUS2SKILL oft in 2-3 Runden auskommt und präzisere Antworten liefert).
- Die Ausgabe-Token sind deutlich geringer (752 vs. 1.391 bei Agentic), da der Agent zielgerichteter antwortet.
Ablationsstudien:
- Engere Hierarchien ( $p=5$ ) verbessern die Qualität leicht, während zu breite Bäume ( $p=20$ ) die Leistung drastisch verschlechtern.
- Die Qualität ist robust gegenüber der Wahl des LLM-Modells; ein günstigeres Modell (Claude Haiku) erreicht ähnliche Context-Recall-Werte bei halben Kosten.

5. Bedeutung und Ausblick

Paradigmenwechsel: Das Paper schlägt einen neuen Design-Punkt für wissensbasierte Systeme vor: Investition in Rechenleistung zur Kompilierzeit, um das Korpus navigierbar zu machen, anstatt die gesamte Last auf die Abfragezeit (Suche) zu legen.
Skalierbarkeit: Die Tiefe der Hierarchie wächst logarithmisch ( $O(\log_p N)$ ), was das System auch für sehr große Korpora skalierbar macht.
Einschränkungen:
- Kosten: Die Input-Token-Kosten sind höher, da Navigationsdateien in jedem Schritt mitgesendet werden.
- Single-Path Clustering: Dokumente, die mehrere Themen abdecken, können nur einem Pfad zugeordnet werden, was zu Routing-Fehlern führen kann (ca. 38% der Fehler im Paper).
- Aktualisierung: Das System erfordert eine Neukompilierung bei Änderungen im Korpus (kein inkrementelles Update).

Fazit: CORPUS2SKILL demonstriert, dass die aktive Navigation durch eine strukturierte, vorverarbeitete Wissenshierarchie durch einen Agenten zu qualitativ hochwertigeren und faktischeren Antworten führt als passive Suche nach Textpassagen. Es ist besonders für komplexe Enterprise-Anwendungen geeignet, bei denen die Genauigkeit und Nachvollziehbarkeit der Antwort höher gewichtet wird als die reine Kosteneffizienz pro Anfrage.