💬 NLP

Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents

Diese Arbeit zeigt auf, dass der Ersatz der Vollkorpus-Injektion durch strukturierte Retrieval-Methoden, insbesondere die LLM-Navigation über einen kompakten Index (NAVINDEX), eine vergleichbare Genauigkeit zur Baseline-Injektion bei Benchmarks für transaktionale Rechtsdokumente erreicht und dabei den Token-Verbrauch, die Kontextgröße sowie die Betriebskosten signifikant reduziert.

Ursprüngliche Autoren: Mahmoud Hany, Mourad ElSheraey, Mahmoud Said, Peter Naoum

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mahmoud Hany, Mourad ElSheraey, Mahmoud Said, Peter Naoum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Anwalt, der versucht, ein komplexes Rätsel zu lösen. Sie haben einen riesigen Stapel juristischer Dokumente (Verträge, Nachträge, Nebenabreden) und einen sehr intelligenten, aber teuren Assistenten (eine KI), der diese lesen kann.

Die Aufgabenstellung stellt eine einfache Frage: Was ist der beste Weg, diese Dokumente der KI zur Verfügung zu stellen, damit sie Ihre Fragen präzise beantwortet, ohne dabei Zeit und Geld zu verschwenden?

Hier ist die Aufschlüsselung der drei Methoden, die getestet wurden, erklärt anhand von Alltagsanalogien.

Das Problem: Der „Ganze Bibliothek“-Ansatz

Die Baseline (Inject):
Stellen Sie sich vor, Sie haben eine Frage zu einer bestimmten Klausel in einem Vertrag. Der einfachste Weg, diese zu beantworten, besteht darin, der KI bei jeder Frage die gesamte Bibliothek der Dokumente zu übergeben.

Vorteile: Die KI sieht alles, sodass sie nichts übersieht.
Nachteile: Es ist unglaublich teuer und langsam. Es ist, als würde man einen Bibliothekar engagieren, um 500 Bücher vorzulesen, nur um den Preis eines einzelnen Artikels auf Seite 12 von Buch #42 herauszufinden. Zudem wird die KI „verwirrt“ und vergisst die Mitte der Geschichte, wenn die Bibliothek zu groß wird.

Die Kontrahenten: Zwei intelligentere Wege der Suche

Die Forscher testeten zwei „intelligente Abrufmethoden“ (Smart Retrieval), die versuchen, erst die relevanten Seiten zu finden, bevor sie diese der KI zeigen.

1. Die Methode der „Semantischen Suche“ (NavEmbed)

Die Analogie: Der Schlagwort-Index.
Anstatt das ganze Buch zu lesen, analysiert die KI Ihre Frage, versteht die Bedeutung der Wörter und sucht in einem digitalen Index nach den 10 ähnlichsten Absätzen.

Wie es funktioniert: Sie nutzt „Vektoren“ (mathematische Repräsentationen von Bedeutung), um zu erraten, welche Seiten relevant sind.
Das Ergebnis: Diese Methode war sehr gut darin, Geld zu sparen. Sie reduzierte die Textmenge, die die KI lesen musste, im Vergleich zur „Ganze Bibliothek“-Methode um das 17- bis 30-fache.
Der Haken: Manchmal stützen sich juristische Dokumente auf spezifische Strukturen (wie „Abschnitt A bezieht sich auf Abschnitt B“). Reine bedeutungsorientierte Suche übersieht manchmal diese strukturellen Verknüpfungen, was zu einigen verpassten Antworten führt.

2. Die Methode der „Strukturierten Navigation“ (NavIndex)

Die Analogie: Das Inhaltsverzeichnis mit einer Karte.
Diese Methode rät nicht nur basierend auf der Bedeutung. Sie erstellt eine spezielle Karte der Dokumente, die explizit vermerkt: „Dieser Absatz definiert einen Begriff“, „Diese Klausel bezieht sich auf diesen Anhang“ oder „Dieser Nachtrag ersetzt den ursprünglichen“.

Wie es funktioniert: Die KI scannt diese kompakte Karte (die im Vergleich zum Volltext winzig ist), wählt den richtigen „Knoten“ (Seite) aus und ruft dann gezielt nur diese spezifische Seite sowie die Seiten ab, auf die sie explizit verweist.
Das Ergebnis: Dies war der Sieger. Sie erreichte bei der Genauigkeit die „Ganze Bibliothek“-Methode perfekt (18 von 18 Fragen richtig beantwortet), kostete aber 25 % weniger und erforderte, dass die KI 56-mal weniger Text las, um die Antwort zu formulieren.

Die „Crossover“-Regel: Wann man was verwendet?

Die Forscher entdeckten einen mathematischen Wendepunkt für die Kosten, den sie den Caching Crossover nennen.

Die Regel: Wenn Ihr Dokumentenstapel klein ist (weniger als etwa das 10-fache der Größe der spezifischen Antwort, die Sie suchen), ist es tatsächlich günstiger, den gesamten Stapel jedes Mal in den Speicher der KI zu laden, da der „Rabatt“ für wiederholt gelesenen, gecashten Text die Kosten niedrig hält.
Die Realität: Juristische Deals sind meistens riesig. Sobald die Dokumente größer als dieser Schwellenwert sind, wird die „Ganze Bibliothek“-Methode zu einer Geldverschwendung.
Das Urteil: Für kleine, einmalige Aufgaben: Geben Sie das Ganze ein. Für große, komplexe juristische Deals: Nutzen Sie die „Strukturierte Navigation“ (NavIndex).

Wichtige Erkenntnisse (Die „Lektionen“)

Seien Sie nicht gierig: Die Begrenzung der KI auf maximal 10 relevante Seiten sparte Geld, ohne die Genauigkeit zu beeinträchtigen.
Struktur schlägt Schlagworte: Die Kombination aus Standard-Schlagwortsuche (wie bei Google) und Bedeutungs-Suche machte die Sache tatsächlich schlechter und teurer, da zu viel irrelevanter Text hineingezogen wurde.
Was am wichtigsten ist: Es spielte keine Rolle, welches „Suchwerkzeug“ (Embedding-Modell) sie verwendeten; entscheidend war, welche Informationen an die Suchergebnisse angehängt waren. Der KI eine Karte der Dokumentenstruktur zur Verfügung zu stellen, war weitaus wichtiger als der eigentliche Suchalgorithmus.

Zusammenfassung

Das Paper beweist, dass man für die Analyse komplexer juristischer Dokumente der KI nicht das ganze Buch füttern muss. Indem man eine intelligente, strukturierte Karte der Dokumente erstellt und die KI diese Karte navigieren lässt, kann man perfekte Genauigkeit erreichen, während man signifikant weniger bezahlt und viel weniger Daten verarbeitet.

Kleine Dokumente: Das Ganze eingeben (es ist günstig genug).
Große Dokumente: Die smarte Karte (NavIndex) nutzen, um Geld zu sparen und die KI fokussiert zu halten.

Technisches Resümee: Injizieren oder Navigieren? Token-effiziente Abfrage für die LLM-Analyse von transaktionalen Rechtsdokumenten

Problemstellung

Die Arbeit adressiert die Herausforderung, Fragen über einem Korpus von transaktionalen Rechtsdokumenten (z. B. Verträge, Nachträge, Nebenabreden, Anhänge) zu beantworten. Der Baseline-Ansatz, bezeichnet als Inject (Injizieren), beinhaltet das Platzieren des gesamten Korpus in das Kontextfenster des Large Language Models (LLM) für jede Anfrage. Während dies den Retrieval-Recall maximiert, da keine Informationen übersehen werden, leidet dieser Ansatz mit wachsender Korpusgröße unter zwei kritischen Einschränkungen:

Token-Fußabdruck: Die Kosten skalieren mit der Größe des Korpus statt mit der Frage, was bei großen Dokumentensätzen ineffizient ist.
Long-Context-Degradation: LLMs weisen eine ungleichmäßige Aufmerksamkeit über lange Eingaben hinweg auf und verlieren oft Informationen, die in der Mitte des Kontextfensters positioniert sind.
Kontextfenster-Limits: Rechtliche Angelegenheiten überschreiten oft das maximale Kontextfenster aktueller Modelle, was eine vollständige Injektion unmöglich macht.

Bestehende Benchmarks (z. B. CUAD, ContractNLI) operieren typischerweise auf Einzeldokumenten und versäumen es, die inhärenten Abhängigkeiten zwischen Instrumenten (z. B. definierte Begriffe, Querverweise, Änderungen) zu erfassen, die für die transaktionale Rechtsanalyse entscheidend sind.

Methodik

Die Autoren evaluierten zwei strukturierte Retrieval-Strategien gegen die Inject-Baseline unter Verwendung einer proprietären, struktur-bewussten Chunking-Methode, die von Syntheia entwickelt wurde. Die Evaluierung erfolgte auf einem Benchmark aus 20 Fragen (18 dokumentengebundene Fragen mit verifiziertem Ground Truth, 2 Out-of-Scope-Kontrollfragen) über sechs Rechtsdokumente hinweg.

Evaluierungsprotokoll

Judge: Ein positions-bias-kontrollierter, referenz-verankerter Paarvergleich-Judge (unter Verwendung von claude-opus-4-7) verglich die Antworten der Baseline und der Retrieval-Methode. Ein „Unentschieden“ (Tie) wurde nur vergeben, wenn beide Richtungen des Vergleichs übereinstimmten, was zertifizierte, dass beide Antworten gleichermaßen konsistent mit dem Ground Truth waren.
Metriken: Die Studie verfolgte den Token-Fußabdruck (die Gesamtzahl der Tokens, auf die das Modell zugreift, einschließlich des gecashten Kontexts) und die Dollar-Kosten (operative Ausgaben, unter Berücksichtigung von Prompt-Caching-Rabatten). Diese wurden als separate Metriken behandelt, da Caching die Kosten senkt, ohne die Anzahl der Tokens zu reduzieren, die das Modell verarbeiten muss.

Die drei Modi

Inject (Baseline): Der gesamte Korpus wird für jede Abfrage in das Kontextfenster platziert.
Navigate-Embeddings (navembed): Dokumente werden vorab in einen Baum von Knoten eingebettet. Zum Abfragezeitpunkt werden die Top- $k$ ähnlichsten Knoten mittels Cosine Similarity (mit optionalem Cross-Encoder-Reranking) abgerufen und in den Kontext gestellt.
Navigate-Index (navindex): Ein vektorfreier Ansatz, bei dem ein LLM einen kompakten, strukturierten Index navigiert. Der Index enthält:
- Boolesche semantische Flags: (z. B. isDefinition, hasMoney, hasLiabilityLimit).
- Strukturelle Metadaten: Überschriften, Klausel-Referenzen und explizite Querverweis-/Definitons-Graphen.
- Navigationsprozess: Das LLM scannt den Index (S1), um bis zu 10 Node-IDs basierend auf booleschen Filtern und Zusammenfassungen auszuwählen, ruft dann deterministisch den Wortlaut für diese Knoten ab (S2), um die Antwort zu generieren (S3).

Kernergebnisse

Inject vs. navembed

Performance: Die stärkste Konfiguration (Semantisches Retrieval + Reranking, RUN-012) wurde bei 16 von 18 dokumentengebundenen Fragen als gleichwertig mit Inject bewertet (Inject war in 2 Fällen überlegen).
Effizienz: Diese Konfiguration reduzierte den Input-Token-Fußabdruck um den Faktor 17,3× (188K Tokens vs. 3,26M Tokens).
Kosten: Sie erreichte in allen validierten Durchläufen geringere Dollar-Kosten als Inject.
Fehlermodus: Eine hybride BM25-Konfiguration (RUN-011) litt unter einem „Length Bias“, was die Payload aufblähte und die Kostenreduktion ineffektiv machte.

Inject vs. navindex

Performance: Die token-optimierte Konfiguration (Config 6) wurde bei allen 18 dokumentengebundenen Fragen sowie beiden Out-of-Scope-Kontrollen als gleichwertig mit Inject bewertet. Dies stellt die höchste Einzel-Run-Tie-Rate der Studie dar.
Effizienz:
- Token-Fußabdruck: Reduzierte die gesamten Input-Tokens um den Faktor 1,61×.
- Antwort-Kontext: Reduzierte den Kontext, auf den das Modell während der Antwortgenerierung zugreift, um ~56× (2,9K Tokens vs. 163K Tokens).
- Kosten: Verzeichnete eine 25 % geringere Dollar-Kosten ($1,21 vs. $1,61) im Vergleich zu Inject.
Mechanismus: Der Erfolg von navindex wird der expliziten Kodierung struktureller Signale (Querverweise und definierte Begriffe) zugeschrieben, die die Cosine Similarity allein nicht erfassen kann, was es dem Modell ermöglicht, den exakten benötigten Kontext abzurufen, ohne sich rein auf semantische Nähe zu verlassen.

Kostenanalyse: Die Caching-Crossover-Regel

Die Arbeit leitet eine geschlossene Regel her, wann gecashtes Inject in Dollar günstiger ist als Retrieval:
$C < 10 \times R$
Wobei $C$ die Korpusgröße und $R$ die Retrieval-Payload ist.

Implikation: Ge castes Inject ist nur dann günstiger, wenn der Korpus etwa zehnmal kleiner ist als die Retrieval-Payload.
Realität: Für den getesteten 163K-Token-Korpus waren sowohl navembed als auch navindex im Steady State günstiger als gecashtes Inject. Für sehr kleine Korpora (<35K Tokens) bleibt Inject jedoch die günstigere Option.
Vorbehalt: Dies setzt eine „warme“ Session voraus, in der der Cache gültig ist (5-Minuten-TTL). In asynchronen Workflows können die Kosten für das Schreiben des Caches wiederholt anfallen, was den Vorteil von Inject zunichtemacht.

Kernbeiträge

Paarweise Evaluierung: Eine rigorose, positions-bias-kontrollierte Evaluierung von Vollkorpus-Injektion gegenüber strukturierter Abfrage auf einem juristischen QA-Datensatz mit verifiziertem Ground Truth.
navindex-Design: Das Design eines Navigationsdeskriptors für Rechtsinstrumente, der typisierte boolesche Flags, Querverweis-Graphen und die Auflösung definierter Begriffe kodiert und über spezifische Prompts operationalisiert.
Caching-Crossover-Regel: Eine geschlossene ökonomische Regel, die den Token-Fußabdruck von den Dollar-Kosten trennt und hervorhebt, dass die Reduktion des Token-Fußabdrucks ein struktureller Vorteil ist, während Kosteneinsparungen sessionsabhängig sind.
Fehlermuster-Katalog: Identifizierung spezifischer Fehlermuster, die zu vermeiden sind, wie BM25 Length Bias, Title-only Over-Selection und ungedeckte Node-Selection.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass strukturierte Abfrage eine praktikable und oft überlegene Alternative zur Vollkorpus-Injektion für die Analyse von Rechtsdokumenten ist, sofern die Retrieval-Strategie die strukturellen Abhängigkeiten von Rechtstexten respektiert.

Qualitätserhaltung: Strukturierte Abfrage kann die Antwortqualität der Vollinjektion erreichen (gemessen durch einen referenz-verankerten Judge), während sie gleichzeitig den Token-Fußabdruck und den Antwort-Kontext drastisch reduziert.
Strukturelle Treue: Der navindex-Ansatz zeigt, dass die direkte Kodierung rechtlicher struktureller Signale (Querverweise, definierte Begriffe) in den Index effektiver ist als die bloße Abhängigkeit von Vektor-Ähnlichkeit, insbesondere bei Fragen, die die Abstimmung von Änderungen und Anhängen erfordern.
Ökonomische Lebensfähigkeit: Während Vollinjektion für sehr kleine Korpora oder Single-Session-Abfragen günstiger ist, wird strukturierte Abfrage die ökonomisch überlegene Wahl, wenn die Korpusgröße wächst oder die Retrieval-Payload signifikant kleiner als der volle Korpus ist.

Die Autoren bleiben hinsichtlich ihrer Ansprüche bescheiden und merken an, dass die Evaluierung auf eine einzige Modellfamilie und einen spezifischen 20-Fragen-Satz beschränkt ist und die Retrieval-Recall (Precision/Recall) nicht direkt misst, da die Ground-Truth-Node-Labels fehlen. Sie betonen, dass das „Tie“-Urteil die Äquivalenz in der Konsistenz mit dem Ground Truth zertifiziert, nicht die absolute Korrektheit, und dass die Ergebnisse spezifisch für den evaluierten Korpus und das Prompt Engineering sind.