💻 Informatik

Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries

Dieses Paper schlägt Augmented Question-guided Retrieval (AQgR) vor, ein Framework, das die Abfrage von indischem Fallrecht durch das Generieren rechtlicher Fragestellungen für Suchanfragen, die Verwendung strukturierter RAG-Zusammenfassungen für den Kontext und den Einsatz von LLMs für das Reranking sowie Relevanzerklärungen verbessert und dabei eine signifikant höhere Mean Average Precision als bestehende Benchmarks erreicht.

Ursprüngliche Autoren: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Veröffentlicht 2026-10-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt des Rechts ist das Finden der richtigen vergangenen Entscheidung zur Unterstützung eines aktuellen Falles oft der zeitaufwendigste Teil der Arbeit eines Anwalts. Dies gilt insbesondere in Indien, wo Gerichtsurteile massive, unstrukturierte Dokumente sind, die Fakten, Argumente und Urteile in langen, kontinuierlichen Textblöcken vermischen. Traditionell haben Computer versucht zu helfen, indem sie nach Fällen suchten, die dem aktuellen Szenario aufgrund der verwendeten spezifischen Wörter ähnlich sehen. Wenn ein Anwalt einen Streit über die Entlassung eines Fabrikarbeiters beschreibt, sucht der Computer nach anderen Fällen, die Fabriken und Arbeiter erwähnen. Dieser Ansatz scheitert jedoch oft, da das Gesetz mehr Wert auf den zugrunde liegenden Rechtsgrundsatz legt als auf die spezifischen Details der Geschichte. Zwei Fälle können völlig unterschiedliche Personen und Umgebungen betreffen, aber dieselbe exakte Rechtsfrage behandeln, wie etwa, ob eine Regierungsmaßnahme fair war. Um dies zu lösen, haben Forscher sich einer neuen Generation von künstlicher Intelligenz zugewandt, die als Large Language Models bekannt ist. Diese Systeme können menschliche Sprache lesen und verstehen, stehen aber vor einer erheblichen Hürde: Sie können nicht tausende Seiten Text auf einmal lesen. Um effektiv zu arbeiten, müssen sie Informationen in eine handhabbare Größe komprimieren und sie müssen durch die richtigen Fragen statt nur durch rohe Fakten geleitet werden.

Ein Team von Forschern der Cochin University of Science and Technology und des Naval Physical & Oceanographic Laboratory setzte sich das Ziel, ein System zu entwickeln, das diese Herausforderungen bewältigen kann, um indisches Fallrecht abzurufen. Sie entwickelten ein Framework namens Augmented Question-guided Retrieval, das in zwei Hauptphasen arbeitet. Zuerst nimmt das System ein langes, unstrukturiertes Gerichtsurteil und nutzt ein Modell der künstlichen Intelligenz, um die wichtigsten Teile, wie etwa die Fakten, die aufgeworfenen Rechtsfragen und das endgültige Urteil, zu extrahieren und sie in eine saubere, strukturierte Zusammenfassung zu organisieren. Dieser Schritt ist entscheidend, da er ein Dokument, das vielleicht zwanzigtausend Wörter lang ist, auf wenige Schlüsselfelder schrumpft, die in den Speicher des Computers passen. Zweitensseits, anstatt nach Fällen unter Verwendung der rohen Geschichte des aktuellen Rechtsstreits zu suchen, weist das System die künstliche Intelligenz an, die spezifischen Rechtsfragen zu generieren, die die Geschichte aufwirft. Es verwendet dann diese abstrakten Rechtsfragen, um nach vergangenen Präzedenzfällen zu suchen, und schließlich nutzt ein zweites Modell der künstlichen Intelligenz die Ergebnisse neu, um zu erklären, warum jeder vergangene Fall relevant ist.

Die Forscher testeten dieses System an einer großen Sammlung indischer Urteile des Obersten Gerichtshofs. Sie fanden heraus, dass die Art und Weise, wie sie die Informationen strukturierten, wichtiger war als die spezifischen Suchbegriffe. Als das System nach Fällen unter Verwendung der generierten Rechtsfragen statt der rohen Fakten suchte, fand es relevantere Präzedenzfälle, jedoch nur, wenn die vergangenen Urteile bereits in diese kurzen, strukturierten Zusammenfassungen umgewandelt worden waren. Wenn das System versuchte, durch den vollständigen, uneditierten Text der Urteile zu suchen, waren die kurzen Rechtsfragen zu spärlich, um eine Übereinstimmung zu finden. Die Studie enthüllte auch ein überraschendes Detail darüber, wie das System mit Zitaten umgeht. Das Einbeziehen von Namen vergangener Fälle in die Zusammenfassung verschlechterte die Leistung tatsächlich, da es zu viel Rauschen hinzufügte. Wenn das System jedoch den Rechtsgrundsatz hinter jedem Zitat zusammenfasste, anstatt nur den Namen aufzuführen, verbesserten sich die Ergebnisse signifikant. Dies deutet darauf hin, dass der Computer besser lernt, wenn er die Regel hinter einem Verweis versteht, anstatt nur den Verweis selbst zu sehen.

Um sicherzustellen, dass das System robust ist, führten die Forscher Dutzende von Experimenten durch, bei denen sie die Art der Abfragen und die Organisation der Daten veränderten. Sie entdeckten, dass die Kombination verschiedener Arten von Suchen – die Verwendung sowohl der Fakten des Falles als auch der generierten Rechtsfragen – dem System half, insgesamt relevantere Fälle zu finden, auch wenn dies das endgültige Ranking manchmal etwas weniger präzise machte. Sie fanden auch heraus, dass das System zwar die meisten Dokumente gut handhaben konnte, die sehr langen Urteile jedoch manchmal nicht korrekt zusammengefasst wurden, was die Fähigkeit des Systems einschränkte, die perfekte Übereinstimmung für bestimmte Abfragen zu finden. Trotz dieser Einschränkungen erreichte das System ein Genauigkeitsniveau, das deutlich besser war als bisherige Methoden, und erreichte einen Score von etwa 0,312 auf einem Standardtest, verglichen mit etwa 0,157 für die besten bestehenden Systeme. Diese Verbesserung wurde erzielt, ohne die künstliche Intelligenz auf Rechtsdaten neu trainieren zu müssen, was beweist, dass eine kluge Art der Informationsorganisation genauso leistungsstark sein kann wie das Beibringen neuer Fakten an den Computer.

Die Studie kommt zu dem Schluss, dass der Schlüssel dazu, künstliche Intelligenz für die Rechtsrecherche nützlich zu machen, nicht darin liegt, den Computer intelligenter zu machen, sondern die Informationen so zu präsentieren, dass der Computer sie tatsächlich nutzen kann. Durch die Komprimierung langer Urteile in strukturierte Zusammenfassungen und die Leitung der Suche durch generierte Rechtsfragen schufen die Forscher eine Pipeline, die Anwälten hilft, die richtigen Präzedenzfälle schneller zu finden. Das System liefert nicht nur eine Liste von Fällen, sondern auch eine einseitige Erklärung dafür, warum jeder Fall ausgewählt wurde, was es einem Anwalt ermöglicht, schnell zu entscheiden, ob das vollständige Dokument das Lesen wert ist. Obwohl das System nicht perfekt ist und immer noch mit den sehr längsten Dokumenten zu kämpfen hat, zeigt es einen praktischen Weg nach vorn auf. Es zeigt, dass künstliche Intelligenz mit der richtigen Struktur helfen kann, die weite und komplexe Landschaft des indischen Rechts zu navigieren und damit Stunden der Suche in Minuten des Lesens verwandelt.

Technische Zusammenfassung: Augmented Question-guided Retrieval (AQgR) von indischem Fallrecht

Problemstellung
Juristische Fachkräfte in Indien stehen vor erheblichen Herausforderungen bei der Abfrage relevanter Präzedenzfälle aus der Rechtsprechung, da die unstrukturierte Natur von Urteilen oft keine konsistenten Überschriften zur Trennung von Sachverhalt, Rechtsfragen und Begründung aufweist. Traditionelle Abfragensysteme verlassen sich stark auf die Ähnlichkeit basierend auf Fakten (z. B. BM25, dichte Embeddings), was jedoch oft daran scheitert, Präzedenzfälle zu identifizieren, die dieselben Rechtsprinzipien teilen, sich aber in den faktischen Details unterscheiden. Zudem erklären bestehende automatisierte Systeme selten, warum ein Präzedenzfall relevant ist, was Anwälte dazu zwingt, die vollständigen Urteile zu lesen, um die Anwendbarkeit zu verifizieren. Die Kernherausforderung besteht darin, Fälle basierend auf geteilten Rechtsdoktrinen statt auf oberflächlicher faktischer Ähnlichkeit abzurufen und dabei die Kontextfenster-Beschränkungen von Large Language Models (LLMs) zu bewältigen und Halluzinationen ohne Fine-Tuning zu vermeiden.

Methodik: Das AQgR-Framework
Das vorgeschlagene Augmented Question-guided Retrieval (AQgR) Framework operiert in zwei primären Phasen: strukturierte Zusammenfassungsgenerierung und eine Ensemble-Retrieval-Pipeline mit LLM-basiertem Reranking.

Strukturierte Zusammenfassungsgenerierung (RAG):
- Um die Kontextfenster-Beschränkungen und die unstrukturierte Natur indischer Urteile zu adressieren, nutzt das System Retrieval-Augmented Generation (RAG), um spezifische Felder aus Rohurteilen in ein strukturiertes JSON-Format zu extrahieren.
- Phase 1 nutzte Gemini Pro auf einer Teilmenge von 50 Urteilen unter Anwendung von Chain-of-Thought (CoT) Prompting, um lange Dokumente durch die Verarbeitung in Chunks zu handhaben.
- Phase 2 skalierte dies auf 496 Urteile mittels Llama 3 70B. Es wurde eine robuste Pipeline mit Greedy Decoding (Temperatur=0) und einem Validierungs-/Reparaturmechanismus eingeführt, um die Einhaltung eines konsistenten Schemas (21 Felder, einschließlich Sachverhalt, Rechtsfragen, Begründung und neues Rechtsprinzip) zu gewährleisten.
- Entscheidend ist, dass das System „Neue Rechtsprinzipien“ und „Zitationsprinzipien“ (die Regel hinter einer Zitation) extrahiert, anstatt nur die Namen der Zitationen, um Rauschen zu reduzieren.
Retrieval-Pipeline:
- Abfrageformulierung: Das System generiert drei abstrakte juristische Problemphrasen aus den Eingangs-Fakten mittels eines LLMs. Diese werden zu einer durch Pipe-Zeichen getrennten Zeichenfolge ( $q_I$ ) konkateniert.
- Erster Suchstadium (First-Stage Retrieval): Ein hybrider „B5“-Retriever kombiniert BM25 (gewichtete 0,7) und FAISS-dichte Abfrage (gewichtete 0,3). Das System testet drei Abfragetypen: Nur Fakten ( $q_F$ ), nur Rechtsfragen ( $q_I$ ) und Fakten+Rechtsfragen ( $q_{FI}$ ).
- Zweiter Stufe (Reranking): Ein LLM führt ein Reranking der Top-100-Kandidaten aus der ersten Stufe durch. Der Reranking-Prompt nutzt die kombinierte Fakten+Rechtsfragen-Abfrage ( $q_{FI}$ ), um über den Kandidatenpool zu argumentieren, welcher durch die strukturierten JSON-Felder repräsentiert wird. Das LLM gibt eine rangierte Liste der Top-20-Fälle mit einer einzeiligen Relevanzbegründung für jeden Fall aus.

Wesentliche Beiträge
Die Arbeit identifiziert mehrere spezifische Beiträge zu Legal NLP und KI:

Dichte-Abgleich zwischen Abfrage und Dokument (Query-Document Density Alignment): Die Studie stellt fest, dass die Retrieval-Leistung von der Übereinstimmung der lexikalischen Dichte der Abfrage mit der Dokumentrepräsentation abhängt. Kurze, problembasierte Abfragen schneiden gegen lange, unstrukturierte Plain-Text-Urteile schlecht ab, glänzen aber gegenüber komprimierten strukturierten Zusammenfassungen. Im Gegensatz dazu sind lange, deskriptive Abfragen für die Plain-Text-Abfrage notwendig.
Zitationsinhalts-Suche (Citation-Content Finding): Die Arbeit zeigt, dass das Einbeziehen vollständiger Zitationsnamen in strukturierte Zusammenfassungen Rauschen erzeugt und Kontextraum verbraucht. Das Einbeziehen des Rechtsprinzips hinter einer Zitation verbessert jedoch die Reranking-Leistung signifikant.
Zero-Shot LLM-Pipeline: Die Autoren präsentieren eine Retrieval- und Reranking-Pipeline, die ohne aufgabenspezifisches Fine-Tuning wettbewerbsfähige Ergebnisse erzielt, indem sie sich auf strukturierte Zusammenfassungen und Prompt Engineering stützt.
Kontextfenster-Management: Die Arbeit demonstriert, dass die Reduktion von Urteilen auf einen spezifischen Satz von sechs Schlüsselfeldern (Sachverhalt, Rechtsfragen, Begründung, Neues Rechtsprinzip, wichtige Themen und Zitationsprinzipien) es ermöglicht, 227 der 496 Urteile gleichzeitig in ein einziges LLM-Kontextfenster zu passen, verglichen mit nur 98, wenn alle 21 Felder beibehalten werden, was ein groß angelegtes Reranking praktikabel macht, ohne ein größeres Kontextfenster zu benötigen.
Systematische Ablationsstudie: Durch acht kontrollierte Experimente isoliert das Papier die Auswirkungen von Abfrageformulierung, Dokumentformat, Pooling-Strategien und Reranking-Prompts und zeigt auf, dass die Dokumentrepräsentation ein stärkerer Hebel für die Leistung ist als der Abfragetyp allein.

Ergebnisse

Phase 1 (Gemini Pro): Auf einem Korpus von 50 Urteilen (14 Abfragen) erreichte das System eine Mean Average Precision (MAP) von 0,365 und einen Recall von 0,672. Das Einbeziehen vollständiger Präzedenzfall-Zitationen in die Zusammenfassungen verschlechterte die Leistung, was die Notwendigkeit der selektiven Extraktion bestätigt.
Phase 2 (Llama 3 70B): Auf einem Korpus von 496 Urteilen (50 Abfragen) erreichte die beste Konfiguration (B5-Hybrid-Retriever mit kurzen Problem-Abfragen, V4-Strukturformat und Fakten+Rechtsfragen-Reranking) eine MAP von etwa 0,312.
- Vergleich zu Baselines: Dieses Ergebnis liegt deutlich über dem FIRE 2020 Leaderboard MAP von 0,1573, obwohl die Autoren anmerken, dass die Datensätze und Protokolle nicht direkt vergleichbar sind.
- Abfrageleistung: Bei strukturierten Zusammenfassungen übertraf die problembasierte Abfrage die faktische Abfrage. Ein Union-Pool (Kombination aus Fakten, Rechtsfragen und kombinierten Abfragen) erhöhte zwar die Recall-Obergrenze, verwässerte jedoch die Ranking-Qualität; der reine Rechtsfragen-Pool lieferte die beste MAP.
- Dokumentformat: Format V4 (Einbeziehung von „Zitationsprinzipien“ statt Namen) übertraf alle anderen Formate, einschließlich derer mit vollständiger Begründung oder Zitationsnamen.
- Stabilität: Die Studie stellte fest, dass das Retrieval hoch reproduzierbar ist (95,5 % Übereinstimmung), das LLM-Reranking jedoch eine Lauf-zu-Lauf-Varianz von etwa ±0,03–0,04 MAP aufweist, primär aufgrund der inkonsistenten Auswahl der Anzahl der Dokumente durch das LLM.
- Metrik-Hinweis: Während die beste MAP-Konfiguration (V4, kurze Problem-Abfrage, Issues-only Prompt) eine MAP von 0,3124 erreichte, betrug der entsprechende MRR 0,3379. Höhere MRR-Werte (z. B. 0,4121) wurden in Konfigurationen mit niedrigeren MAP-Scores beobachtet (wie dem Union-Pool mit Fakten+Rechtsfragen-Prompt), was auf einen Trade-off zwischen Ranking-Qualität und Abdeckung in verschiedenen Setups hindeutet.

Bedeutung und Ansprüche
Das Paper behauptet, dass AQgR einen praktischen Zero-Shot-Weg für die erklärbare Fallrechtsabfrage in Indien bietet. Seine Bedeutung liegt in der Demonstration, dass:

Strukturierte Zusammenfassungen entscheidend sind: Sie ermöglichen es LLMs, über Rechtsdoktrinen zu argumentieren, anstatt nur unstrukturierten Text zu scannen, was das Retrieval ohne Fine-Tuning ermöglicht.
Problembasierte Abfrage (Issue-Based Retrieval) praktikabel ist: Die Generierung juristischer Probleme aus Fakten ermöglicht es dem System, Präzedenzfälle basierend auf Rechtsprinzipien statt nur auf faktischer Ähnlichkeit zu finden, was der Arbeitsweise von Juristen entspricht.
Erklärbarkeit: Das System liefert für jeden abgerufenen Fall einen Relevanzgrund, der es Juristen ermöglicht, schnell zu beurteilen, ob ein vollständiges Urteil gelesen werden muss.
Praktischer Nutzen: Der Ansatz erfordert kein Fine-Tuning und läuft auf moderater Hardware, was ihn für einzelne Praktiker und kleine Kanzleien zugänglich macht.

Die Autoren bleiben bescheiden und räumen Einschränkungen ein, wie etwa die Lauf-zu-Lauf-Varianz, die Unfähigkeit, die sehr längsten Urteile zusammenzufassen, und das Fehlen einer umfassenden menschlichen Validierung der 496 generierten Zusammenfassungen. Sie kommen zu dem Schluss, dass das System zwar ein bedeutender Schritt nach vorn ist, aber zukünftige Arbeit nötig ist, um die Recall-Obergrenze für Fälle ohne oberflächliche Vokabularüberschneidung zu schließen und die Stabilität der LLM-generierten Abfragen zu verbessern.

Mehr davon