Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
Dieses Paper stellt FiscalQA Pro vor, einen Benchmark, der zeigt, dass standardmäßige rechtliche RAG-Systeme nicht in der Lage sind, temporale Fehlplatzierungen im französischen Steuerrecht zu handhaben, da sie lediglich die aktuellen Versionen von Artikeln abrufen, und zeigt auf, dass ein versionsbewusstes Retrieval-System eine Genauigkeit von 98,3 % im Vergleich zu einer nahezu bei Null liegenden Leistung statischer Ansätze erreichen kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber die Bibliothek, in der Sie suchen, hat eine sehr seltsame Regel: Jedes Mal, wenn einem Buch eine neue Seite hinzugefügt oder ein Satz geändert wird, legt der Bibliothekar kein neues Buch ins Regal. Stattdessen löscht er die alten Seiten und schreibt das bestehende Buch um, sodass nur die neueste Version sichtbar bleibt. Wenn Sie fragen: „Was stand in dem Buch im Jahr 1995?“ und der Bibliothekar Ihnen nur die Ausgabe von 2025 überreicht, werden Sie die falsche Antwort erhalten, obwohl das Buch auf dem Cover exakt gleich aussieht. Dies ist die Welt der Legal AI (Rechtliche KI), ein Bereich, in dem Computer versuchen, Gesetze zu lesen und Fragen wie ein Anwalt zu beantworten. Um dies zu tun, nutzen sie eine Technik namens RAG (Retrieval-Augmented Generation), die wie ein superintelligenter Schüler ist, der es erlaubt ist, vor einer Testfrage in einem Lehrbuch nach Fakten zu suchen. Das Problem ist, dass die meisten dieser Lehrbücher so behandelt werden, als würden sie sich nie ändern. Aber Gesetze ändern sich, oft jedes Jahr. Wenn ein Computer nicht erkennt, dass ein Gesetz aus dem Jahr 2018 anders ist als das Gesetz von heute, wird er Ihnen selbstbewusst den falschen Rat geben, was für Dinge wie die Steuerzahlung oder das Verständnis Ihrer Rechte eine Katastrophe sein kann.
Dieses Paper mit dem Titel „Temporal Misgrounding in Legal RAG“ untersucht genau dieses Problem im französischen Steuerrecht. Die Autoren entdeckten einen spezifischen Fehlermodus, den sie Temporal Misgrounding nennen. Dies geschieht, wenn ein Computer, der nach einem Gesetz aus der Vergangenheit gefragt wird, das Datum in der Frage ignoriert und einfach die aktuelle Version des Gesetzes heranzieht, weil dies die einzige ist, die er leicht finden kann. Sie bauten eine massive, zeitreisende Bibliothek des französischen Steuerkodex, die 32.436 verschiedene Versionen von Artikeln umfasst, die über 93 Jahre hinweg reichen (von 1938 bis 2031). Dann erstellten sie einen schwierigen Test namens FiscalQA Pro mit 209 Experten-geprüften Fragen, die spezifisch erfordern, das Gesetz zu einem vergangenen Datum zu kennen, nicht das heutige.
Die Ergebnisse waren schockierend. Als sie 11 verschiedene KI-Modelle testeten (einschließlich der fortschrittlichsten verfügbaren), versagten die Computer kläglich, wenn sie nicht in der Lage waren, die richtige Version nachzuschlagen. Ohこと Hilfe gelang der KI nur in 3,0 % der Fälle die richtige Antwort. Wenn sie der KI ein Standard-„Lehrbuch“ gaben, das nur das aktuelle Gesetz enthielt, schnitt sie mit 2,7 % sogar noch schlechter ab. Tatsächlich fand das Standardsystem die korrekte historische Version zu 0,0 % der Zeit; es zitierte selbstbewusst das aktuelle Gesetz, als wäre es das Gesetz der Vergangenheit. Als die Autoren jedoch ein System bauten, das tatsächlich in ihrer zeitreisenden Bibliothek suchen konnte, um die spezifische Version des Gesetzes zu finden, die zum Datum in der Frage aktiv war, schoss die Genauigkeit der KI auf 98,3 % hoch.
Das Paper beweist, dass das Problem nicht darin liegt, dass die KI nicht klug genug ist, das Gesetz zu verstehen; es ist das, dass die Bibliothek, in der sie sucht, defekt ist. Die Autoren argumentieren, dass wir aufhören müssen, juristische Dokumente als statische Objekte zu behandeln, und anfangen müssen, sie als zeitsensitive Objekte zu betrachten. Sie zeigten, dass, sobald man das Abrufsystem korrigiert, um nach dem richtigen Datum zu suchen, die KI diese Probleme fast perfekt lösen kann. Sie haben auch ihren massiven Datensatz und den Code für ihr zeitbewusstes Suchsystem veröffentlicht, in der Hoffnung, andere Forscher dabei zu unterstützen, eine KI zu bauen, die einem nicht selbstbewusst veraltete Rechtsberatung gibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.