Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering
Dieser Beitrag stellt einen Benchmark für zeit-sensitive Beantwortung gesetzlicher Fragen auf Deutsch vor und zeigt, dass retrieval-augmentierte Generierung mit zeitlicher Filterung die Nach-Abschneidungs-Veraltetheit und den Aktualitätsbias in rechtlichen LLMs zwar effektiv mindert, während Standardmodelle und Web-Suchansätze jedoch unter schweren zeitlichen Fehlern leiden, was die Notwendigkeit unterstreicht, zeitliche Gültigkeit als harte Bedingung für zuverlässige rechtliche KI durchzusetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen brillanten juristischen Assistenten, der jedes deutsche Gesetzbuch bis zu einem bestimmten Datum gelesen hat – sagen wir, November 2024. Dieser Assistent ist unglaublich intelligent, hat jedoch eine große Blindecke: Er weiß nicht, dass sich die Welt seit dem Zeitpunkt, an dem er das Lesen einstellte, verändert hat.
Dieser Artikel untersucht, wie dieser Assistent bei zwei spezifischen Arten von Zeitverwirrungen versagt, und versucht, diese Verwirrungen zu beheben.
Die zwei Zeitreise-Fehler
Die Forscher stellten fest, dass dieser KI-Assistent bei Fragen zu Gesetzen zwei unterschiedliche Arten von Fehlern macht:
Das Problem der „veralteten Karte" (Post-Cutoff-Staleness):
Stellen Sie sich vor, Sie fahren im Jahr 2025, aber Ihr GPS verwendet eine Karte aus dem Jahr 2020. Das GPS weist Sie an, links abzubiegen, wo nun eine neue Autobahn die Straße blockiert.- Der Fehler: Wenn sich ein Gesetz nach dem Zeitpunkt geändert hat, an dem die KI ihr Lernen einstellte, wendet die KI selbstbewusst die alte, überholte Regel an. Sie weiß nicht, dass das neue Gesetz existiert.
- Das Ergebnis: Die KI gibt eine falsche Antwort, klingt dabei aber sehr sicher.
Das Problem des „neuesten glänzenden Spielzeugs" (Recency Bias):
Stellen Sie sich vor, Sie fragen Ihren Assistenten: „Wie hoch war das Tempolimit auf dieser Straße im Jahr 1995?" Obwohl Sie eine Zeitmaschine (das alte Gesetz) direkt auf dem Schreibtisch haben, greift der Assistent nach dem aktuellen Tempolimitschild, weil es frischer und „relevanter" aussieht.- Der Fehler: Die KI bevorzugt die neueste Version eines Gesetzes, selbst wenn die spezifische Situation, nach der Sie fragen, in der Vergangenheit stattfand und die alte Version erfordert.
- Das Ergebnis: Die KI wendet das falsche (zu neue) Gesetz auf eine alte Situation an.
Das Experiment: Ein juristischer „Stresstest"
Um dies zu testen, erstellten die Forscher eine spezielle Prüfung mit 312 Fragen, die auf echten deutschen Gesetzen basieren. Sie sorgten dafür, dass die Fragen knifflig waren:
- Einige erforderten das Wissen über ein Gesetz, das nach dem „Geburtstag" der KI (ihrem Trainingsstichtag) geändert wurde.
- Einige erforderten die Anwendung eines Gesetzes aus dem Jahr 2017 auf einen Fall, der 2017 stattfand, obwohl sich das Gesetz 2024 geändert hatte.
Sie testeten fünf verschiedene KI-Modelle (wie ChatGPT, Claude und DeepSeek) auf vier verschiedene Arten:
- Der „Nur-Gehirn"-Modus: Die KI antwortet ausschließlich mit dem, was sie während des Trainings auswendig gelernt hat.
- Der „Google-Suche"-Modus: Die KI darf das Live-Internet durchsuchen.
- Die „Zeitreise-Bibliothek" (RAG-kNN): Die KI erhält eine digitale Bibliothek, aber eine strenge Bibliothekarin (ein Filter) reicht ihr nur Bücher heraus, die zum spezifischen Datum der Frage gültig waren.
- Der „Inhaltsverzeichnis"-Modus: Ähnlich wie bei der Bibliothek, wählt die KI jedoch die Kapitel aus einer Liste aus, bevor sie den Volltext liest.
Was sie fanden
1. Der „Nur-Gehirn"-Modus versagte jämmerlich
Wenn die KI sich nur auf ihr Gedächtnis verlassen musste, war sie schrecklich im Umgang mit der Zeit.
- Bei Fragen zu Gesetzen, die nach ihrem Training geändert wurden, lag ihre Begründung fast vollständig falsch (Ergebnis nahe 0 %). Sie wendete selbstbewusst alte Regeln auf neue Situationen an.
- Sie gab selten zu: „Ich weiß es nicht." Stattdessen riet sie einfach falsch.
2. Die „Zeitreise-Bibliothek" löste das Problem
Als die Forscher die RAG-Methoden verwendeten (die Bibliothek mit dem strengen Datumsfilter), verbesserte sich die Leistung der KI dramatisch.
- Indem die KI gezwungen wurde, nur die Gesetze zu betrachten, die zum Zeitpunkt des Ereignisses gültig waren, wurden die Antworten korrekt.
- Es spielte keine Rolle, ob die KI ein Gesetz aus dem Jahr 2017 oder 2025 betrachtete; solange die „Bibliothekarin" die Bücher korrekt filterte, erhielt die KI die richtige Antwort.
- Wichtigste Erkenntnis: Die KI muss keine neuen Gesetze „lernen"; sie muss lediglich gezwungen werden, die richtige Version des Gesetzes zur richtigen Zeit zu betrachten.
3. Der „Google-Suche"-Modus war unzuverlässig
Die Erlaubnis für die KI, das Live-Internet zu durchsuchen, half im Vergleich zum „Nur-Gehirn"-Modus zwar ein wenig, führte aber zu einem neuen Problem.
- Die KI zeigte nun eine starke Recency Bias. Bei Fragen zu alten Fällen zog die Suchmaschine oft das aktuelle Gesetz heran, weil es „frisch" und im Internet beliebt ist.
- Die KI wandte dann das aktuelle Gesetz auf den alten Fall an und erhielt erneut die falsche Antwort. Sie konnte dem „glänzenden neuen Spielzeug" nicht widerstehen.
Das Urteil
Die Studie kommt zu dem Schluss, dass für juristische Fragen die Zeit eine harte Regel und keine Empfehlung ist.
Man kann eine KI nicht einfach fragen: „Was ist das Gesetz?" und eine korrekte Antwort erwarten. Man muss ihr sagen: „Was war das Gesetz an diesem spezifischen Datum?", und man muss ihren Zugriff physisch auf die Dokumente aus dieser Zeit beschränken.
- Ohne Filter: Die KI ist wie ein Anwalt, der nur die Zeitung von gestern liest und glaubt, es sei heute.
- Mit Filtern (RAG): Die KI wird zu einem Anwalt, der ein perfektes, organisiertes Archiv hat und genau weiß, welches Buch er je nach Datum des Ereignisses vom Regal nehmen muss.
Die Studie beweist, dass KI zwar mächtig ist, aber eine „Zeitmaschine" (einen strengen Datumsfilter) benötigt, um im juristischen Bereich zuverlässig zu sein. Ohne sie neigt sie dazu, Ihnen selbstbewusst veraltete oder historisch falsche Ratschläge zu erteilen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.