Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
Dieses Paper führt „Citation Grounding“ ein, eine neuartige Metrik und ein Framework zur Erkennung und Reduzierung von Halluzinationen bei juristischen Zitaten in großen Sprachmodellen, indem es einen massiven ukrainischen Gerichtsentscheidungs-Graphen nutzt, um die Zitatzuverlässigkeit zu bewerten, und eine Präferenzlernmethode (CG-DPO) anwendet, um Modelle darauf zu trainieren, zwischen validen Zitaten und korrumpierten Zitaten zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen eine sehr kluge, schnell sprechende Rechtsassistentin ein, die einen Bericht für Sie schreiben soll. Diese Assistentin hat Millionen von Büchern gelesen und weiß sehr viele Fakten. Es gibt jedoch einen Haken: Wenn man sie bittet, spezifische Gesetze zu nennen, um ihre Argumente zu stützen, erfindet diese Assistentin manchmal etwas dazu. Sie erfindet vielleicht ein Gesetz, das gar nicht existiert, zitiert ein Gesetz, das vor Jahren abgeschafft wurde, oder zitiert ein Gesetz aus einem ganz anderen Land. In der Rechtswelt nennt man das eine „Halluzination“.
Dieses Papier stellt eine neue Methode vor, um diese Lügen zu entlarven und eine Methode, um der Assistentin beizubringen, sie nicht zu erzählen.
Das Problem: Der „Fake-Gesetz“-Generator
Die Autoren fanden heraus, dass selbst die fortschrittlichsten KI-Modelle, wenn man sie bittet, über ukrainisches Recht zu schreiben, etwa 13 % bis 21 % der Zeit gefälschte Rechtszitate erfinden. Es ist, als würde ein Schüler einen Aufsatz schreiben und Seitenzahlen für ein Lehrbuch erfinden, das gar nicht existiert.
Die Lösung: Der „Citation Grounding“-Test
Um dies zu beheben, haben die Forscher eine riesige digitale Karte namens Citation Graph erstellt. Stellen Sie sich diesen Graphen wie einen riesigen, supergenauen Bibliothekskatalog vor, der aus 100 Millionen echten Gerichtsurteilen aufgebaut ist. Er enthält jedes einzelne Mal, wenn ein echter Richter ein spezifisches Gesetz in einem echten Fall zitiert hat.
Sie entwickelten einen Test namens Citation Grounding (CG). So funktioniert er:
- Die Karte: Sie haben die „Wahrheitskarte“ (den Graphen aus echten Gerichtsfällen).
- Der Test: Sie bitten eine KI, eine rechtliche Antwort zu formulieren.
- Die Prüfung: Sie prüfen jedes Gesetz, das die KI erwähnt, anhand der Karte.
- Existierte das Gesetz? (Präzision)
- War es das richtige Gesetz für diese spezifische Situation? (Relevanz)
- War das Gesetz an diesem spezifischen Datum tatsächlich in Kraft? (Temporalität)
Wenn die KI ein Gesetz zitiert, das nicht auf der Karte steht oder es im falschen Kontext zitiert, markiert der Test dies als Halluzination.
Was sie herausgefunden haben
Sie testeten fünf verschiedene KI-Systeme an 100 Rechtsfragen.
- Die Ergebnisse: Die meisten KIs gaben etwa 80 % ihrer Zitate korrekt an. Der Rest war gefälscht.
- Der „RAG“-Gewinner: Ein System nutzte einen speziellen Trick namens RAG (Retrieval-Augmented Generation). Stellen Sie sich vor, diese KI verlässt sich nicht nur auf ihr Gedächtnis; sie geht tatsächlich in die Bibliothek, findet die echten Bücher und liest sie, bevor sie antwortet. Dieses System machte die wenigsten Fehler und zitierte insgesamt die wenigsten Gesetze, was beweist, dass „weniger mehr ist“, wenn man tatsächlich die Fakten nachschlägt.
- Das überraschende Muster: Sie erwarteten, dass KI-Modelle, die mehr Gesetze zitieren, auch mehr Fehler machen würden. Aber das war nicht der Fall. Einige Modelle zitierten viele Gesetze und waren dennoch präzise; andere zitierten weniger Gesetze und lagen trotzdem falsch. Es hängt ganz davon ab, wie die KI gebaut ist, und nicht nur davon, wie viel sie redet.
Die „Selbstlern“-Methode (CG-DPO)
Der größte Durchbruch in diesem Papier ist, wie sie planen, die KI zu korrigieren, ohne ein Team von teuren menschlichen Anwälten einzustellen, die jede Antwort überprüfen müssen.
Normalerweise müssen Menschen, um eine KI ehrlich zu machen, ihre Antworten lesen und sagen: „Das ist gut“ oder „Das ist schlecht“. Das ist langsam und teuer.
Die Forscher erkannten, dass ihr Citation Graph die Arbeit des Menschen übernehmen kann. Sie kreierten ein Spiel:
- Nehmen Sie ein echtes Gerichtsurteil mit korrekten Zitaten.
- Korrumpieren Sie es: Sie nutzten ein Computerprogramm, um Gesetze auszutauschen, erfundene Artikel einzufügen oder veraltete Gesetze zu verwenden (wie zum Beispiel ein Gesetz von 2020 durch ein Gesetz von 2025 zu ersetzen, das noch gar nicht existierte).
- Die Lektion: Sie zeigten der KI zwei Versionen: die „Echte“ und die „Korrumpierte“. Die KI lernte, die echte Version zu bevorzugen.
Da die „Wahrheit“ bereits im Graphen enthalten war, mussten sie keine Menschen zur Kennzeichnung der Daten einsetzen. Sie ließen einfach den Graphen die Bewertung vornehmen. Sie trainierten ein Modell mit dieser Methode, und dieses wurde zu 98,5 % genau darin, den Unterschied zwischen einem echten Zitat und einem gefälschten zu erkennen.
Das Fazbeziehungsweise das Fazit
Dieses Papier zeigt:
- KI lügt oft über Gesetze, aber wir können sie entlarven, indem wir ihre Antworten mit einer massiven Karte der echten Gerichtshistorie vergleichen.
- RAG-Systeme (die Fakten nachschlagen, bevor sie antworten) sind derzeit am besten darin, diese Lügen zu vermeiden.
- Wir können KI lehren, nicht zu lügen, indem wir die Karte selbst nutzen, um „korrekte vs. inkorrekte“ Beispiele zu generieren, wodurch die mühsame Arbeit der menschlichen Anwälte bei der Überprüfung jedes einzelnen Zitats entfällt.
Die Autoren haben ihre „Karte“, ihre Testwerkzeuge und ihre Trainingsdaten für jeden zur Verfügung gestellt, in der Hoffnung, die Zuverlässigkeit von Rechts-KIs für alle zu erhöhen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.