Can LLMs Judge Legal Accuracy? Reliability of LLM Evaluators for High-Stakes Insurance QA in a Low-Resource Language
Diese Arbeit zeigt auf, dass LLMs zwar zur Bewertung der rechtlichen Genauigkeit in ressourcenarmen Sprachen wie dem Quebec-Französisch eingesetzt werden können, ihre Zuverlässigkeit jedoch ohne menschliche Aufsicht für den Einsatz in kritischen Bereichen unzureichend ist, da selbst die stärksten Modelle nur eine moderate Übereinstimmung aufweisen, es versäumen, gefährliche Fehler konsistent zu erkennen, und signifikant von schrittweiser Argumentation sowie Ensemble-Methoden profitieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz ist ein neues Werkzeug entstanden, um ein altes Problem zu lösen: Woher wissen wir, ob ein Computer die Wahrheit sagt? Jahrelang haben sich Entwickler darauf verlassen, dass menschliche Experten die von diesen intelligenten Maschinen generierten Antworten lesen und bewerten, aber dieser Prozess ist langsam, teuer und schwer zu wiederholen. Um dies zu beschleunigen, begannen Forscher, die klügsten Modelle der künstlichen Intelligenz selbst einzusetzen, um als Richter zu fungieren und die Arbeit anderer Modelle zu bewerten. Dieser Ansatz, der oft als „KI-Bewertung“ bezeichnet wird, ist populär geworden, weil er schnell und konsistent ist. Die meisten unserer Erkenntnisse über diese digitalen Richter stammen jedoch aus Tests, die auf Englisch zu allgemeinen Themen wie dem Schreiben von Geschichten oder dem Beantworten von Trivia durchgeführt wurden. Wir wissen noch nicht, ob man diesen Richtern vertrauen kann, wenn der Einsatz hoch ist, das Thema komplexes Recht betrifft und die Sprache ein spezifischer regionaler Dialekt ist.
Ein Forschungsteam der Université Laval in Kanada beschloss, diese digitalen Richter in der anspruchsvollsten Umgebung zu testen, die es sich vorstellen konnte. Sie konzentrierten sich auf die Kfz-Versicherung in der Provinz Québec, einem Ort, an dem die Regeln in einer einzigartigen Form des Französischen verfasst sind und die einem spezifischen Rechtssystem unterliegen, das sich vom Rest Kanadas und Europas unterscheidet. In diesem System werden Personenschäden durch Autounfälle durch einen öffentlichen No-Fault-Plan abgewickelt, während Sachschäden von privaten Versicherungsgesellschaften behandelt werden. Ein einzütiger Fehler bei der Erklärung dieser Regeln könnte einen Bürger über seine Rechte täuschen oder ein Unternehmen rechtlich angreifbar machen. Die Forscher sammelten 807 echte Prüfungsfragen, die zur Zertifizierung von Versicherungsexperten verwendet werden, zusammen mit den korrekten Antworten und Expertenerklärungen. Sie baten dann 52 verschiedene Modelle der künstlichen Intelligenz, als Richter zu fungieren und zu prüfen, ob die verschiedenen Antworten auf diese Fragen richtig oder falsch waren.
Die Ergebnisse waren ernüchternd. Selbst die leistungsfähigsten und fortschrittlichsten Modelle der künstlichen Intelligenz, die als die besten der Welt gelten, konnten nicht darauf vertraut werden, diese rechtlichen Antworten allein zu beurteilen. Das leistungsstärkste Modell war nur mäßig zuverlässig, was bedeutet, dass es immer noch häufig genug Fehler machte, dass ein Mensch sich nicht blind darauf verlassen würde. Wichtiger noch war die Erkenntnis der Forscher, dass die allgemeine Intelligenz eines Modells nicht vorhersagte, wie sicher dessen Anwendung war. Einige sehr intelligente Modelle waren überraschend nachlässig und billigten falsche Antworten häufig als korrekt ab. Andere waren übervorsichtig und lehnten korrekte Antworten ab, nur um auf der sicheren Seite zu sein. Es gab keinen einfachen Weg, einen „guten“ Richter basierend auf seinem allgemeinen Ruf auszuwählen; ein Modell, das bei der allgemeinen Qualität hoch punktete, konnte dennoch gefährlich sein, weil es spezifische, kostspielige Fehler nicht erkannte.
Die Studie zeigte auch, dass sich diese digitalen Richter unterschiedlich verhalten, je nachdem, wer die Antwort schreibt. In vielen anderen Studien neigen Modelle der künstlichen Intelligenz dazu, freundlicher zu Antworten von anderen Maschinen zu sein und ihnen oft höhere Bewertungen als menschengeschriebenen Texten geben. Doch in diesem strengen rechtlichen Kontext geschah das Gegenteil. Die Richter waren gegenüber Antworten, die von künstlicher Intelligenz verfasst wurden, tatsächlich strenger als gegenüber Antworten von Menschen. Sie waren weniger wahrscheinlich bereit, eine maschinengenerierte Antwort als korrekt zu akzeptieren, selbst wenn die menschengeschriebenen Ablenkungsmanöver eindeutig falsch waren. Dies deutet darauf ab, dass die Voreingenommenheit dieser Modelle nicht feststehend ist; sie ändert sich je nach Aufgabe und Anweisung. Wenn sie angewiesen wurden, präzise bezüglich des Rechts zu sein, wurden die Modelle strenger, nicht nachsichtiger.
Um einen Weg nach vorn zu finden, testeten die Forscher verschiedene Strategien, um den Bewertungsprozess sicherer zu machen. Sie entdeckten, dass es half, den Richtern einen Referenztext zum Vergleich zur Verfügung zu stellen, aber dies galt nur für die schwächeren Modelle. Die effektivste Lösung bestand darin, ein Gremium von Richtern anstelle eines einzelnen einzusetzen. Indem sie eine kleine Gruppe der besten Modelle wählen ließen, die über eine Antwort abstimmten, und verlangten, dass sie sich alle einig waren, bevor sie eine Antwort als korrekt akzeptierten, reduzierten die Forscher die Anzahl der gefährlichen Fehler drastisch. Dieser „konservative“ Ansatz bedeutete, dass, wenn auch nur ein Richter in der Gruppe einen Fehler feststellte, die Antwort abgelehnt wurde. Diese Methode senkte die Rate der falschen Bestätigungen im Vergleich zur Verwendung des einzelnen besten Modells allein um mehr als die Hälfte.
Die Forscher kamen zu dem Schluss, dass für hochkarätige Rechtsfragen ein einzelner Richter der künstlichen Intelligenz nicht vertrauenswürdig genug ist, um allein zu arbeiten. Das Risiko, dass eine Maschine eine falsche rechtliche Antwort bestätigt, ist zu groß, um es zu ignorieren. Stattdessen ist der beste Ansatz, ein kleines Team intelligenter Modelle für die erste Prüfung einzusetzen, aber immer einen menschlichen Experten bereit zu haben, der die endgültige Entscheidung in schwierigen oder riskanten Fällen trifft. Dies schafft ein System, in dem die Geschwindigkeit der künstlichen Intelligenz mit der Sicherheit menschlicher Aufsicht kombطiniert wird. Die Studie dient als Warnung, dass diese Werkzeuge zwar leistungsstark sind, aber keine perfekten Ersatz für menschliches Urteilsvermögen darstellen, insbesondere wenn die Regeln komplex sind und die Folgen eines Fehlers schwerwiegend sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.