Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks
Diese Arbeit zeigt auf, dass juristische Multiple-Choice-Benchmarks wie UA-JudgeExam von Modellen oft allein durch die Antwortoptionen gelöst werden können, ohne die Fragen zu lesen, was auf ausnutzbare Optionspositions-Biases und Distraktor-Muster zurückzuführen ist und eine rigorose Filterung sowie Entzerrung erforderlich macht, um die tatsächlichen juristischen Argumentationsfähigkeiten präzise zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz testen Forscher oft, wie intelligent ein Computer ist, indem sie ihm Multiple-Choice-Fragen stellen, ganz ähnlich wie ein Schüler bei einer standardisierten Prüfung. Die übliche Art, diese Tests zu bewerten, ist simpel: Wenn der Computer die richtige Antwort wählt, erhält er einen Punkt. Doch es gibt einen verborgenen Fehler in dieser Methode. Ein Computer muss die Frage nicht immer verstehen, um die richtige Antwort zu finden. Manchmal enthalten die möglichen Antworten allein schon genügend Hinweise, um die richtige Wahl zu enthüllen, selbst wenn die Frage komplett verborgen bleibt. Dies geschieht, wenn die falschen Antworten schlecht formuliert sind oder wenn die richtige Antwort die einzige ist, die wie ein echter, vollständiger Satz klingt. Wenn eine Maschine den richtigen Buchstaben erraten kann, nur indem sie sich die Optionen ansieht, misst der Test nicht tatsächlich Intelligenz, sondern wie gut die Maschine in der Lage ist, ein Muster in den Antwortmöglichkeiten zu erkennen. Dies ist ein schwerwiegendes Problem für jeden, der versucht, juristische KI zu bewerten, denn wenn der Test fehlerhaft ist, sind die Ergebnisse irreführend.
Ein Forscher setzte sich zum Ziel, dieses Problem unter Verwendung einer massiven Sammlung echter juristischer Fragen aus der Ukraine zu untersuchen. Diese Fragen wurden für Richter entworfen, die eine hochkarätige Qualifikationsprüfung ablegen, und sie verfügen über offizielle, verifizierte Antworten. Der Forscher wollte sehen, ob moderne KI-Modelle diese Fragen lösen können, ohne die Frage jemals selbst gesehen zu haben. Er nahm tausende dieser Aufgaben und zeigte der KI nur die vier möglichen Antworten, wobei er die Frage vollständig verbarg. Er stellte fest, dass die KI die richtige Antwort weita viel häufiger erraten konnte, als es der Zufall zuließe. Tatsächlich traf ein Modell die richtige Antwort in fast 38 Prozent der Fälle, nur indem es die Optionen betrachtete – ein Wert, der weit über den 25 Prozent liegt, die man bei einem blinden Ratespiel erwarten würde. Dies geschah, weil die richtigen Antworten oft in sich geschlossene Rechtsaussagen waren, während die falschen Antworten subtile Fehler enthielten oder unnatürlich klangen. Die KI lernte, das „richtig klingende“ Recht zu erkennen, ohne wissen zu müssen, wonach die Frage eigentlich fragte.
Der Forscher versuchte es dann mit einer gängigen Korrekturmaßnahme: Er filterte jene Fragen heraus, die die KI blind beantworten konnte, und behielt nur jene, bei denen die KI scheiterte. Er hoffte, damit einen sauberen Satz von Fragen übrig zu behalten, die tatsächlich logisches Denken testen würden. Er jedoch offenbarte sein Experiment eine erschütternde Wahrheit: Diese Korrektur funktioniert nicht. Er baute seinen Filter unter Verwendung eines spezifischen KI-Modells, doch als er ein anderes, leistungsfähigeres Modell an den verbleibenden Fragen testete, konnte auch dieses neue Modell die Antworten immer noch mit hoher Genauigkeit blind erraten. Der Filter hatte nur die Fragen entfernt, die für das erste Modell leicht auszunutzen waren; er hatte nicht die Fragen entfernt, die für ein klügeres Modell leicht auszunutzen waren. Die Studie zeigte, dass KI-Modelle, wenn sie besser werden, auch immer besser darin werden, diese verborgenen Hinweise in den Antwortmöglichkeiten aufzuspüren, was bedeutet, dass ein für ein Modell bereinigter Test für ein besseres Modell sofort wertlos ist.
Der Forscher entdeckte zudem, dass das Problem nicht das Thema des Rechts selbst war, sondern die Art und Weise, wie die Fragen formuliert waren. Er verglich die ukrainischen Prüfungsfragen mit einem anderen juristischen Test namens LEXam, der ein anderes Format verwendet. Im LEXam-Test sind die Optionen keine ganzen Sätze, sondern kurze Verweise wie „Aussage eins und drei“, die sich auf eine Liste in der Frage beziehen. Da diese Optionen für sich genommen keine Bedeutung haben, kann die KI die Antwort nicht erraten, ohne die Frage zu lesen. Als der Forscher seine KI-Modelle an diesem anderen Format testete, konnten die Modelle die Antworten nicht mehr blind erraten; sie erreichten exakt das Niveau eines Zufallsergebnisses. Dies bewies, dass der Fehler nicht in der Fähsigkeit der KI zu logischem Denken lag, sondern im Design der Prüfungsfragen. Wenn die Optionen vollständige, in sich geschlossene Aussagen sind, ist der Test anfällig für Manipulationen. Wenn die Optionen lediglich Verweise sind, bleibt der Test valide.
Die Studie kommt zu dem Schluss, dass das bloße Herausfiltern schlechter Fragen keine Lösung ist, da die Definition einer „schlechten“ Frage davon abhängt, wie intelligent die KI ist. Um ein wahres Maß für die Fähigkeit einer KI zu erhalten, müssen Forscher zwei Zahlen angeben: wie gut das Modell mit der vollständigen Frage abschneidet und wie gut es mit der verborgenen Frage abschneidet. Sie müssen auch die Gewohnheit des Modells berücksichtigen, bestimmte Buchstaben zu wählen, wie etwa immer „A“ zu wählen, was die Ergebnisse künstlich aufblähen kann. Das Paper legt nahe, dass für juristische Prüfungen und ähnliche professionelle Tests das Format der Antwortmöglichkeiten der entscheidende Faktor ist. Wenn die Antworten als vollständige Propositionen geschrieben sind, wird der Test wahrscheinlich durch KIs kompromittiert, die allein die Optionen lesen können. Wenn die Antworten als Verweise gestaltet sind, bleibt der Test ein gültiges Maß für logisches Denken. Der Forscher veröffentlichte seinen gesamten Datensatz und die Ergebnisse seiner Tests, damit andere genau sehen können, welche Fragen Informationen preisgegeben haben und welche nicht, was einen klaren Weg für den Aufbau besserer, ehrlicherer Evaluierungen künstlicher Intelligenz bietet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.