Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis
Dieser Beitrag argumentiert, dass eine groß angelegte Vorab-Training allein nicht ausreicht, um große Sprachmodelle für eine zuverlässige Analyse der „gewöhnlichen Bedeutung" im Rechtskontext vorzubereiten, da empirische Belege zeigen, dass ihre Schlussfolgerungen gegenüber geringfügigen Prompt-Variationen nicht robust sind und nur eine moderate Korrelation mit menschlichen Urteilen aufweisen, wodurch sie für eine autoritative Verwendung in hochriskanten gerichtlichen Kontexten ungeeignet sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Richter vor, der in einem Gerichtssaal versucht herauszufinden, was ein verwirrendes Wort in einem Gesetz für den Durchschnittsbürger tatsächlich bedeutet. Beispielsweise umfasst ein Vertragsbegriff wie „Gartenpflege" den Bau eines Trampolins? Traditionell fragen sich Richter: „Was würde mein Nachbar denken?" oder schlagen Wörter im Wörterbuch nach.
In jüngster Zeit haben einige Rechtsexperten und Richter begonnen, Large Language Models (LLMs) – die gleiche Art von KI, die Chatbots antreibt – zu bitten, diese Frage zu beantworten. Die Idee lautet: „Wenn eine KI fast alles, was je im Internet geschrieben wurde, gelesen hat, muss sie genau wissen, wie normale Menschen Wörter verwenden, oder?"
Dieser Artikel beschreibt ein großes, sorgfältiges Experiment, um zu prüfen, ob diese Idee wahr ist. Die Forscher agierten wie „streng kritische" Richter auf der Bank und unterwarfen diese KI-Modelle einem rigorosen Stresstest. Hier ist das Ergebnis, einfach erklärt:
1. Das Problem der „kaputten Uhr"
Die Forscher baten 15 verschiedene KI-Modelle (von kleinen bis hin zum massiven GPT-4), zu entscheiden, ob 138 verschiedene Versicherungsszenarien gedeckt waren oder nicht.
- Das Ergebnis: Einige der KI-Modelle waren wie eine kaputte Uhr, die auf „Nein" stehen geblieben ist. Egal, worum es in der Geschichte ging, sie gaben jedes einzelne Mal exakt dieselbe Antwort.
- Die Metapher: Stellen Sie sich vor, Sie fragen einen Wettervorhersager: „Regnet es?" Wenn er für einen sonnigen Tag, einen bewölkten Tag und einen Schneesturm „Ja" sagt, schaut er nicht wirklich auf den Himmel. Er wiederholt nur ein Skript. Mehrere der KI-Modelle machten genau das und versagten darin, die spezifischen Details des Rechtsfalls tatsächlich zu „lesen".
2. Der „Zaubertrick" des Promptings
Die Forscher versuchten dann einen Zaubertrick: Sie stellten exakt dieselbe Frage, änderten aber nur die Art und Weise, wie sie sie stellten.
- Szenario A: „Ist John gedeckt? Ja oder Nein?"
- Szenario B: „Ist John nicht gedeckt? Ja oder Nein?"
- Szenario C: „Stimmen Sie zu, dass John gedeckt ist?"
- Das Ergebnis: Die Antwort der KI schwankte wild. In einer Version der Frage war die KI vielleicht zu 90 % sicher, dass John gedeckt ist. In einer leicht abweichenden Version (wie dem Hinzufügen eines „nicht" oder dem Umkehren der Reihenfolge der Optionen) war die KI vielleicht zu 90 % sicher, dass er nicht gedeckt ist.
- Die Metapher: Es ist wie ein Vorschlagskasten, der seine Meinung ändert, je nachdem, auf welchem Papier Sie schreiben. Wenn Sie ein Modell auf eine bestimmte Weise fragen, sagt es „Ja". Wenn Sie dieselbe Frage stellen, aber die Option „Nein" zuerst setzen, sagt es „Nein". Das bedeutet, ein Anwalt könnte potenziell nach dem Prompt „herumshoppen", der ihm die gewünschte Antwort liefert, anstatt die Wahrheit zu erhalten.
3. Der „Übersetzer", der die Sprache nicht spricht
Die Forscher verglichen die Antworten der KI mit dem, was echte Menschen (gewöhnliche Englischsprecher) tatsächlich dachten.
- Das Ergebnis: Die KI und die Menschen stimmten nur mäßig überein. Selbst die besten KI-Modelle (wie GPT-4) lagen nur in etwa 83 % der Fälle richtig, wenn man genau wusste, wie man ihre Wahrscheinlichkeitswerte interpretiert. Aber in einem echten Gerichtssaal darf man nicht in die Werte schauen; man erhält nur die Antwort.
- Die Metapher: Stellen Sie sich vor, Sie stellen einen Übersetzer ein, der Ihnen sagt, was eine Menschenmenge denkt. Wenn der Übersetzer in 83 % der Fälle richtig liegt, klingt das gut. Aber in einem Rechtsfall ist es eine Katastrophe, in 1 von 6 Fällen falsch zu liegen. Es ist wie ein GPS, das Sie in 83 % der Fälle in die richtige Stadt bringt, Sie aber in den anderen 17 % in einem Sumpf absetzt.
Das Fazit
Der Artikel argumentiert, dass die Tatsache, dass eine KI viele Daten gelesen hat (groß angelegtes Vor-Training), nicht bedeutet, dass sie versteht, wie normale Menschen denken.
Die Autoren kommen zu dem Schluss, dass diese KI-Modelle derzeit zu zerbrechlich und unzuverlässig sind, um als endgültige Instanz in Rechtsfällen verwendet zu werden. Sie sind noch keine „autoritativen" Quellen für die gewöhnliche Bedeutung. Wenn ein Richter sich auf sie verlässt, ohne ihre Arbeit zu überprüfen, vertraut er möglicherweise einer kaputten Uhr oder einem Vorschlagskasten, der seine Meinung je nach Schriftgröße ändert.
Kurz gesagt: Die KI ist ein fließender Sprecher, aber sie ist kein zuverlässiger Denker, wenn es darum geht, zu entscheiden, was Wörter für normale Menschen bedeuten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.