Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

In der Welt des Rechts ist das Lesen eines Gesetzes selten so einfach wie das Lesen einer Wörterbuchdefinition. Wenn ein Richter mit einem vagen oder mehrdeutigen Gesetz konfrontiert wird, rät er nicht einfach nach der Antwort; er folgt einer spezifischen Gruppe mentaler Werkzeuge, die als „Auslegungskanonen“ (canons of construction) bekannt sind. Dies sind etablierte Faustregeln, die leiten, wie ein Text zu verstehen ist. Eine Regel besagt beispielsweise, dass, wenn ein Gesetz dazu bestimmt ist, jemanden zu bestrafen, es sehr streng, Wort für Wort, gelesen werden sollte. Eine andere Regel besagt, dass, wenn ein Gesetz dazu dient, den Armen zu helfen, es weit gefasst werden sollte, um so viele Menschen wie möglich einzuschließen. Diese Werkzeuge sind der Unterschied zwischen einem Richter, der sich lediglich an einen vergangenen Fall erinnert, und einem Richter, der tatsächlich ein neues Problem durch logisches Denken löst. Da künstliche Intelligenzsysteme beginnen, in Gerichtssäle und Anwaltskanzleien einzuziehen, stellt sich eine kritische Frage: Verstehen diese Maschinen wirklich, wie man diese Werkzeuge benutzt, oder sind sie nur sehr gut darin, die richtige Antwort basierend auf Mustern zu erraten, die sie zuvor gesehen haben?

Ein Team von Forschern der Manipal Academy of Higher Education in Indien unternahm den Versuch, diese Frage mithilfe der neuesten Generation von Modellen der künstlichen Intelligenz zu testen. Sie entwickelten einen spezialisierten Test, den sie einen Benchmark nennen, der sich ausschließlich darauf konzentriert, wie diese Maschinen das indische Recht interpretieren. Anstatt die Computer lediglich darum zu bitten, den Ausgang eines Falles vorherzusagen, baten die Forscher sie, ihr Denken zu erklären. Der Test präsentierte den Modellen vierzig verschiedene rechtliche Szenarien, die aus realen indischen Gerichtsurteilen stammten. In jedem Szenario musste das Modell identifizieren, welche spezifische Auslegungsregel verwendet werden sollte, diese Regel korrekt erklären und sie dann auf die Fakten anwenden, um zu einem Schluss zu gelangen. Die Forscher bewerteten die Modelle anhand von fünf verschiedenen Aspekten: ob sie die richtige Regel wählten, ob sie diese Regel gemäß der indischen Rechtstradition korrekt beschrieben, ob sie sie korrekt auf die Fakten anwandten, ob sie die richtige endgültige Antwort erreichten und wie klar ihre gesamte Argumentation war.

Die Ergebnisse offenbarten eine frappierende Lücke zwischen dem, was die Maschinen leisten konnten, und der Art und Weise, wie sie es taten. Die getesteten, leistungsfähigsten Modelle der künstlichen Intelligenz waren überraschend gut darin, die endgültige Antwort richtig zu erhalten. In vielen Fällen gelangten sie zum selben Schluss, den auch ein menschlicher Richter gezogen hätte. Wenn die Forscher jedoch untersuchten, wie die Modelle dorthin gelangten, änderte sich das Bild. Die Modelle scheiterten häufig daran, die spezifische Rechtsregel korrekt zu identifizieren, die sie verwendeten. Sie erreichten oft das richtige Ergebnis, ohne das richtige Werkzeug zu kennen, was darauf hindeutet, dass sie die Situation mit einem vertrauten Muster abglichen, anstatt einem logischen Pfad zu folgen. Es ist, als könnte ein Schüler ein komplexes mathematisches Problem korrekt lösen, aber nicht erklären, welche Formel er verwendet hat oder warum sie funktionierte. Die Studie stellte fest, dass die Modelle deutlich besser darin wurden, die Regel zu benennen, wenn die Forscher ihnen explizit sagten, welche Regel anzuwenden sei, aber ihre Fähigkeit, diese zu erklären oder anzuwenden, verbesserte sich nicht signifikant. Dies deutet darauf hin, dass die Modelle über das Wissen dieser Rechtsregeln verfügen, aber Schwierigkeiten haben, dieses Wissen ohne direkte Aufforderung selbstständig abzurufen.

Die Forscher beobachteten auch, dass sich die Modelle je nach Art der Fragestellung unterschiedlich verhielten. Wenn sie der Aufgabe überlassen wurden, das Problem eigenständig zu lösen, zögerten die Modelle oft oder weigerten sich zu antworten, insbesondere das getestete Open-Source-Modell. Wenn die Forscher ihnen jedoch einen Hinweis auf die Art der Regel gaben, waren die Modelle eher bereit, sich darauf einzulassen. Trotz dieser Verbesserung in der Bereitschaft blieb das Kernproblem bestehen: Die Modelle waren immer noch besser darin, das richtige Ergebnis zu erraten, als ein korrektes rechtliches Argument zu konstruieren. Ein Modell erreichte insbesondere konsistent häufiger das richtige Ergebnis als die korrekte rechtliche Grundsatzbestimmung, traf jedoch dennoch signifikante Fehler in seinen endgültigen Schlussfolgerungen. Diese Dissoziation zwischen einer korrekten Antwort und einem korrekten Denkprozess ist ein bedeutender Befund. Es impliziert, dass, falls diese Systeme in realen rechtlichen Kontexten eingesetzt werden, die allein auf ihrer Fähigkeit basieren, Ergebnisse vorherzusagen, sie korrekte Antworten aus den falschen Gründen liefern könnten, was in einem System, in dem die Argumentation selbst genauso wichtig ist wie das Resultat, gefährlich sein könnte.

Die Studie kommt zu dem Schluss, dass diese Systeme der künstlichen Intelligenz zwar leistungsstarke Werkzeuge sind, aber die spezifische Art des Denkens, die für die rechtliche Interpretation erforderlich ist, noch nicht beherrscht haben. Sie scheinen stark auf Mustererkennung zu setzen, anstatt auf die schrittweise Anwendung von Rechtsregeln, wie sie menschliche Richter anwenden. Die Forscher betonen, dass dies nicht bedeutet, dass die Technologie nutzlos ist, aber es bedeutet, dass wir diesen Systemen nicht einfach deshalb vertrauen können, dass sie wie Anwälte argumentieren, nur weil sie die richtige Antwort liefern. Die Studie dient als Pilotprojekt, ein kleinteiliger Test, der darauf ausgelegt ist, zu beweisen, dass diese spezifische Art der Evaluierung möglich und notwendig ist. Das Team plant, diese Arbeit in Zukunft auszuweiten, indem mehr Modelle und eine größere Vielfalt an Gesetzen getestet werden, um zu sehen, ob diese Muster allgemeingültig sind. Für den Moment deuten die Ergebnisse auf eine klare Warnung hin: In der komplexen Welt des Rechts reicht es nicht aus, die richtige Antwort zu haben; die Maschine muss auch in der Lage sein, ihren Rechenweg bzw. ihre Argumentation darzulegen.