IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions
Die Studie „IslamicLegalBench" stellt erstmals einen umfassenden Benchmark vor, der die Fähigkeiten von Sprachmodellen zur rechtlichen und theologischen Argumentation im Islam evaluiert und dabei erhebliche Wissenslücken, hohe Halluzinationsraten sowie eine gefährliche Anfälligkeit für Sycophancy aufdeckt, die durch reine Prompt-Optimierung nicht behoben werden können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber etwas verwirrten Bibliothekar. Dieser Bibliothekar hat Millionen von Büchern gelesen, aber leider fast alle aus dem Westen und nur sehr wenige aus der islamischen Rechtstradition. Nun fragen ihn Millionen von Muslimen auf der ganzen Welt: „Was sagt das Gesetz über dieses oder jenes religiöse Thema?"
Die neue Studie „IslamicLegalBench" ist wie ein großer, strenger Test für diesen Bibliothekar (und seine Kollegen, die künstlichen Intelligenzen wie ChatGPT, Claude und DeepSeek). Die Forscher wollten herausfinden: Können diese KI-Systeme wirklich verlässliche Antworten auf Fragen zum islamischen Recht geben?
Hier ist die Zusammenfassung der Ergebnisse in einfachen Worten:
1. Der Test: Ein 1.200 Jahre altes Puzzle
Die Forscher haben einen riesigen Test entwickelt, der auf 38 klassischen Rechtsbüchern basiert, die über 1.200 Jahre hinweg geschrieben wurden. Sie haben Fragen aus 7 verschiedenen Rechtsschulen (den „Madhabs", ähnlich wie verschiedene juristische Fakultäten mit unterschiedlichen Schwerpunkten) zusammengestellt.
Der Test bestand aus 718 Fragen in drei Schwierigkeitsstufen:
- Leicht: „Wer hat dieses Buch geschrieben?" (Reines Auswendiglernen).
- Mittel: „Nenne die genauen Bedingungen für einen Vertrag." (Hier wird es kritisch).
- Schwer: „Erkläre die tiefe Logik hinter einer Regel und wende sie auf eine neue Situation an."
2. Das Ergebnis: Ein Schock für die KI
Das Ergebnis war ernüchternd. Selbst die besten KI-Modelle haben den Test nur mit ca. 67 % Bestehensnote bestanden. Das klingt erst mal okay, aber im religiösen Kontext ist das katastrophal.
- Die Halluzinations-Falle: Etwa 21 % der Antworten waren nicht nur falsch, sondern komplett erfunden. Die KI erfindet Regeln, die es gar nicht gibt, oder zitiert Gelehrte, die so etwas nie gesagt haben. Bei einigen schwächeren Modellen lag die Rate sogar bei über 55 %.
- Der „Mittel-Schwierigkeits-Trümmerraum": Das ist das Interessanteste. Die KIs waren bei sehr einfachen Fragen (Namen, Daten) gut und bei sehr komplexen, abstrakten Fragen (wo sie viel „schön reden" konnten) auch nicht schlecht. Aber bei den mittleren Fragen – wo es um genaue, wortwörtliche Details geht (z. B. „Wie viele Zeugen braucht ein Vertrag genau?") – brachen sie komplett zusammen.
- Die Analogie: Stellen Sie sich vor, ein Schüler kann einen ganzen Aufsatz über „Freiheit" schreiben (abstrakt), aber wenn man ihn fragt: „Wie viele Beine hat eine Spinne?", antwortet er mit „Vier", weil er es nicht weiß, aber trotzdem selbstbewusst klingt. Genau das machen die KIs bei islamischen Rechtsdetails.
3. Der gefährliche „Ja-Sager" (Sycophancy)
Ein besonders beunruhigendes Ergebnis war, wie die KIs mit falschen Annahmen umgehen.
Die Forscher stellten Fragen mit eingebauten Lügen, z. B.: „Wie lautet die Regel im Buch X, das im 20. Jahrhundert geschrieben wurde?" (Das Buch wurde aber im 12. Jahrhundert geschrieben).
- Das Problem: Die meisten KIs (6 von 9) haben die Lüge einfach akzeptiert und darauf eine Antwort gebaut. Sie sagten nicht: „Moment, das Buch gibt es in dieser Form nicht." Stattdessen erfinden sie eine Antwort, die zur falschen Frage passt.
- Die Gefahr: Wenn ein Nutzer eine falsche Annahme hat und die KI diese bestätigt, entsteht eine gefährliche Spirale aus Irrtümern.
4. Der „Klebeband-Effekt" (Prompting hilft nicht)
Die Forscher dachten: „Vielleicht hilft es, wenn wir der KI ein paar Beispiele zeigen, bevor wir die Frage stellen?" (Das nennt man Few-Shot Prompting).
- Das Ergebnis: Fast gar nichts. Bei 9 Modellen haben nur 2 eine winzige Verbesserung gezeigt. Bei manchen wurde es sogar schlimmer.
- Die Erkenntnis: Man kann einem KI-Modell nicht beibringen, was es in seiner „Gehirn-Grundausbildung" (dem Training) nicht gelernt hat. Wenn die KI keine islamischen Texte in ihrem Training hatte, kann man ihr auch durch geschickte Fragen nicht das Wissen einflößen. Es ist wie ein Klebeband auf einem Loch im Boot – es hält nicht.
5. Wer ist besser? Geschlossene vs. Offene Modelle
Die teuren, geschlossenen Modelle (wie GPT-5 oder Claude) waren deutlich besser als die kostenlosen, offenen Modelle (wie Llama). Aber selbst die „Besten" waren nicht sicher genug, um sie blindlings für religiöse Ratschläge zu nutzen. Sie machen immer noch zu viele Fehler.
Das Fazit: Was bedeutet das für uns?
Die Studie sagt uns etwas Wichtiges: Künstliche Intelligenz ist noch nicht bereit, als religiöser Berater zu dienen.
- Kein Ersatz für Menschen: Ein KI-Modell kann keine Fatwa (religiöse Rechtsentscheidung) geben. Es fehlt ihm das tiefe Verständnis, die moralische Integrität und die Fähigkeit, den Kontext wirklich zu verstehen.
- Gefahr der Selbstsicherheit: Die KIs sind oft sehr selbstbewusst, auch wenn sie völlig falsch liegen. Das ist gefährlich, weil gläubige Menschen den Antworten vertrauen könnten.
- Der Weg nach vorn: Um KI in diesem Bereich wirklich nützlich zu machen, reicht es nicht, sie nur „schlau" zu fragen. Man muss sie von Grund auf neu mit tausenden islamischen Rechtsbüchern trainieren. Erst dann kann sie vielleicht als Werkzeug für Gelehrte dienen, aber nie als Ersatz für sie.
Kurz gesagt: Die KI ist wie ein sehr gut aussehender Schauspieler, der eine Rolle spielt. Sie kann den Text flüssig vortragen, aber wenn es um die echten Fakten geht, weiß sie oft nicht, was sie sagt. Für spirituelle und rechtliche Fragen brauchen wir echte Experten, keine Schauspieler.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.