🤖 AI

Persuadability and LLMs as Legal Decision Tools

Dieser Beitrag untersucht die Anfälligkeit von State-of-the-Art-Sprachmodellen für die Überredung durch Rechtsanwältinnen und Rechtsanwälte unterschiedlicher Qualität, stellt experimentelle Ergebnisse dazu vor, wie die Darbietung von Argumenten die Entscheidungen der Modelle beeinflusst, und bewertet die Implikationen für den Einsatz von Sprachmodellen als Entscheidungsinstanzen im Rechtsbereich.

Ursprüngliche Autoren: Oisin Suttle, David Lillis

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Oisin Suttle, David Lillis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Gerichtssaal vor, in dem anstelle von menschlichen Anwälten und einem menschlichen Richter jeder eine hochentwickelte Computerprogramm ist. Diese Arbeit stellt eine sehr spezifische Frage: Wie leicht lassen sich diese computerbasierten „Richter" von den computerbasierten „Anwälten" beeinflussen, die ihren Fall vorbringen?

In der realen Welt benötigt ein guter Richter ein feinfühliges Gleichgewicht. Er muss offen für neue Argumente sein (damit er die Wahrheit nicht ignoriert), aber er darf nicht so leicht beeinflussbar sein, dass er einfach die Seite mit dem schillerndsten Redner oder der selbstbewusstesten Stimme wählt. Er muss auf Grundlage der Substanz des Falls entscheiden, nicht des Stils des Anwalts.

Die Autoren dieser Arbeit wollten herausfinden, ob KI-Richter dieses Gleichgewicht besitzen oder ob sie leicht von einem „glattzüngigen" KI-Anwalt getäuscht werden können.

Das Experiment: Ein digitales Debattierclub

Um dies zu testen, organisierten die Forscher ein massives digitales Debattenturnier.

Die Szenarien: Sie wählten 15 reale, schwierige Rechtsfälle aus den USA, Großbritannien und Irland aus, bei denen selbst menschliche Experten sich nicht auf eine Antwort einigen konnten (diese werden als „geteilte Entscheidungen" bezeichnet).
Die Anwälte (Advokaten): Sie setzten vier verschiedene leistungsstarke KI-Modelle ein, um als Anwälte zu fungieren. Einige waren „starke" Anwälte (sehr intelligent, gut im Argumentieren), andere waren „schwächere" Anwälte.
Die Richter: Sie testeten 20 verschiedene KI-Modelle, um als Richter zu fungieren.
Der Aufbau: In jeder Runde argumentierten zwei KI-Anwälte (einer für jede Seite) ihren Fall vor einem KI-Richter. Die Forscher beobachteten dann: Entschied sich der Richter für die Seite des „starken" Anwalts oder für die Seite des „schwachen" Anwalts?

Wenn der Richter völlig fair wäre und nur die Fakten betrachtete, sollte es keine Rolle spielen, welcher Anwalt argumentiert; der Richter sollte unabhängig davon, wer der Anwalt ist, in 50 % der Fälle die richtige Seite wählen.

Die großen Erkenntnisse

1. Die KI-Richter sind „überzeugbar"
Die Ergebnisse zeigten, dass die KI-Richter definitiv davon beeinflusst werden, wer argumentiert. Wenn ein „starker" KI-Anwalt gegen einen „schwachen" antrat, war der Richter viel eher geneigt, dem Starken zuzustimmen.

Die Metapher: Stellen Sie sich einen Richter vor, der statt auf die Fakten zu hören, einfach das Team mit den glänzenderen Uniformen wählt. Die Studie ergab, dass die „glänzenderen" (fähigeren) KI-Anwälte zwischen 58 % und 90 % der Fälle gewannen, je nachdem, welcher Richter zuhörte. Das bedeutet, dass die KI-Richter nicht immun gegen den „Stil" oder die „Qualität" des Sprechers sind; sie lassen sich leicht beeinflussen.

2. Größer ist nicht immer besser (aber meistens doch)
Die Forscher fragten sich, ob größere, komplexere KI-Modelle schwerer zu beeinflussen wären als kleinere, einfachere.

Die Metapher: Denken Sie an eine kleine, einfache KI wie ein Kind, das durch eine laute, selbstbewusste Stimme verwirrt werden könnte. Eine große, komplexe KI ist wie ein weiser Ältester, der vielleicht selbst nachdenkt.
Das Ergebnis: Im Allgemeinen waren die größeren Modelle schwerer zu beeinflussen als die winzigen. Doch selbst die „weisen Ältesten" (die größten Modelle) ließen sich noch ziemlich stark beeinflussen. Sie waren nicht immun; sie hatten lediglich einen etwas besseren Filter.

3. Hörten die KI-Richter auf das Recht oder nur auf die Worte?
Die Forscher wollten wissen: Wird der Richter überzeugt, weil der Anwalt einen brillanten neuen Rechtspunkt gefunden hat (der Inhalt), oder einfach nur, weil der Anwalt sehr glatt sprach (die Form)?

Der Test: Sie führten das Experiment zweimal durch. Einmal gaben sie den KI-Anwälten die vollständigen Details der realen Fallargumente. Das andere Mal gaben sie ihnen nur die Fakten und forderten sie auf, ihre eigenen Argumente zu entwickeln.
Das Ergebnis: Wenn die Anwälte die „echten" Argumente aus dem Fall verwenden durften, waren die Richter etwas eher geneigt, vom Inhalt überzeugt zu werden. Dies deutet darauf hin, dass die KI-Richter die tatsächliche rechtliche Substanz betrachten und nicht nur die ausgefallenen Worte, obwohl der Effekt gering war.

4. Der „Wissenslücken"-Test
Die Forscher stellten zudem fest, dass die KI-Richter bei US-Recht (das die KIs gut kennen) leichter zu überzeugen waren als bei irischem Recht (das sie weniger gut kennen).

Die Metapher: Wenn Sie einen lokalen Experten eine Frage stellen, kann er ein schlechtes Argument sofort erkennen. Wenn Sie ihn nach einem fremden Land fragen, das er nicht kennt, könnte er einem glattzüngigen Lügner glauben.
Das Ergebnis: Die KI-Richter ließen sich leichter beeinflussen, wenn das Thema etwas war, das sie gut kannten (US-Recht). Dies impliziert, dass sie, wenn sie das Thema kennen, tatsächlich die Qualität der Rechtsargumente bewerten und nicht nur das Selbstbewusstsein des Sprechers.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass KI-Richter derzeit zu leicht beeinflussbar sind.

Obwohl sie nicht nur zufällige Zahlengeneratoren sind, werden sie erheblich von der „Qualität" des KI-Anwalts beeinflusst, der den Fall vorbringt.

Bei kleinen KI-Modellen: Sie scheinen Schwierigkeiten zu haben, zwischen einem guten und einem schlechten Argument zu unterscheiden, und folgen einfach dem Strom.
Bei großen KI-Modellen: Sie sind besser darin, selbst nachzudenken, lassen sich aber dennoch zu oft vom „besten" Anwalt in eine Ecke treiben.

Die Autoren warnen, dass wir, wenn wir KI als Richter oder juristischen Assistenten einsetzen wollen, sehr vorsichtig sein müssen. Wir müssen genau wissen, wie leicht diese Maschinen zu überzeugen sind, denn derzeit sind sie der „Rhetorik" des vor ihnen stehenden KI-Anwalts ziemlich ausgesetzt. Sie haben das menschliche Ideal, „für Überzeugung offen, aber nicht unangemessen" zu sein, noch nicht ganz gemeistert.

1. Problemstellung

Das Papier adressiert die kritische Herausforderung des Einsatzes von Large Language Models (LLMs) als rechtliche Entscheidungsträger oder Assistenten. Eine grundlegende Anforderung an die gerichtliche und verwaltungsrechtliche Entscheidungsfindung ist die Überzeugbarkeit (Persuadability): die Fähigkeit, sich mit Argumenten der streitenden Parteien auseinanderzusetzen und von ihnen beeinflussen zu lassen. Es besteht jedoch eine Spannung:

Zu starr: Ein Entscheidungsträger, der nicht überzeugt werden kann, berücksichtigt keine neuen Beweise oder Argumente (Verletzung von audi alteram partem).
Zu flexibel: Ein Entscheidungsträger, der unangemessen überzeugbar ist, kann Entscheidungen auf Basis der rhetorischen Geschicklichkeit eines Anwalts statt der rechtlichen Verdienste des Falls treffen.

Die Autoren untersuchen, ob führende LLMs diese Spannung bewältigen können. Konkret stellen sie die Frage: In welchem Maße werden LLMs durch die „Qualität" (oder Identität) des Anwalts, der das Argument generiert, beeinflusst, anstatt durch die objektiven Verdienste des Rechtsfalls?

2. Methodik

Die Autoren entwarfen ein trilaterales experimentelles Framework, das drei Rollen umfasst: Anwälte (die Argumente generieren), einen Richter (der den Fall entscheidet) und Szenarien (schwere Rechtsfragen).

A. Szenarien (Die „schwierigen" Fragen)

Quelle: 15 Szenarien, die aus geteilten Berufungsgerichtsentscheidungen stammen (US Court of Appeals, Court of Appeal in England & Wales, Oberster Gerichtshof Irlands).
Begründung: Geteilte Entscheidungen (abweichende Meinungen) deuten auf „schwierige" Rechtsfragen hin, bei denen keine einzelne wahre Antwort existiert, was die Entscheidung von Urteilsvermögen und Überzeugung abhängig macht.
Struktur: Jedes Szenario umfasst Fakten und die zentrale Rechtsfrage.

B. Die „Anwalt"-Modelle (Argumentgenerierung)

Vier verschiedene LLMs wurden verwendet, um Argumente für die gegnerischen Seiten zu generieren:

OpenAI gpt-4o
Google gemini-3-pro-preview (4k Denk-Budget)
OpenAI gpt-5.1 (geringer Rechenaufwand)
Anthropic Claude Sonnet 4.5 (8k Denk-Budget)

Prompting-Strategien:
Um zwischen substantivem Rechtsinhalt und rhetorischer Form zu unterscheiden, wurden die Anwälte auf zwei Arten promptet:

Nur Fakten: Nur die Fallfakten und die Rechtsfrage wurden bereitgestellt (zwingt das Modell, neue Argumente zu generieren).
Fakten + Originale Argumente: Die Fakten wurden zusammen mit einer Zusammenfassung der tatsächlichen Argumente aus dem historischen Fall bereitgestellt (Bereitstellung von „Hinweisen" zu den besten Rechtspunkten).

C. Die „Richter"-Modelle (Entscheidungsfindung)

Umfang: 20 verschiedene Richter-Modelle wurden getestet (Mischung aus geschlossenen und offenen Gewichten, unterschiedliche Größen und Reasoning-Architekturen).
Aufgabe: Gegeben ein Szenario und zwei konkurrierende Argumente (eines von jeder Seite, generiert durch verschiedene Anwalt-Modelle), muss der Richter den Fall so entscheiden, wie es ein Gericht in dieser Gerichtsbarkeit tun würde.
Volumen: Jeder Richter wurde 1.200 Mal getestet (600 mit originalen Argumenten, 600 ohne), insgesamt 24.000 Versuche.

D. Metriken für Überzeugbarkeit

Die Autoren definierten Überzeugbarkeit basierend auf der Identität des Anwalts als Stellvertreter für die Argumentqualität.

Basislinie: Wenn ein Richter nicht überzeugbar ist, sollte jeder Anwalt zu 50 % gewinnen (zufällige Zuweisung).
Pairwise-Überzeugbarkeit ( $p_2$ ): Misst die Abweichung von der 50%-Basislinie, wenn zwei spezifische Anwälte konkurrieren.
$p_2 = \frac{|m_1 - m_2|}{2n}$
(Wobei $m$ die Anzahl der Siege für jeden Anwalt und $n$ die Anzahl der Versuche ist).
Populations-Überzeugbarkeit ( $p_{pop}$ ): Das aggregierte Maß dafür, wie stark ein Richter bestimmte Anwalt-Modelle über alle Paarungen hinweg bevorzugt.

3. Hauptbeiträge

Konzeptuelles Framework: Identifizierung der spezifischen Spannung zwischen notwendiger Überzeugbarkeit und unangemessener Anfälligkeit im Kontext der KI-gestützten Rechtsentscheidungsfindung.
Neuartige Methodik: Vorschlag eines trilateralen „Anwalt gegen Anwalt gegen Richter"-Aufbaus zur Messung der Überzeugbarkeit, der sich von früheren bilateralen Studien (Überzeuger vs. Überzeugter) unterscheidet.
Erste systematische rechtliche Untersuchung: Bereitstellung der ersten groß angelegten empirischen Studie zur Überzeugbarkeit von LLMs speziell im Kontext komplexer rechtlicher Schlussfolgerungen.
Offene Daten: Veröffentlichung aller Codes, Prompts und Daten (15 Szenarien, 1.200 Argumente pro Seite, 24.000 Richter-Antworten) zur Reproduzierbarkeit.

4. Hauptergebnisse

A. Universelle Überzeugbarkeit

Alle Modelle sind überzeugbar: Jedes Richter-Modell zeigte eine statistisch signifikante Überzeugbarkeit ( $p < 0,05$ ).
Ausmaß: Die Populations-Überzeugbarkeit ( $p_{pop}$ ) reichte von 0,08 bis 0,20. Dies impliziert, dass die Identität des Anwalts (und somit die Argumentqualität) die Gewinnquoten um 8–21 % über die zufällige Basislinie verschiebt.
Extremfälle: Bei spezifischen Paarvergleichen (z. B. stärkster vs. schwächster Anwalt) reichten die Gewinnquoten von 63 % bis über 90 %, was darauf hindeutet, dass einige Modelle stark von der Identität des Anwalts beeinflusst werden.

B. Modellarchitektur und Größe

Größe: Die Evidenz ist gemischt. Im Allgemeinen waren größere Modelle weniger überzeugbar als kleinere „Lite"-Versionen derselben Familie (z. B. claude-sonnet vs. claude-haiku). Es gab jedoch Ausnahmen (z. B. war gpt-5-nano das am wenigsten überzeugbare Modell insgesamt).
Reasoning-Architektur: Größere Modelle mit „Denk"-Budgets waren im Allgemeinen weniger überzeugbar, was darauf hindeutet, dass sie Argumente kritischer bewerten. Dieser Trend kehrte sich jedoch bei einigen kleineren Open-Modellen um, bei denen „Reasoning"-Varianten überzeugbarer waren.

C. Substanz vs. Form

Inhalt ist wichtig: Wenn Anwälten die „Originalen Argumente" (Hinweise) gegeben wurden, nahm die Überzeugbarkeit im Allgemeinen leicht ab (was darauf hindeutet, dass der Inhalt standardisiert wurde).
Statistische Signifikanz: Obwohl der Effekt der Bereitstellung originaler Argumente gering war, zeigten Kopf-an-Kopf-Versuche, dass ein Anwalt, der mit originalen Argumenten promptet wurde, signifikant häufiger gewann als einer ohne ( $p=0,0039$ ). Dies bestätigt, dass substantiver Rechtsinhalt eine Rolle bei der Überzeugung spielt, nicht nur rhetorische Flüssigkeit.
Gerichtsstands-Wissen: Die Überzeugbarkeit war in Gerichtsständen niedriger, in denen das Modell wahrscheinlich mehr Trainingsdaten hatte (USA > Großbritannien > Irland). Dies deutet darauf hin, dass Modelle, die die rechtliche Substanz besser verstehen, weniger leicht durch Form allein beeinflusst werden.

5. Bedeutung und Implikationen

Durchführbarkeit von KI-Richtern: Die Ergebnisse deuten darauf hin, dass kleinere LLMs für richterliche Rollen ungeeignet sein könnten, da ihre hohe Überzeugbarkeit wahrscheinlich auf einer Unfähigkeit beruht, konkurrierende Argumente kritisch zu bewerten (sie lassen sich leicht durch Form beeinflussen).
Große Modelle: Obwohl größere Modelle weniger überzeugbar sind (wahrscheinlich aufgrund einer besseren substanziellen Bewertung), zeigen sie immer noch eine signifikante Anfälligkeit (bis zu 40 % Abweichung in Paarvergleichen).
Politische/Ethische Dimension: Das Papier kommt zu dem Schluss, dass die Feststellung, ob das Überzeugbarkeitsniveau eines Modells „akzeptabel" ist, eine politische Frage darstellt. Sie hängt von den gesellschaftlichen Erwartungen an das Justizsystem und davon ab, wie es Parteien mit unterschiedlichen Anwaltsfähigkeiten behandelt.
Zukünftige Arbeit: Die Autoren fordern weitere Forschung zu:
- Welche spezifischen Merkmale treiben Überzeugung an?
- Ob die Exposition gegenüber Argumenten die Entscheidungsqualität tatsächlich verbessert.
- Benchmarking der LLM-Überzeugbarkeit gegenüber menschlichen Rechtsexperten.

Fazit: LLMs sind inhärent überzeugbar. Während größere Modelle mehr Widerstand gegen unangemessenen Einfluss zeigen, ist keines immun. Ihr Einsatz als Entscheidungsträger erfordert eine sorgfältige Auswahl von Modellen basierend auf ihren spezifischen Überzeugbarkeitsprofilen, um sicherzustellen, dass Entscheidungen auf rechtlichen Verdiensten und nicht auf rhetorischer Dominanz beruhen.