💬 NLP

Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach

Diese Arbeit bewertet die Fähigkeit von 12 großen Sprachmodellen, Argumentqualität über logische, rhetorische und dialektische Dimensionen hinweg mittels paarweiser Vergleiche innerhalb eines Bradley-Terry-Rahmens zu beurteilen, und stellt fest, dass Modelle wie Llama-70B zwar eine moderate Übereinstimmung mit menschlichen Experten aufweisen, jedoch einen stabilen und teilweise komplementären Ansatz zur automatisierten Argumentbewertung bieten.

Ursprüngliche Autoren: Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie veranstalten ein riesiges Debattenturnier. Sie haben Tausende von Argumenten zu Themen wie Politik, Wissenschaft und Ethik. Um zu entscheiden, wer gewinnt, müssen Sie wissen, welche Argumente die stärksten sind. Traditionell würden Sie ein Gremium aus Expertenrichtern einstellen, um jedes einzelne Argument zu lesen und zu bewerten. Doch das dauert ewig, kostet ein Vermögen, und verschiedene Richter könnten miteinander uneinig sein.

Diese Arbeit stellt eine einfache Frage: Können wir diese teuren menschlichen Richter durch Large Language Models (LLMs) ersetzen – die gleiche Art von KI, die Chatbots antreibt?

Hier ist die Aufschlüsselung ihres Experiments, unter Verwendung einiger alltäglicher Analogien:

Das Setup: Der „Geschmackstest"-Ansatz

Anstatt die KI zu bitten, jedem Argument eine Punktzahl von 1 bis 10 zu geben (was schwierig und inkonsistent ist), verwendeten die Forscher eine „Geschmackstest"-Methode.

Die Methode: Sie zeigten der KI jeweils zwei Argumente (Argument A vs. Argument B) und fragten: „Welches ist besser?"
Die Dimensionen: Sie fragten nicht nur allgemein, „welches ist besser?". Sie baten die KI, basierend auf drei spezifischen „Geschmacksrichtungen" der Qualität zu urteilen:
1. Logisch: Stimmt die Mathematik und die Argumentation? (Ist das Rezept tatsächlich genießbar?)
2. Rhetorisch: Ist es überzeugend und gut geschrieben? (Ist das Essen schön präsentiert?)
3. Dialektisch: Geht es gut mit Gegenargumenten um? (Hält es einem Kritiker stand?)
Die Punkteanzeige: Sobald die KI Tausende dieser „A vs. B"-Entscheidungen getroffen hatte, verwendeten die Forscher eine statistische Formel (das Bradley-Terry-Modell), um diese paarweisen Entscheidungen in eine endgültige Rangliste umzuwandeln, genau so, wie Sportligen Rangierungen basierend auf Sieg/Niederlage-Bilanzen berechnen.

Das Experiment: Das „Geschmackstest"-Gremium

Die Forscher testeten nicht nur eine KI. Sie versammelten ein Gremium aus 12 verschiedenen KI-Modellen unterschiedlicher Größen (von kleinen „kompakten" Modellen bis hin zu massiven „Supercomputer"-Modellen) aus fünf verschiedenen Familien (wie Llama, Mistral, Qwen usw.).

Sie testeten diese KIs in drei verschiedenen „Modi":

Zero-Shot: „Hier sind zwei Argumente. Wählen Sie den Gewinner." (Keine Hinweise).
Few-Shot: „Hier sind zwei Argumente. Außerdem hier sind drei Beispiele dafür, wie ein menschlicher Richter in der Vergangenheit Gewinner ausgewählt hat. Wählen Sie nun den Gewinner." (Lernen durch Beispiele).
Chain-of-Thought: „Denken Sie Schritt für Schritt über die Logik, den Stil und die Gegenargumente nach, bevor Sie einen Gewinner auswählen." (Lautes Nachdenken).

Die Ergebnisse: Wer gewann das Turnier?

Die Forscher verglichen die endgültige KI-Rangliste mit einer „Goldstandard"-Rangliste, die von tatsächlichen menschlichen Experten erstellt wurde.

Der Star-Spieler: Das Llama-70B-Modell (eine sehr große KI) mit der „Few-Shot"-Methode (Lernen durch Beispiele) war der klare Gewinner. Es entsprach nicht perfekt den Menschen, aber es war das Nächste. Denken Sie daran wie an einen Schüler, der bei einer Prüfung eine B+ erhielt, während die menschlichen Experten eine A bekamen. Es war nicht perfekt, aber es war überraschend gut.
Die „Gut-Genug"-Spieler: Andere große Modelle (wie Qwen-72B) schnitten ebenfalls gut ab und zeigten, dass große Gehirne die Aufgabe im Allgemeinen besser verstehen.
Die Überraschungen: Einige kleinere Modelle kamen zurecht, aber einige mittelgroße Modelle schnitten tatsächlich schlechter ab als ihre kleineren Geschwister. Es ging nicht nur darum, dass „größer immer besser ist".
Der Konsistenzcheck: Die Forscher führten die Tests dreimal durch, um zu sehen, ob die KI ihre Meinung ändern würde. Die Ergebnisse waren sehr stabil. Die KI änderte ihre „Gewinner"-Wahl in weniger als 8 % der Fälle. Das ist wie ein Richter, der, wenn er dieselbe Frage dreimal gestellt bekommt, fast jedes Mal dieselbe Antwort gibt.

Die wichtigsten Erkenntnisse

KI ist ein vielversprechender Assistent, kein Ersatz: Die KI-Modelle können menschliche Experten in einem „moderaten" Maße nachahmen. Sie sind noch keine perfekten Richter, aber sie sind gut genug, um den Prozess zu skalieren.
Beispiele sind wichtig: Dem KI ein paar Beispiele dafür zu geben, wie man urteilt (Few-Shot), half den größten Modellen, besser abzuschneiden und wirkte wie ein „Spickzettel", der die Regeln klärte.
Verschiedene Modelle sehen unterschiedliche Dinge: Einige Modelle stimmten mit den menschlichen Experten überein, während andere mit dem besten KI-Modell übereinstimmten, aber nicht mit den Menschen. Dies deutet darauf hin, dass verschiedene KIs leicht unterschiedliche „Perspektiven" darauf haben können, was ein Argument gut macht, und dass ihre Kombination sogar besser sein könnte als die Verlassung auf nur eine.

Die Einschränkungen (Das „Kleingedruckte")

Die Autoren weisen sorgfältig darauf hin, dass dies noch keine Wunderwaffe ist:

Der Datensatz: Die getesteten Argumente waren kurze Absätze aus Online-Debatten. Wir wissen nicht, ob diese KIs auch bei langen, komplexen Aufsätzen oder juristischen Schriftsätzen so gut funktionieren würden.
Der „Goldstandard"-Fehler: Die menschlichen Experten, die die „korrekten" Antworten erstellten, könnten eigene Vorurteile oder Meinungsverschiedenheiten gehabt haben. Wenn die Menschen falsch lagen oder inkonsistent waren, kopiert die KI möglicherweise nur diese Inkonsistenzen.
Das „Black-Box"-Problem: Manchmal wählt eine KI ein Argument aus, weil es selbstbewusst klingt, selbst wenn die Logik fehlerhaft ist. Es ist schwer genau zu wissen, warum die KI eine Wahl getroffen hat, ohne tief in ihren Code einzudringen.

Zusammenfassend: Diese Arbeit zeigt, dass KI ein hilfreicher „Assistenzrichter" zum Sortieren von Argumenten sein kann. Sie ist noch nicht ganz bereit, die menschliche Jury zu ersetzen, aber sie ist ein mächtiges Werkzeug, das uns helfen kann, Tausende von Argumenten schnell und konsistent zu bewerten.

Technische Zusammenfassung: Bewertung der Argumentqualität mit Large Language Models: Ein paarweiser Bradley-Terry-Ansatz

Problemstellung

Die automatische Bewertung der Argumentqualität ist entscheidend für effektive Überzeugung, Entscheidungsfindung und Diskursanalyse in Bereichen von der Rechtswissenschaft bis zur Wissenschaft. Die manuelle Bewertung der Argumentqualität im großen Maßstab bleibt jedoch aufgrund hoher Kosten und Inkonsistenzen bei der Annotation ein Engpass. Obwohl Large Language Models (LLMs) Fähigkeiten im Bereich des Schlussfolgerns und der Urteilsbildung unter Beweis gestellt haben, bleibt die Frage offen, ob sie Expertenurteile bei der Bewertung der Argumentqualität zuverlässig replizieren können. Bestehende Forschung liefert gemischte Ergebnisse hinsichtlich der Fähigkeit von LLMs, spezifische Qualitätsaspekte zu bewerten oder Argumente zu rangieren; sie stützen sich häufig auf begrenzte Modellsätze oder eindimensionale Bewertungen (z. B. Überzeugungskraft) anstatt auf multidimensionale Rahmenwerke.

Diese Studie adressiert die Forschungsfrage: Wie gut können paarweise Vergleiche durch LLMs Expertenrangierungen der Argumentqualität reproduzieren? Sie untersucht spezifisch die Leistung von LLMs unterschiedlicher Größen, Familien und Prompting-Strategien im Vergleich zu menschlichen Expertenannotationen.

Methodik

Die Studie nutzt das Webis-ArgQuality-20-Korpus, einen Goldstandard-Datensatz, der 1.610 Texte über 20 Debattenthemen umfasst. Der Datensatz enthält 13.952 paarweise Vergleiche, die von Experten (via Crowdsourcing) über drei verschiedene Dimensionen der Argumentqualität annotiert wurden, wie sie von Wachsmuth et al. (2017b) definiert wurden:

Logische Qualität: Konzentriert sich auf Überzeugungskraft, einschließlich lokaler Akzeptabilität, Relevanz und Angemessenheit der Prämissen.
Rhetorische Qualität: Misst Wirksamkeit und Überzeugungskraft und umfasst Glaubwürdigkeit, emotionale Ansprache, Klarheit, Angemessenheit und Anordnung.
Dialektische Qualität: Bewertet Vernünftigkeit und die Fähigkeit, Meinungsverschiedenheiten zu lösen, einschließlich Akzeptabilität, Relevanz und Angemessenheit (Widerlegung).

Experimenteller Aufbau

Die Autoren bewerteten 12 Open-Weight-LLMs aus fünf Modellfamilien (Mistral, Llama 3, Qwen2.5, Olmo2 und Command-R), die Parameter-Skalen von 7B bis 104B abdecken. Die Evaluation folgte einem strengen paarweisen Vergleichsprozess, bei dem die Modelle angewiesen wurden, für eine bestimmte Qualitätsdimension das bessere Argument (A, B oder Unentschieden) auszuwählen.

Drei Prompting-Strategien wurden eingesetzt:

Zero-Shot: Eingabe der Dimension und des Argumentpaares.
Chain-of-Thought (CoT): Anweisung des Modells, intern über Subdimensionen zu schlussfolgern (z. B. Bewertung der lokalen Relevanz vor der Bestimmung der logischen Qualität), bevor die endgültige Kennzeichnung ausgegeben wird.
Few-Shot: Bereitstellung von drei annotierten Beispielen pro Thema (eines für A, eines für B, eines für Unentschieden), ausgewählt basierend auf Unterschieden im Ground-Truth-Score, um Klarheit zu gewährleisten.

Aggregation und Metriken

Um aus diskreten paarweisen Urteilen kontinuierliche Qualitätscores abzuleiten, wandte die Studie das Bradley-Terry (BT)-Modell an. Dieser statistische Ansatz schätzt die Wahrscheinlichkeit, dass ein Argument einem anderen vorgezogen wird ( $P(d_i \succ d_j) = \frac{\gamma_i}{\gamma_i + \gamma_j}$ ), um latente Stärkewerte und eine finale Rangliste zu generieren.

Die Leistung wurde bewertet mittels:

Korrelationsmetriken: Pearson-, Spearman- und Kendall-Koeffizienten, die LLM-abgeleitete BT-Rangierungen mit Experten-abgeleiteten BT-Rangierungen vergleichen.
Fehlermetriken: Mittlere Absolute Abweichung (MAE) und Wurzel aus dem mittleren quadratischen Fehler (RMSE).
Übereinstimmungsmetriken: Cohens $\kappa$ und prozentuale Übereinstimmung für den direkten paarweisen Labelvergleich.
Stabilität: Krippendorffs $\alpha$ und Variabilitätsanalyse über drei unabhängige Durchläufe hinweg, um die Konsistenz der Vorhersagen zu messen.

Hauptergebnisse

1. Modellleistung im Vergleich zu menschlichen Experten

Die Studie ergab, dass LLMs eine moderate Korrelation mit menschlichen Expertenurteilen erreichen, wobei kein Modell eine perfekte Übereinstimmung erzielte.

Bester Performer: Llama-70B mit Few-Shot-Prompting erzielte die höchste Übereinstimmung. Es erreichte ein Cohens $\kappa$ von 0,493 und Korrelationen mit Experten-BT-Scores von 0,473 (Pearson), 0,477 (Spearman) und 0,327 (Kendall).
Platz zwei: Qwen2.5-72B (Zero-Shot) folgte mit Korrelationen von 0,463–0,466 dicht auf.
Trends bei der Modellgröße: Im Allgemeinen schnitten größere Modelle (70B+) in der Korrelation mit Experten besser ab als kleinere Varianten (7B–32B). Die Mistral-Familie war jedoch eine Ausnahme, bei der die 7B-Variante in der Korrelation besser abschnitt als die 22B-Variante, obwohl die 22B-Variante eine höhere inter-annotator agreement (IAA) aufwies.
Prompting-Strategien: Es gab keine universelle Präferenz für eine einzelne Strategie. Few-Shot-Prompting profitierte große Modelle (Llama-70B, Command-R-104B) erheblich, war jedoch bei mittelgroßen Modellen oft nachteilig oder neutral. Chain-of-Thought verbesserte die Leistung nicht konsistent und reduzierte manchmal die Korrelationsscores im Vergleich zu Zero-Shot.

2. Cross-LLM-Übereinstimmung

Beim Vergleich anderer Modelle mit der am besten performenden Konfiguration (Llama-70B mit Few-Shot):

Qwen2.5-72B und Olmo2-32B zeigten eine starke Übereinstimmung mit Llama-70B.
Qwen2.5-7B (die kleine Variante) stimmte überraschend gut mit ihrem größeren Pendant und der besten Konfiguration überein.
Mistral-22B zeigte eine nahezu Null-Korrelation mit Llama-70B, was auf ein divergierendes Verständnis der Qualitätsdimensionen hindeutet, obwohl beide Modelle eine moderate Übereinstimmung mit menschlichen Experten erreichten. Dies zeigt, dass verschiedene Modelle komplementäre Perspektiven auf die Argumentqualität erfassen können.

3. Stabilität und Variabilität

LLM-Vorhersagen waren über drei unabhängige Versuchsläufe hinweg allgemein stabil.

Kleine Modelle: Wiesen eine hohe Stabilität auf (oft 100% Übereinstimmung über die Läufe hinweg), aber eine geringere Genauigkeit im Vergleich zu Experten.
Große Modelle: Zeigten eine etwas höhere Variabilität, profitierten jedoch von Few-Shot-Prompting, was das Auftreten von „alle ungleich" (konfliktreichen) Labels reduzierte.
Schlimmster Fall: Mistral-22B mit Few-Shot-Prompting ergab die höchste Variabilität, wobei 7,75% der Fälle zu unterschiedlichen Labels über alle drei Läufe hinweg führten.
Fazit: Aggregationsstrategien wie Mehrheitsvoting sind effektiv, um die verbleibende Variabilität zu bewältigen.

Bedeutung und Beiträge

Die Arbeit beansprucht drei Hauptbeiträge:

Systematische Evaluation: Sie bietet die erste umfassende Evaluation von 12 Open-Weight-LLMs über fünf Familien und drei Prompting-Strategien hinweg für die multidimensionale Bewertung der Argumentqualität.
Anwendung von Bradley-Terry: Sie ist, nach Kenntnis der Autoren, die erste Anwendung des Bradley-Terry-Modells zur Aggregation von LLM-basierten vergleichenden Urteilen im Argument-Mining, die über einfache Likert-Skalen-Bewertungen hinausgeht.
Einblicke in das Modellverhalten: Die Studie zeigt, dass LLMs zwar noch nicht das Leistungsniveau von Experten erreichen, aber eine „vielversprechende, aber moderate" Annäherung bieten. Entscheidend ist, dass sie hervorhebt, dass verschiedene Modelle ein teilweises, aber komplementäres Verständnis der Qualitätsdimensionen aufweisen. Dies legt nahe, dass das Ensemble verschiedener Modelle potenziell besser abschneiden könnte als die Abhängigkeit von einem einzigen am besten performenden Modell.

Die Autoren nehmen eine bescheidene Haltung ein und räumen ein, dass LLMs noch kein Ersatz für menschliche Experten sind, sondern als skalierbares Werkzeug zur Annäherung an Expertenrangierungen dienen. Sie betonen, dass die moderate Korrelation (bis zu $\kappa \approx 0,49$ ) sowohl das Potenzial als auch die aktuellen Grenzen von LLMs als Bewerter unterstreicht.

Einschränkungen

Die Studie weist mehrere Einschränkungen hinsichtlich der Validität auf:

Interne Validität: Die Stabilität wurde bei einer Temperatur von 1 getestet; niedrigere Temperaturen wurden nicht ablatiert. Unterschiede in der Prompt-Formulierung über Modellfamilien hinweg können die Interpretation beeinflussen.
Externe Validität: Die Ergebnisse basieren auf kurzen, Online-Debattenargumenten und lassen sich möglicherweise nicht auf komplexe Texte wie Aufsätze verallgemeinern. Die Ground Truth ist auf den spezifischen Annotator-Pool des Webis-ArgQuality-20-Datensatzes beschränkt. Die Studie schloss kein Fine-Tuning ein, was zu anderen Leistungsmerkmalen führen könnte.
Konstruktvalidität: Es besteht das Risiko, dass LLMs auf Oberflächenmerkmalen (z. B. selbstbewusste Formulierung) statt auf tiefer logischer Validität basieren bewerten. Die Trennung der Dimensionen in Prompts verhindert möglicherweise nicht vollständig eine kontaminierende Kreuzbeeinflussung der Dimensionen im Modell-Schlussfolgern.
Fazitvalidität: Die Datensatzgröße (13.952 Vergleiche) ist kleiner als bei einigen früheren Arbeiten, was die statistische Robustheit der Bradley-Terry-Rangierungen potenziell einschränken könnte.