💬 NLP

Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring

Die Arbeit stellt Pair2Score vor, ein parametereffizientes zweistufiges Framework, das paarweise Vergleiche über eine LLaMA-Anpassung in absolute Aufsatzbewertungen überführt und zeigt, dass spezifische Transferkonfigurationen und begrenzte paarweise Trainingsphasen die Bewertungsgenauigkeit im Vergleich zu rein absoluten Baselines erheblich verbessern.

Ursprüngliche Autoren: İbrahim Rıza Hallaç, Hasan Oğul

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: İbrahim Rıza Hallaç, Hasan Oğul

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, Hunderte von Schüleraufsätzen zu bewerten. Sie müssen jeder Aufsatz eine spezifische Zahl geben, wie etwa „7 von 10" für Grammatik oder „8 von 10" für den Wortschatz. Dies nennt man absolutes Scoring. Es ist schwierig, da „7" ein vager Begriff ist; verschiedene Lehrer könnten unterschiedlicher Meinung sein, wie eine 7 tatsächlich aussieht.

Es ist jedoch für einen Lehrer viel einfacher, zwei Aufsätze nebeneinander zu betrachten und zu sagen: „Aufsatz A ist definitiv besser als Aufsatz B." Dies ist ein paarweiser Vergleich.

Die Arbeit stellt eine neue Methode namens Pair2Score vor. Denken Sie daran als ein zweistufiges Trainingsprogramm für eine KI (speziell ein großes Sprachmodell namens LLaMA), um zu lernen, wie man diese kniffligen „7 von 10"-Scores vergibt, indem es zunächst das einfachere „A ist besser als B"-Spiel übt.

Hier ist, wie der Prozess funktioniert, unter Verwendung einfacher Analogien:

Das zweistufige Trainingslager

Stufe 1: Der „Geschmackstest" (Paarweises Ranking)
Stellen Sie sich vor, Sie trainieren einen Food-Kritiker. Anstatt ihn sofort zu bitten, einen Burger als „7/10" zu bewerten, zeigen Sie ihm zwei Burger und fragen: „Welcher schmeckt besser?"

Die KI betrachtet Paare von Aufsätzen.
Sie lernt, den Unterschied zu erkennen: „Dieser Aufsatz hat eine bessere Grammatik als jener."
Sie macht sich noch keine Sorgen um die genaue Zahl; sie lernt einfach die Richtung der Qualität.
Die Wendung: Die Arbeit ergab, dass man den Kritiker nicht über einen langen Zeitraum mit Tausenden von Vergleichen trainieren muss. Tatsächlich war eine sehr kurze „Geschmackstest"-Sitzung (nur eine Runde Training) oft besser als eine lange, erschöpfende. Es ist, als würde man der KI einen schnellen „Aha!"-Moment geben, wie gutes Schreiben aussieht, anstatt sie wochenlang zu drillen.

Stufe 2: Die „Abschlussprüfung" (Absolutes Scoring)
Nun nutzt die KI das Wissen aus Stufe 1 und versucht, den tatsächlichen Zahlen (1 bis 5) für einzelne Aufsätze zu vergeben.

Die Forscher versuchten zwei Wege, das Wissen von Stufe 1 auf Stufe 2 zu übertragen:
1. Warm-Start: Stellen Sie sich vor, die KI ist ein Schüler, der den „Geschmackstest"-Kurs abgeschlossen hat. Für die „Abschlussprüfung" behält er seine Notizen und seinen Geisteszustand aus dem ersten Kurs als Ausgangspunkt. Er muss nur noch lernen, wie man „besser/schlechter" in „7/10" übersetzt.
2. Fusion: Stellen Sie sich vor, der Schüler bringt einen Spickzettel (eine Zusammenfassung des Geschmackstests) in den Prüfungsraum mit. Er betrachtet den Aufsatz, betrachtet seinen Spickzettel und kombiniert beide Informationsstücke, um eine Bewertung abzugeben.

Was haben sie herausgefunden?

Die Forscher testeten dies an drei spezifischen Fähigkeiten: Grammatik, Wortschatz und Syntax. Sie führten das Experiment viele Male durch, um sicherzustellen, dass die Ergebnisse nicht nur Glück waren.

Hier sind die wichtigsten Erkenntnisse, in Alltagssprache übersetzt:

Der Shortcut funktioniert: Die Verwendung des „Geschmackstests" (paarweiser Vergleich) als Aufwärmen half der KI im Allgemeinen, bessere Endbewertungen abzugeben, als wenn sie versucht hätte, die Zahlen von Grund auf neu zu lernen.
Weniger ist mehr (manchmal): Die überraschendste Erkenntnis betraf die Zeit. Die KI über einen langen Zeitraum zum Vergleichen von Aufsätzen zu trainieren, half nicht viel. Tatsächlich war das Stoppen des Vergleichstrainings nach nur einem Durchgang (ein Epoch) oft der zuverlässigste Weg, um gute Ergebnisse zu erzielen. Dies deutet darauf hin, dass die KI nur einen schnellen „Schubs" in die richtige Richtung brauchte, kein tiefes Eintauchen in das Ranking.
Es geht nicht nur darum, gut im Vergleichen zu sein: Man könnte denken: „Wenn die KI wirklich gut darin ist zu sagen, dass 'Aufsatz A besser als B' ist, wird sie auch gut beim Bewerten sein." Die Arbeit sagt nein. Eine KI könnte ein Champion beim Vergleichen von Aufsätzen sein und trotzdem versagen, gute absolute Scores zu vergeben. Die Methode, mit der das Wissen übertragen wurde (Warm-Start vs. Fusion), war genauso wichtig wie die Qualität des Vergleichstrainings.
Kein Allheilmittel: Es gab keine einzelne „perfekte" Einstellung, die für jeden Aufsatztyp funktionierte. Manchmal funktionierte die „Fusion"-Methode am besten; manchmal der „Warm-Start". Es hängt von der spezifischen Eigenschaft (Grammatik vs. Wortschatz) und dem spezifischen Stapel von Aufsätzen ab.

Das Fazit

Die Arbeit argumentiert, dass man einer KI, um Aufsätze mit einer spezifischen Zahl zu bewerten, nicht sofort die Zahlen vorwerfen sollte. Stattdessen sollte man sie zuerst das Vergleichen von Aufsätzen üben lassen.

Übertrieben Sie es jedoch nicht mit dem Üben. Eine kurze, fokussierte Sitzung zum Vergleichen von Aufsätzen reicht oft aus, um der KI die richtige „Intuition" zu geben. Sobald sie diese Intuition hat, können Sie ihr beibringen, die endgültigen Zahlen zuzuweisen, und sie wird eine bessere Arbeit leisten als wenn sie die Vergleiche überhaupt nie gesehen hätte.

Wichtiger Hinweis: Die Autoren betonen sehr sorgfältig, dass dies ein spezifisches Experiment zur Aufsatzbewertung ist. Sie behaupten nicht, dass dies bereits für medizinische Diagnosen, rechtliche Urteile oder andere Bereiche funktioniert. Sie zeigen lediglich, dass für die Bewertung von Aufsätzen diese spezifische zweistufige „zuerst vergleichen, dann bewerten"-Methode ein vielversprechender Weg ist, um bessere Ergebnisse zu erzielen.

Technische Zusammenfassung: Pair2Score

Problemstellung

Viele Evaluierungsanwendungen, insbesondere das Automatisierte Aufsatzscoring (AES), erfordern absolute Vorhersagen (z. B. die Zuweisung eines spezifischen Scores zu einem Aufsatz basierend auf einem Bewertungsraster). Das Sammeln absoluter Labels ist jedoch oft ressourcenintensiv, wohingegen paarweise Vergleiche (die Bestimmung, welcher von zwei Aufsätzen besser ist) leichter zu erheben sind und möglicherweise stärkere lokale Informationen tragen.

Die zentrale Forschungsfrage, die in diesem Papier adressiert wird, lautet: Kann paarweises Lernen als effektives intermediäres Ziel für rubrikabgestimmtes absolutes Aufsatzscoring dienen? Konkret untersuchen die Autoren, wie Wissen von einem auf Dokumentenpaaren trainierten Vergleichsmodell in einen nachgelagerten absoluten Scorer übertragen werden kann, wobei Large Language Models (LLMs) zum Einsatz kommen.

Methodik: Pair2Score-Framework

Die Autoren schlagen Pair2Score vor, ein zweistufiges Lernframework, das darauf ausgelegt ist, paarweise Vergleiche unter Verwendung einer parametereffizienten LLM-Anpassung (LoRA) in absolutes Scoring zu übertragen. Das Framework nutzt einen Meta LLaMA-3.2-1B-Backbone und funktioniert wie folgt:

Stufe 1: Directional Siamese Ranking (Relatives Ziel)

Architektur: Ein Siameses-Setup mit einem gemeinsamen LLaMA+LoRA-Backbone verarbeitet zwei Dokumente ( $a$ und $b$ ).
Ziel: Das Modell lernt eine gerichtete Präferenz. Es verwendet einen biasfreien linearen Utility-Kopf, um skalare Utilities $s(h_a)$ und $s(h_b)$ aus gepoolten versteckten Repräsentationen zu berechnen. Der Vergleichslogit ist definiert als $\Delta(a, b) = s(h_a) - s(h_b)$ .
Einschränkung: Das Design erzwingt Antisymmetrie ( $\Delta(b, a) = -\Delta(a, b)$ ) und stellt somit konsistente Präferenzen unabhängig von der Eingabereihenfolge sicher.
Verlust: Das Modell wird mit paarweisem logistischem Verlust trainiert, um $\Delta(a, b) > 0$ für Paare zu maximieren, bei denen Dokument $a$ ein höheres absolutes Merkmal-Label aufweist als $b$ .
Ausgabe: Diese Stufe produziert einen trainierten LoRA-Adapter und optional gepoolte Embeddings.

Stufe 2: Absolutes Scoring mit Transfer (Absolutes Ziel)

Ziel: Training eines absoluten Regressors zur direkten Vorhersage von Merkmalsscores (z. B. Grammatik, Wortschatz, Syntax) unter Optimierung des L1-Verlusts und Evaluierung mit Quadratic Weighted Kappa (QWK).
Transfermechanismen: Die Autoren vergleichen drei Konfigurationen:
1. Baseline (Nur absolut): Ein neuer LoRA-Adapter wird von Grund auf neu auf absoluten Labels trainiert.
2. Warm-start: Der absolute Scorer wird mit den LoRA-Adapter-Gewichten aus Stufe 1 initialisiert (der paarweise Kopf wird verworfen).
3. Embedding-Fusion: Zusätzlich zur Warm-start-Initialisierung werden vorausberechnete Embeddings aus Stufe 1 mit der aktuellen gepoolten Repräsentation vor dem Regressionskopf verkettet.
Variablen: Die Studie variiert die Paar-Set-Größe (klein vs. groß) und die Dauer der paarweisen Stufe (Standard mit mehreren Epochen vs. eine einzelne Epoche).

Experimentelles Protokoll

Datensatz: Der Feedback Prize English Language Learning-Datensatz (ELLIPSE-Korpus), fokussiert auf drei Merkmale: Grammatik, Wortschatz und Syntax.
Evaluierung: Ein Fünf-Fold-Cross-Validierungsprotokoll, bei dem der zurückgehaltene Fold und der Zufallssamen ko-rotiert werden (z. B. verwendet Fold A den Samen 42, Fold B den Samen 48). Dies stellt sicher, dass Stochastizität Teil der gemessenen Evidenz ist und nicht herausgemittelt wird.
Metriken: Die primäre Metrik ist der Test-QWK.

Hauptbeiträge

Formulierung des Designraums: Das Papier fasst den Transfer von relativen zu absoluten Scores als einen Designraum zusammen, der durch drei Achsen definiert ist: intermediäres Ziel, Transfermechanismus und nachgelagertes Ziel. Es instantiiert einen spezifischen Pfad (paarweise Präferenz $\to$ Warm-start/Fusion $\to$ absolute Regression).
Empirische Befunde zum Transfer: Über 15 Fold-Level-Evaluierungen hinweg (3 Merkmale $\times$ 5 Folds) stellen die Autoren fest, dass allein die Qualität des paarweisen Rankings nicht vorhersagt, ob der Transfer das absolute Scoring verbessert. Stattdessen sind die Wahl des Transfermechanismus und die Dauer der paarweisen Stufe entscheidend.
Dauer-Sensitivität: Ein klares Muster bezüglich der Dauer der paarweisen Stufe tritt hervor: Eine einzelne Epoche paarweisen Trainings überträgt zuverlässiger als ein längeres Training. Dies legt nahe, dass die paarweise Stufe primär als effektive frühe Initialisierung fungiert und nicht als längere Optimierungsphase für Rankings.
Fehlende Korrelation: Die Studie zeigt eine schwache Korrelation zwischen der paarweisen Genauigkeit in Stufe 1 und der Leistung des absoluten Scorings in Stufe 2, was darauf hindeutet, dass der Erfolg im nachgelagerten Bereich stärker von der Transferkonfiguration und den Variationen bei Fold/Samen abhängt als von marginalen Gewinnen in den Ranking-Metriken von Stufe 1.

Ergebnisse

Leistung: Die am besten performende Transfervariante verbesserte den QWK gegenüber der Baseline (nur absolut) für alle drei Merkmale (Grammatik, Wortschatz, Syntax).
Konsistenz: Keine einzelne Konfiguration dominierte über alle Läufe hinweg. Wenn jedoch für jede Merkmal-Fold-Evaluierung die beste Transfervariante ausgewählt wurde, schnitt der paarweise Transfer in 11 von 15 Fällen besser ab als die Baseline, mit einem mittleren $\Delta$ QWK von +0,012.
Auswirkung der Konfiguration:
- Dauer: Die „one-epoch"-Einstellung für paarweises Training schnitt über die meisten Konfigurationen hinweg konsistent besser ab oder erzielte Gleichstand mit der „Standard"-Einstellung (mehrere Epochen).
- Paar-Set-Größe: Eine Erhöhung der Anzahl der Paare (von ~3k auf ~6k) brachte keinen konsistenten Vorteil.
- Transfermechanismus: Sowohl Warm-start als auch Embedding-Fusion zeigten Vorteile, doch der spezifische „Gewinner" variierte je nach Merkmal und Fold.

Bedeutung und Behauptungen

Das Papier beansprucht bescheiden, dass Pair2Score zeigt, dass vergleichende Überwachung eine nützliche intermediäre Stufe für rubrikabgestimmtes absolutes Scoring sein kann, aber nur wenn der Transferpfad sorgfältig konfiguriert ist.

Die Autoren betonen, dass der Vorteil nicht automatisch ist; das bloße Hinzufügen einer paarweisen Stufe garantiert keine Verbesserung. Die zentrale Erkenntnis ist, dass die paarweise Stufe primär durch frühe Initialisierung beiträgt (Bereitstellung eines besseren Startpunkts für den absoluten Scorer) und nicht durch die Anhäufung von Ranking-Wissen über viele Epochen hinweg.

Die Arbeit positioniert den Transfer von relativ zu absolut als eine eigenständige Modellierungsfrage, bei der intermediäres Ziel, Transferpfad und nachgelagertes Ziel gemeinsam betrachtet werden müssen. Die Autoren räumen Einschränkungen ein und stellen fest, dass ihre Evaluierung nur einen Pfad durch den breiteren Designraum abdeckt (speziell paarweise Präferenz mit Warm-start/Fusion in einem AES-Setting) und dass weitere Validierungen für andere intermediäre Ziele, Backbones und Bewertungsworkflows erforderlich sind.