From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

Diese Studie bietet den ersten umfassenden empirischen Vergleich verschiedener LLM-basierter Ansätze für die automatisierte Bewertung von IELTS-Aufsätzen und zeigt, dass eine Kombination aus überwachtem Feinabstimmen und retrievalgestützter Generierung mit einer F1-Score von 93 % die beste Leistung erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Lehrer, der jeden Tag Dutzende von Aufsätzen von Schülern korrigieren muss, die Englisch als zweite Sprache lernen. Das ist mühsam, zeitaufwendig und manchmal sogar subjektiv – zwei Lehrer könnten denselben Aufsatz unterschiedlich bewerten.

Dieser Forschungsbericht ist wie eine große Vergleichsstudie, die herausfinden will: Welche Art von „KI-Lehrer" ist der beste, um diese Aufsätze automatisch zu bewerten?

Die Forscher haben vier verschiedene Methoden getestet, die alle auf modernen „Großen Sprachmodellen" (LLMs) basieren – also super-intelligenten KI-Systemen wie ChatGPT oder Llama. Hier ist eine einfache Erklärung der vier Ansätze, gemischt mit ein paar bildhaften Vergleichen:

1. Der „Klassische Prüfer" (Diskriminatives Fein-Tuning)

• Wie es funktioniert: Man nimmt eine KI und trainiert sie wie einen strengen Prüfer, der nur Zahlen sieht. Man zeigt ihr tausende Beispiele: „Dieser Aufsatz ist eine 5, dieser eine 6." Die KI lernt Muster, um direkt eine Note zu raten.
• Die Analogie: Das ist wie ein Schüler, der nur die Lösungen auswendig gelernt hat, ohne den Stoff wirklich zu verstehen. Er kann die Antwort schnell hinschreiben, aber wenn die Frage etwas anders formuliert ist, gerät er ins Wanken.
• Ergebnis: Schnell und günstig, aber oft nicht sehr genau oder fair bei komplexen Texten.

2. Der „Fragender Gast" (Prompting / In-Context Learning)

• Wie es funktioniert: Man nutzt eine sehr starke KI (wie GPT-4), die man nicht neu trainiert. Man gibt ihr einfach eine Anweisung: „Du bist jetzt ein IELTS-Prüfer. Lies diesen Text und gib eine Note." Manchmal zeigt man ihr auch ein paar Beispiele, wie man es macht (Few-Shot).
• Die Analogie: Das ist wie ein berühmter Gastdozent, den man in den Klassenraum holt. Man muss ihn nicht einstellen oder ausbilden. Man sagt ihm einfach: „Mach mal!" Er ist sehr klug und kann gut argumentieren, aber er ist teuer (kostet viel Geld pro Frage) und manchmal ist er launisch – je nachdem, wie man ihn fragt, gibt er unterschiedliche Noten.
• Ergebnis: Flexibel, aber teuer und manchmal unzuverlässig.

3. Der „Spezialisierte Coach mit Nachschlagewerk" (Instruction Tuning + RAG)

• Wie es funktioniert: Hier wird die KI speziell für die Aufgabe „trainiert" (Instruction Tuning). Noch wichtiger: Sie darf während der Prüfung in ein digitales Nachschlagewerk schauen (RAG = Retrieval-Augmented Generation). Wenn sie einen Aufsatz bewertet, sucht sie zuerst nach ähnlichen Beispielen und den genauen Bewertungskriterien (z. B. „Wie sieht eine perfekte Grammatik aus?").
• Die Analogie: Das ist wie ein junger Lehrer, der nicht nur auswendig gelernt hat, sondern während der Korrektur ein perfektes Lehrbuch und eine Mappe mit Musterarbeiten zur Hand hat. Er vergleicht den Schüleraufsatz direkt mit den Regeln und den besten Beispielen.
• Ergebnis: Das war der Gewinner der Studie! Diese Methode war am genauesten (93% Trefferquote). Sie ist wie ein Prüfer, der nie vergisst, was die Regeln sind, und sich immer an die besten Beispiele hält.

4. Der „Menschliche Mentor" (SFT + DPO + RAG)

• Wie es funktioniert: Diese Methode geht noch einen Schritt weiter. Die KI lernt nicht nur die Regeln, sondern auch, was Menschen bevorzugen. Sie wird so trainiert, dass ihre Rückmeldungen (Feedback) menschlicher, konstruktiver und natürlicher klingen.
• Die Analogie: Das ist wie ein erfahrener Mentor, der nicht nur die Note vergibt, sondern dem Schüler sagt: „Hey, deine Ideen sind gut, aber hier hast du den Übergang etwas holprig gemacht. So könnte es besser klingen." Er gibt ein Feedback, das sich anfühlt, als käme es von einem echten, empathischen Lehrer.
• Ergebnis: Die Note ist fast so gut wie beim Gewinner (Methode 3), aber das Feedback ist viel besser und menschlicher. Es ist perfekt, wenn man dem Schüler helfen will, sich zu verbessern, nicht nur wenn man eine Note braucht.

Das große Fazit (Die Abwägung)

Die Forscher haben eine wichtige Entdeckung gemacht, die man sich wie eine Waage vorstellen kann:

• Genauigkeit vs. Kosten: Je genauer die KI werden soll, desto mehr Rechenleistung (und Geld) kostet es.
• Die beste Wahl:
  • Wenn Sie schnell und präzise Noten für eine große Prüfung brauchen (wie bei einem offiziellen Test), ist Methode 3 (der Coach mit dem Nachschlagewerk) die beste Wahl. Sie ist wie ein präziser Roboter-Prüfer.
  • Wenn Sie dem Schüler helfen wollen, besser zu schreiben, ist Methode 4 (der menschliche Mentor) besser. Sie gibt etwas weniger starre Noten, aber viel wertvollere Ratschläge.

Zusammenfassend: Die Studie zeigt, dass man KI nicht einfach „einfach so" benutzen sollte. Um wirklich gute Ergebnisse zu erzielen, muss man sie entweder mit einem digitalen Nachschlagewerk ausrüsten (für Genauigkeit) oder sie so trainieren, dass sie menschliche Vorlieben versteht (für gutes Feedback). Der „einfache Weg" (nur Fragen stellen) reicht für faire Bewertungen nicht aus.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring" auf Deutsch:

1. Problemstellung

Das Ziel von Automated Essay Scoring (AES) ist die automatische Bewertung von Aufsätzen, um menschliche Bewertungsstandards (z. B. im IELTS-Test) zu replizieren. Während frühere Ansätze auf handgefertigten Merkmalen oder diskriminativen neuronalen Netzen (wie BERT, LSTM) basierten, bieten Large Language Models (LLMs) neue Möglichkeiten durch In-Context-Learning und generative Fähigkeiten.

Das zentrale Problem dieser Studie ist jedoch die Fragmentierung der aktuellen Forschung: Bisherige Arbeiten untersuchen Techniken wie Prompting, Fine-Tuning oder Retrieval-Augmented Generation (RAG) meist isoliert. Es fehlt ein einheitlicher Benchmark, der die relativen Vor- und Nachteile dieser Paradigmen für das Schreiben als Zweitsprache (L2) systematisch vergleicht, insbesondere hinsichtlich des Trade-offs zwischen Genauigkeit, Kosten und Robustheit.

2. Methodik

Die Autoren stellen einen umfassenden Vergleich von vier Hauptparadigmen für AES auf der Basis von IELTS Writing Task 2 vor. Das Framework bewertet sowohl die Vorhersage des Gesamtscores (Band Score) als auch die Generierung rubrikbasierter Feedbacks.

Die vier untersuchten Ansätze sind:

1. Diskriminatives Fine-Tuning (Approach 1):

   • Verwendung von Encoder-Modellen (RoBERTa, GPT-2 Encoder).
   • Das Problem wird als Klassifikationsaufgabe formuliert (19 Klassen für Scores 0–9 in 0,5-Schritten).
   • Ziel: Direkte Abbildung des Textes auf einen Score ohne explizite Feedback-Generierung.

2. In-Context Learning (Approach 2):

   • Nutzung generativer LLMs (GPT-4o, Llama-3-70B, Gemini 2.5 Pro) ohne Parameter-Updates.
   • Zero-Shot und Few-Shot Prompting: Das Modell agiert als IELTS-Prüfer basierend auf Anweisungen und Beispielen im Prompt.

3. Instruction Tuning mit RAG (Approach 3):

   • Kombination aus Feinabstimmung und Retrieval-Augmented Generation.
   • k-Instruction Tuning: Das Modell wird auf vier spezifische IELTS-Kriterien (Task Response, Coherence, Lexical Resource, Grammatical Range) spezialisiert, wobei für jedes Kriterium ein separater LoRA-Adapter (Low-Rank Adaptation) verwendet wird.
   • RAG: Externe Rubriken und exemplarische Aufsätze werden zur Inferenzzeit abgerufen, um Halluzinationen zu reduzieren und die Vorhersagen zu verankern.

4. Supervised Fine-Tuning (SFT) mit Direct Preference Optimization (DPO) und RAG (Approach 4):

   • Ein hybrider Ansatz, der SFT mit Reinforcement Learning kombiniert.
   • Zuerst wird das Modell mit SFT auf strukturierte Score-Feedback-Paare trainiert.
   • Anschließend erfolgt eine Ausrichtung mittels DPO, um die Feedback-Qualität an menschliche Präferenzen (basierend auf einem öffentlichen Datensatz mit menschlichen Bewertungen) anzupassen.
   • Auch hier wird RAG zur Stabilisierung der Inferenz eingesetzt.

Datensatz:
Die Studie nutzt einen konsolidierten Datensatz von 10.328 IELTS Writing Task 2 Essays. Die analytischen Scores (für die vier Kriterien) wurden zur Konsistenzsicherung mit dem Gemini-2.5-Pro-Modell neu generiert. Der Datensatz wurde in 9.833 Trainings- und 495 Testbeispiele aufgeteilt.

3. Wichtige Beiträge

• Erster einheitlicher Benchmark: Die Studie bietet den ersten systematischen Vergleich von diskriminativen Modellen, Prompting, Instruction Tuning und Preference Optimization auf demselben L2-Textkorpus.
• Neues Framework: Entwicklung eines kriterienbewussten AES-Frameworks, das Instruction Tuning, RAG und Preference Optimization integriert, um LLM-Vorhersagen an IELTS-Rubriken auszurichten.
• Analyse von Trade-offs: Umfassende quantitative und qualitative Analyse der Kompromisse zwischen Genauigkeit, Rechenkosten und Robustheit.

4. Ergebnisse

Die Ergebnisse zeigen eine klare Hierarchie der Leistungsfähigkeit:

• Leistungshierarchie: Diskriminatives Fine-Tuning < Prompting < Instruction Tuning < SFT mit DPO/RAG < k-Instruction Tuning mit RAG.
• Bestes Modell: Die Konfiguration Llama-3.1-8B mit k-Instruction Tuning und RAG erzielte die besten Gesamtergebnisse mit einer Accuracy von 99,02 % und einem F1-Score von 93,50 %.
• Einfluss von RAG: Die Integration von RAG reduzierte Halluzinationen erheblich und stabilisierte die Scores, insbesondere bei Grenzfällen.
• Einfluss von DPO: Der Ansatz mit DPO (Approach 4) erzielte die niedrigsten Fehlermaße (RMSE, MAE) und die beste Kalibrierung, was auf eine höhere Übereinstimmung mit menschlichen Urteilen hindeutet, erreichte jedoch nicht ganz die reine Klassifikationsgenauigkeit von Approach 3.
• Kosten-Nutzen-Analyse:
  • Prompting ist kostengünstig, aber unzuverlässig und variabel.
  • Instruction Tuning mit RAG bietet den besten Kompromiss aus Genauigkeit und Rechenaufwand.
  • SFT + DPO erfordert den höchsten Aufwand (ca. 9,5 Stunden Training) mit abnehmenden Grenzerträgen in der reinen Genauigkeit, verbessert aber die Feedback-Qualität.

Qualitativer Vergleich:

• Approach 3 (k-Instruction + RAG): Liefert präzise Band-Scores und feingranulares, kriterienspezifisches Feedback (z. B. spezifische Fehler in Grammatik oder Kohäsion). Ideal für hochrangige Prüfungen.
• Approach 4 (SFT + DPO): Liefert etwas weniger präzise Scores (gelegentliche Unterbewertungen), aber das Feedback ist holistischer, kohärenter und ähnelt eher der Sprache eines menschlichen Prüfers. Ideal für formative Lernfeedbacks.

5. Bedeutung und Fazit

Diese Studie belegt, dass reine Prompting-Strategien für zuverlässiges AES in L2-Szenarien nicht ausreichen. Der Weg zu robusteren Systemen führt über kriterienspezifisches Instruction Tuning in Kombination mit RAG.

Die Arbeit liefert praktische Leitlinien für den Einsatz von LLM-basierten AES-Systemen:

• Für hochrangige Prüfungen (High-Stakes), wo Genauigkeit und Nachvollziehbarkeit der Kriterien entscheidend sind, ist k-Instruction Tuning mit RAG die bevorzugte Methode.
• Für formative Lernumgebungen, wo pädagogisch wertvolles, ganzheitliches Feedback im Vordergrund steht, ist SFT mit DPO vorteilhafter.

Der Code und die Daten sind öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung in diesem Bereich fördert.