Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend zur Textoptimierung eingesetzt, z. B. um Argumente in Diskussionen angemessener zu formulieren. Ein zentrales Problem besteht jedoch in der Diskrepanz zwischen menschlichen und KI-generierten Bearbeitungsstrategien:

• Menschliches Verhalten: Menschen neigen dazu, Änderungen in selbstständigen, sinnbewahrenden Einheiten (Satzniveau) zu verpacken. Sie führen oft wenige, aber kohärente Operationen durch, die den ursprünglichen Sinn erhalten.
• KI-Verhalten (Bestehende Ansätze): Aktuelle Methoden (z. B. basierend auf Reinforcement Learning mit PPO) generieren oft vollständige Umschreibungen („Full Rewrites"). Diese führen zu verstreuten, voneinander abhängigen Änderungen, die den ursprünglichen Sinn stark verändern und nicht selektiv angewendet werden können.

Das Ziel der Arbeit ist es, LLMs beizubringen, menschenähnliche Bearbeitungsvorschläge zu generieren, die nicht nur die Angemessenheit (Appropriateness) eines Arguments verbessern, sondern dabei auch semantische Ähnlichkeit, Flüssigkeit (Fluency) und typische menschliche Bearbeitungsmuster bewahren.

2. Methodik

Der Ansatz nutzt Reinforcement Learning (RL), speziell Group Relative Policy Optimization (GRPO), um eine Policy (ein LLM) zu trainieren, die Edit-Vorschläge für unangemessene Argumente generiert.

A. Problemdefinition

Gegeben ein Argument $a$, soll eine Menge von Edit-Vorschlägen $E = \{e_1, ..., e_k\}$ generiert werden. Jeder Vorschlag $e_i$ besteht aus einem Textspan $s_i$ (zu ändern) und einem Ersatz $t_i$. Die edits sollen:

1. Menschenähnlich (Human-Like): Semantisch ähnlich, flüssig und konform zu typischen Edit-Mustern (Keep, Delete, Add, Substitute).
2. Angemessen: Die Anwendung der Edits führt zu einem Argument $a'$, das in Bezug auf den Diskussionskontext angemessener ist.

B. Belohnungsfunktion (Reward Function)

Das Herzstück des Ansatzes ist eine mehrkomponentige Belohnungsfunktion $R(a, E)$, die zwei Ebenen kombiniert:

1. Edit-Level Reward ($r_{edit}$): Bewertet die Qualität jedes einzelnen Vorschlags. Ein Edit gilt als „menschenähnlich", wenn es drei Kriterien erfüllt, die durch separate Klassifikatoren geprüft werden:

   • Semantische Ähnlichkeit ($c_{sim}$): Misst die Ähnlichkeit zwischen Original und editiertem Satz (basierend auf Embeddings).
   • Flüssigkeit ($c_{flu}$): Stellt sicher, dass die Grammatik nicht verschlechtert wird (wichtig, da Edits unabhängig angewendet werden müssen).
   • Muster-Konformität ($c_{con}$): Prüft, ob die Sequenz der Edit-Operationen (z. B. Keep/Del/Add/Substitute) typischen menschlichen Mustern entspricht (gemessen über Perplexität eines auf Edit-Sequenzen trainierten Modells).
   • Logik: Ein Edit erhält nur dann eine positive Bewertung, wenn er alle drei Kriterien besteht.

2. Argument-Level Reward ($r_{arg}$): Bewertet die Verbesserung der Angemessenheit des gesamten Arguments nach Anwendung der als „menschenähnlich" klassifizierten Edits.

Die Gesamtreward ist eine gewichtete Summe: $R = \alpha \cdot r_{arg} + (1-\alpha) \cdot r_{edit}$.

C. Training und Architektur

• Policy: Ein Llama-3.1-8B-Instruct Modell, das mit LoRA (Low-Rank Adaptation) feinabgestimmt wird.
• Algorithmus: GRPO (Group Relative Policy Optimization), ein speichereffizienter RL-Algorithmus, der keine separate Reward-Model-Trainingphase benötigt, sondern Vergleiche innerhalb einer Gruppe von Generierungen nutzt.
• Daten: Nutzung des IteraTeR-Datensatzes (menschliche Revisionen) zum Training der Edit-Level-Klassifikatoren und eines annotierten Korpus unangemessener Argumente (Ziegenbein et al., 2023/2024) für das RL-Training.

3. Wichtige Beiträge

1. Erster RL-Ansatz für menschenähnliche Edit-Vorschläge: Im Gegensatz zu vorherigen Arbeiten, die auf vollständige Umschreibungen abzielten, generiert dieser Ansatz selektierbare, satzweise Edit-Vorschläge.
2. Neues Reward-Design: Einführung einer expliziten Optimierung auf Edit-Level-Qualität (Ähnlichkeit, Flüssigkeit, Muster-Konformität) statt nur auf Dokument-Level-Metriken. Dies füllt die Lücke zwischen stilistischer Transferierung und Argumentationsverbesserung.
3. Empirische Evidenz: Nachweis, dass die Optimierung auf Edit-Level-Qualität die menschenähnliche Generierung signifikant verbessert, ohne die Verbesserung der Angemessenheit zu opfern.

4. Ergebnisse

Die Evaluation erfolgte sowohl automatisch als auch durch menschliche Bewertung (mit Muttersprachlern).

• Automatische Evaluation:

  • Der Ansatz (GRPOfull) generiert deutlich mehr menschenähnliche Edits (HL-Rate: 0,669) als alle Baselines (z. B. PPO-basierte Methoden oder reine Prompting-Modelle wie LLaMA/Gemini), die oft nur Werte um 0,15–0,47 erreichen.
  • Die Angemessenheit (Appropriateness) wird signifikant verbessert (ca. 36,4 % der unangemessenen Argumente werden als angemessen klassifiziert), was nahe an die Leistung von nicht-menschenähnlichen „Full-Rewrite"-Ansätzen herankommt.
  • Ablationsstudien: Zeigten, dass alle drei Komponenten (Ähnlichkeit, Flüssigkeit, Konformität) notwendig sind. Das Entfernen einer Komponente führt zu einem drastischen Abfall der menschenähnlichen Qualität.

• Iterative Bearbeitung:

  • Durch mehrstufiges Anwenden der Edits (bis zur Konvergenz) lässt sich die Angemessenheit weiter steigern (auf ca. 66 %), wobei jedoch die Flüssigkeit und die semantische Ähnlichkeit im Laufe der Iterationen leicht abnehmen.

• Menschliche Evaluation:

  • In pairwise Vergleichen und Likert-Skalen-Ratings wurde GRPOfull in allen Dimensionen (Ähnlichkeit, Flüssigkeit, Konformität, Gesamtmenschenähnlichkeit) als überlegen eingestuft.
  • Die Edits wurden als natürlicher und weniger invasiv empfunden als die von PPO- oder reinen Prompting-Modellen generierten Vorschläge.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass es möglich ist, LLMs beizubringen, Text nicht nur „besser" (angemessener), sondern auch menschlicher zu bearbeiten. Dies ist entscheidend für den praktischen Einsatz in interaktiven Schreibassistenten, da Nutzer Vorschläge oft nur teilweise akzeptieren wollen.

• Technische Innovation: Die Trennung von Edit-Level- und Argument-Level-Rewards ermöglicht eine präzisere Kontrolle über die Ausgabe.
• Praktische Relevanz: Das System liefert handlungsanweisendes Feedback, das den Autor unterstützt, ohne dessen ursprüngliche Intention oder Stimme zu ersetzen.
• Ethische Implikationen: Die Autoren betonen die Notwendigkeit eines „Human-in-the-Loop"-Ansatzes, um Zensur oder „Tone Policing" zu vermeiden, da Angemessenheit kulturell und kontextabhängig ist.

Zusammenfassend etabliert diese Arbeit eine neue Grundlage für automatische Systeme, die durch reinforcement learning gesteuerte, selektierbare und menschenähnliche Textoptimierung bieten.