Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt om menselijke tekst te bewerken, bijvoorbeeld om argumenten in discussies gepaster te maken. Echter, er is een fundamenteel verschil in strategie tussen menselijke redacteuren en LLMs:

• LLMs neigen naar verspreide, meervoudige bewerkingen die vaak de oorspronkelijke betekenis van een argument aanzienlijk veranderen. Ze genereren vaak volledige herschrijvingen waarbij de wijzigingen niet selectief toepasbaar zijn.
• Mensen produceren daarentegen zelfstandige, betekenisbehoudende bewerkingen op zinsniveau. Zij "omhullen" afhankelijke wijzigingen in één samenhangende operatie, waardoor de originele intentie behouden blijft en de tekst vloeiend blijft.

De huidige state-of-the-art methoden voor het aanpassen van ongepaste argumenten (bijv. via volledige herschrijving) missen deze menselijke nuance, wat leidt tot suggesties die voor gebruikers minder bruikbaar of verwarrend zijn.

Methodologie

De auteurs presenteren een Reinforcement Learning (RL) benadering om LLMs aan te leren menselijke bewerkingspatronen na te bootsen, specifiek gericht op het verbeteren van de geschiktheid (appropriateness) van argumenten zonder de betekenis te verliezen.

1. Probleemdefinitie:
Het doel is het genereren van een set bewerkingsvoorstellen $E = \{e_1, ..., e_k\}$ voor een argument $a$. Elke bewerking $e_i$ bestaat uit een tekstspan $s_i$ en een vervanging $t_i$. Een bewerking wordt als "menselijk" beschouwd als deze drie criteria voldoet:

• Semantische gelijkenis: De betekenis van de zin blijft behouden.
• Vloeiendheid (Fluency): De bewerking introduceert geen grammaticale fouten.
• Conformiteit: De bewerking volgt typische menselijke patronen (bijv. specifieke combinaties van 'houden', 'verwijderen', 'toevoegen' of 'vervangen' van tokens), in plaats van ongebruikelijke, verspreide wijzigingen.

2. Reinforcement Learning Framework (GRPO):
Het model wordt getraind met Group Relative Policy Optimization (GRPO), een geheugenefficiënt RL-algoritme, geïmplementeerd in een Llama-3.1-8B-Instruct model.

• Policy ($\pi$): Genereert een set bewerkingsvoorstellen voor een gegeven argument.
• Reward Functie: Een multi-component beloningssysteem dat twee niveaus combineert:
  • Edit-level Reward: Beoordeelt elke individuele suggestie op menselijkheid via drie gespecialiseerde classifiers:
    • $c_{sim}$: Semantische gelijkenis (gemeten via EmbeddingGemma).
    • $c_{flu}$: Vloeiendheid (een ModernBERT classifier die grammaticale degradatie detecteert).
    • $c_{con}$: Conformiteit (een taalmodel dat de perplexiteit van de edit-operatieserie berekent; lagere perplexiteit betekent meer menselijke patronen).
  • Argument-level Reward: Beoordeelt of het totaal van de menselijke bewerkingen het argument geschikter maakt (via een bestaande geschiktheids-classifier).
• De totale beloning is een gewogen som van deze componenten, waarbij de parameter $\alpha$ de afweging bepaalt tussen het behoud van menselijke bewerkingskwaliteit en het verbeteren van de argumentatie.

3. Data:

• Voor het trainen van de edit-classifiers wordt gebruikgemaakt van het IteraTeR-dataset (menselijke revisies van Wikipedia, ArXiv, etc.), aangevuld met gegenereerde negatieve voorbeelden.
• Voor de RL-training wordt gebruikgemaakt van een corpus van ongepaste argumenten (Ziegenbein et al., 2023), uitgebreid met data van het Internet Argument Corpus en GAQCorpus.

Belangrijkste Bijdragen

1. Een nieuwe Reward Model: Een model dat edit-level kwaliteit (semantische gelijkenis, vloeiendheid en patroonconformiteit) expliciet optimaliseert om menselijke bewerkingsstijlen te bereiken.
2. Eerste RL-benadering voor menselijke edits: Het is de eerste methode die Reinforcement Learning gebruikt om specifieke bewerkingsvoorstellen te genereren voor ongepaste argumenten, in plaats van volledige herschrijvingen.
3. Empirisch bewijs: Demonstreert dat het optimaliseren van edit-level kwaliteit leidt tot aanzienlijk menselijker suggesties, terwijl de verbetering van de argumentatie behouden blijft.

Resultaten

De methode is geëvalueerd tegenover sterke baselines, waaronder PPO-gebaseerde methoden (Ziegenbein et al., 2024a) en directe prompting van LLMs.

• Automatische Evaluatie:

  • De volledige GRPO-methode (GRPOfull) produceerde 1221 menselijke bewerkingen (66,9% van de suggesties), wat aanzienlijk hoger is dan de baselines (die rond de 100-200 lagen).
  • Hoewel traditionele herschrijfmethode soms een hogere algehele geschiktheidsscore haalt, zijn hun bewerkingen minder menselijk en minder selectief toepasbaar.
  • Iteratieve bewerking: Door het model iteratief toe te passen (meerdere rondes), kon de geschiktheid van het argument worden verbeterd tot bijna het niveau van de beste niet-menselijke herschrijfmethode, zonder de menselijke kwaliteit van de individuele stappen volledig te verliezen.

• Menselijke Evaluatie:

  • In een studie met native speakers scoorde GRPOfull het hoogst op alle dimensies: Semantische gelijkenis (4.41/5), Vloeiendheid (4.46/5), Conformiteit (4.24/5) en Algemene Menselijkheid (4.46/5).
  • Bij paardewijze vergelijkingen werd de output van GRPOfull (na 11 iteraties) in 82% van de gevallen verkozen boven andere methoden.

• Ablatie Studies:

  • Het verwijderen van een van de drie edit-level componenten (gelijkenis, vloeiendheid of conformiteit) leidde tot een daling in de algehele menselijkheid, wat aantoont dat alle drie de componenten noodzakelijk zijn voor een evenwichtige output.

Betekenis en Conclusie

Dit werk markeert een verschuiving in hoe LLMs tekstoptimalisatie uitvoeren. In plaats van te focussen op het genereren van een "perfect" eindresultaat via volledige herschrijving, leert deze methode modellen om actievere, menselijke feedback te geven in de vorm van zelfstandige, selectief toepasbare bewerkingen.

De belangrijkste implicaties zijn:

• Bruikbaarheid: Gebruikers kunnen individuele suggesties accepteren of verwerpen, wat de controle bij de auteur laat.
• Behoud van intentie: Door strikt te optimaliseren op semantische gelijkenis en menselijke patronen, blijft de oorspronkelijke stem en intentie van de auteur behouden.
• Toekomstige richting: Het werk legt de basis voor systemen die niet alleen tekst corrigeren, maar ook leren hoe mensen redigeren, wat essentieel is voor geavanceerde schrijfassistenten.

De auteurs benadrukken echter ook ethische overwegingen: het concept van "geschiktheid" is subjectief en cultureel bepaald. Daarom wordt een mens-in-de-lus (human-in-the-loop) implementatie sterk aanbevolen om te voorkomen dat de tool wordt gebruikt voor censuur of het opleggen van een specifieke wereldvisie.