Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning

1. Problématique et Contexte

L'utilisation des grands modèles de langage (LLM) pour l'édition de texte est devenue courante, notamment pour rendre les arguments plus appropriés dans des contextes de débat ou d'éducation. Cependant, une divergence fondamentale a été observée entre les stratégies d'édition humaines et celles des LLM :

• Approche des LLM actuels : Ils tendent à effectuer des modifications multiples, dispersées et interdépendantes, souvent sous forme de réécritures complètes. Ces changements altèrent fréquemment le sens original de l'argument et ne peuvent pas être appliqués de manière sélective.
• Approche humaine : Les humains produisent des suggestions d'édition autonomes (self-contained) et préservant le sens. Ils encapsulent les modifications dépendantes dans une opération contiguë unique, permettant à chaque suggestion d'être acceptée ou rejetée indépendamment sans casser la cohérence du texte.

Le défi consiste donc à entraîner les LLM à générer des suggestions d'édition qui imitent ce comportement humain tout en corrigeant l'inappropriation (langage toxique, attaques personnelles, manque de clarté, etc.) des arguments.

2. Méthodologie

Les auteurs proposent une approche basée sur l'Apprentissage par Renforcement (RL) pour enseigner aux LLM l'édition à la manière humaine.

Architecture et Algorithme

• Modèle de Politique : Le modèle utilisé est un LLM (Llama-3.1-8B-Instruct) agissant comme une politique $\pi(E|a)$ qui génère un ensemble de suggestions d'édition $E$ pour un argument donné $a$.
• Algorithme d'Optimisation : L'entraînement utilise l'Optimisation de Politique Relative par Groupe (GRPO), une variante de PPO (Proximal Policy Optimization) plus efficace en mémoire, qui ne nécessite pas de modèle critique séparé.

Fonction de Récompense (Reward Function)

Le cœur de l'innovation réside dans une fonction de récompense multi-composantes qui optimise simultanément la qualité au niveau de l'édition et l'adéquation au niveau de l'argument. La récompense globale $R(a, E)$ est une combinaison pondérée :
$$R(a, E) = \alpha \cdot r_{arg}(a, E) + (1 - \alpha) \cdot r_{edit}(E, a)$$

1. Récompense au niveau de l'édition ($r_{edit}$) : Elle mesure la proportion de suggestions considérées comme « humaines ». Une suggestion est jugée humaine si elle passe trois filtres binaires (classificateurs) :
   • Similarité Sémantique ($c_{sim}$) : L'édition doit préserver le sens original (mesuré via des embeddings, seuil de similarité élevé).
   • Fluidité ($c_{flu}$) : L'édition ne doit pas dégrader la grammaire ou la lisibilité de la phrase.
   • Conformité aux Motifs ($c_{con}$) : L'édition doit suivre des motifs d'opérations (garder, supprimer, ajouter, remplacer) typiques des éditeurs humains, évitant les réécritures massives ou les ajouts de tokens dispersés.
2. Récompense au niveau de l'argument ($r_{arg}$) : Elle évalue l'amélioration de l'« appropriation » de l'argument complet après application des éditions validées. Un classificateur multilabel évalue si l'argument est devenu approprié.

Données d'Entraînement

• Pour les classificateurs d'édition : Utilisation du jeu de données IteraTeR (révisions humaines sur Wikipédia, ArXiv, etc.) pour entraîner les modèles de similarité, fluidité et conformité. Des données augmentées via Gemini 2.5 Flash ont été utilisées pour le classificateur de fluidité.
• Pour l'entraînement GRPO : Utilisation d'un corpus d'arguments inappropriés annotés (extension du corpus de Ziegenbein et al., 2023).

3. Contributions Clés

1. Modèle de Récompense Multi-Critères : Première approche définissant explicitement la « ressemblance humaine » à travers trois critères au niveau de l'édition (similarité sémantique, fluidité, conformité aux motifs d'édition) plutôt qu'au niveau du document entier.
2. Première Approche RL pour l'Édition Humaine : Introduction d'une méthode d'apprentissage par renforcement spécifiquement conçue pour générer des suggestions d'édition autonomes et préservant le sens pour les arguments inappropriés, sans nécessiter de données parallèles (texte source/texte cible).
3. Preuve Empirique : Démonstration que l'optimisation des critères de qualité au niveau de l'édition améliore significativement la génération de suggestions humaines tout en maintenant, voire en améliorant, l'efficacité de la correction de l'inappropriation.

4. Résultats

Les expériences ont été menées sur un jeu de test de 225 arguments inappropriés, comparant l'approche proposée (GRPOfull) à plusieurs baselines (méthodes PPO existantes et modèles LLM prompts).

• Performance au niveau de l'édition :
  • GRPOfull génère un nombre nettement supérieur de suggestions humaines (66,9 % de taux de réussite sur les critères combinés) par rapport aux baselines (le meilleur baseline atteint 47,5 %).
  • L'ablation montre que chaque composante (similarité, fluidité, conformité) est cruciale. Par exemple, supprimer la contrainte de conformité augmente la similarité mais réduit drastiquement la ressemblance humaine.
• Performance au niveau de l'argument :
  • Bien que les méthodes de réécriture complète (baselines) obtiennent parfois de meilleurs scores bruts d'adéquation, elles échouent à fournir des edits exploitables.
  • GRPOfull améliore l'adéquation de l'argument tout en conservant la structure originale.
• Édition Itérative :
  • L'application itérative de l'approche (réédition multiple) permet d'atteindre un niveau d'adéquation proche des méthodes de réécriture complète, bien que cela entraîne une légère dégradation de la fluidité et une dérive sémantique progressive après plusieurs tours.
• Évaluation Humaine :
  • Dans une étude avec des annotateurs humains, GRPOfull a obtenu les notes les plus élevées sur tous les critères (similarité, fluidité, conformité, ressemblance humaine) et a été préféré dans 82 % des comparaisons paires contre les autres méthodes.

5. Signification et Impact

Ce travail établit une nouvelle fondation pour les systèmes d'assistance à l'écriture automatisée :

• Passage de la Réécriture à l'Édition : Il démontre qu'il est possible de passer de la génération de textes entièrement nouveaux (souvent ininterprétables pour l'utilisateur) à des suggestions d'édition ciblées, autonomes et respectueuses de l'intention de l'auteur.
• Contrôle et Transparence : En produisant des edits indépendants, le système permet à l'utilisateur de choisir quelles corrections accepter, favorisant ainsi un processus de révision collaboratif plutôt qu'autoritaire.
• Éthique et Déploiement : Les auteurs soulignent l'importance d'une approche « human-in-the-loop » (humain dans la boucle). Étant donné la subjectivité de la notion d'« approprié » et les risques de censure ou de « police de ton », le système doit suggérer des modifications que l'auteur peut rejeter ou modifier, plutôt que de réécrire automatiquement le contenu sans supervision.

En résumé, cette recherche prouve que l'optimisation explicite de la qualité des edits au niveau local (via le RL) permet de concilier l'amélioration de la qualité argumentative et le respect du style et de l'intention de l'auteur humain.