Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style

1. Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) soient de plus en plus utilisés pour la rédaction professionnelle, leur adoption dans les tâches d'écriture personnelle (par exemple, vœux de mariage, lettres d'excuses, éloges funèbres) reste controversée. Les utilisateurs craignent souvent que l'assistance par l'IA ne compromette l'authenticité et le style personnel.

Des recherches antérieures suggèrent que les utilisateurs sont prêts à utiliser l'IA pour la planification, mais y résistent lors des étapes de « traduction » (rédaction) et de « révision », car ces phases façonnent directement l'expression stylistique. Cet article examine un flux de travail collaboratif spécifique : la post-édition. La question centrale de la recherche est la suivante : Les utilisateurs peuvent-ils efficacement post-éditer des ébauches générées par un LLM pour réintroduire leur style personnel unique, et ce processus aboutit-il à un texte perceptuellement et techniquement indiscernable de leur écriture non assistée ?

2. Méthodologie

Conception de l'étude

Les auteurs ont mené une étude en ligne pré-enregistrée et approuvée par le comité d'éthique (IRB) auprès de N=81 participants (recrutés sur Prolific, filtrés pour leur maîtrise de l'anglais).

• Tâches : Les participants ont sélectionné 6 tâches d'écriture parmi un ensemble de 8 scénarios où le style personnel est crucial (par exemple, vœux de mariage, lettres d'excuses, lettres de condoléances).
• Conditions : L'étude a utilisé un plan intra-sujet avec deux blocs :
  1. Bloc témoin : Les participants ont planifié les détails et rédigé le texte entièrement à partir de zéro (non assisté).
  2. Bloc traitement : Les participants ont planifié les mêmes détails, reçu un brouillon généré par un LLM (basé sur leur plan), puis ont post-édité le brouillon pour refléter leur style personnel.
• Mesures :
  • Similarité stylistique : Mesurée à l'aide d'embeddings LUAR (Rivera-Soto et al., 2021), spécifiquement le modèle LUAR-MUD, qui capture le style d'auteur via la similarité cosinus.
  • Détection d'IA : Mesurée à l'aide des scores PANGRAM pour estimer la probabilité qu'un texte soit généré par une IA.
  • Acceptabilité linguistique : Évaluée à l'aide d'un modèle basé sur CoLA pour évaluer la correction grammaticale.
  • Auto-évaluations : Les participants ont noté l'authenticité stylistique perçue, l'utilisabilité et la difficulté de la tâche.

Hypothèses

L'étude a testé trois hypothèses principales :

• H1 (Authenticité) : La post-édition rendra le texte du LLM plus proche de l'écriture non assistée de l'utilisateur et moins proche de la sortie brute du LLM.
• H2 (Homogénéité) : Le texte post-édité formera un style « tiers » distinct – plus homogène que l'écriture humaine mais moins que la sortie brute du LLM.
• H3 (Perception) : La perception par l'utilisateur de la similarité stylistique s'alignera sur la similarité mesurée par le modèle.

3. Contributions et résultats clés

A. Efficacité de la post-édition (H1)

• Changement statistique : La post-édition a considérablement augmenté la similarité stylistique avec le texte témoin non assisté du participant ($p < .001$, $g=0.55$) et a considérablement diminué la similarité avec le texte brut du LLM ($p < .001$, $g=-0.41$).
• Traces résiduelles d'IA : Malgré ces améliorations, le texte post-édité restait significativement plus similaire au texte généré par le LLM qu'à l'écriture non assistée du participant ($p < .001$, $g=-1.43$). Les utilisateurs ne pouvaient pas éliminer complètement l'« empreinte digitale du LLM ».
• Spécificité : Les modifications apportées étaient spécifiques à l'individu. Le texte post-édité était plus proche du style du rédacteur lui-même que de celui des autres participants, confirmant que les changements n'étaient pas simplement une « humanisation » générique.

B. Homogénéité stylistique (H2)

• Le « style tiers » : Le texte post-édité présentait un profil stylistique unique. Il était plus homogène (moins diversifié) que l'écriture entièrement humaine mais moins homogène que la sortie brute du LLM.
• Traits d'IA partagés : Bien que les modifications individuelles fussent uniques, les parties non modifiées du texte conservaient des caractéristiques stylistiques partagées du LLM chez tous les participants. Cela a entraîné une plus grande similarité entre les textes post-édités de différents utilisateurs qu'avec leurs propres textes témoins non assistés.

C. Le fossé de perception (H3)

• Déconnexion : Il existe un décalage significatif entre la similarité mesurée par le modèle et l'authenticité perçue par l'utilisateur.
  • Vue du modèle : Le texte post-édité reste clairement « de type IA » par rapport au texte témoin humain.
  • Vue de l'utilisateur : Les participants ont jugé leur texte post-édité aussi représentatif de leur style personnel que leur texte témoin non assisté ($p = .906$).
• Corrélation : Bien qu'il y ait une corrélation positive entre la similarité perçue et mesurée ($r=0.24$), elle était faiblement calibrée. Les utilisateurs ne percevaient pas les marqueurs stylistiques résiduels détectés par les modèles d'embedding.

D. Analyse du comportement d'édition

• Types d'éditions : Les participants ont employé des stratégies diverses, notamment :
  • Changements lexicaux : Suppression de mots « associés à l'IA » (par exemple, « plonger », bien que rare dans cet ensemble de données) ou ajout de contractions (5 fois plus fréquentes dans le texte post-édité).
  • Ponctuation : Suppression des tirets cadratins (taux de suppression de 23 %) et ajout de ponctuation non standard ou de fautes de frappe pour imiter les habitudes personnelles.
  • Éditions sémantiques : Correction de détails factuels ou ajout d'un langage culturellement spécifique (par exemple, des formulations religieuses).
• Effort vs Résultat : L'étude a révélé que l'originalité du brouillon initial était le principal obstacle à l'adoption. Les participants qui préféraient écrire seuls ont cité un manque d'originalité dans les brouillons de l'IA, tandis que ceux qui préféraient la post-édition valorisaient l'efficacité et la fiabilité.

4. Signification et implications

1. L'« illusion d'authenticité » : L'article met en évidence un fossé critique où les utilisateurs estiment que leur écriture assistée par l'IA est authentique, même lorsque des métriques objectives détectent des traces stylistiques d'IA significatives. Cela suggère que les utilisateurs pourraient s'appuyer sur des heuristiques simplifiées (par exemple, « ai-je changé les mots ?») plutôt que sur une analyse stylistique approfondie.
2. Viabilité du flux de travail : Malgré l'incapacité d'effacer complètement les marqueurs stylistiques de l'IA, le flux de travail est viable. Les utilisateurs rapportent une satisfaction élevée et une volonté d'utiliser la post-édition pour de futures tâches personnelles, à condition que le brouillon initial ne soit pas trop cliché.
3. Limites des métriques actuelles : Les métriques de style basées sur l'embedding peuvent capturer une saillance statistique qui ne correspond pas à ce que les utilisateurs profanes considèrent comme du « style ». Cela remet en question l'utilité des détecteurs d'IA actuels dans les contextes d'écriture personnelle où l'objectif est la satisfaction de l'utilisateur plutôt que la détection forensique.
4. Perspectives futures : Les auteurs suggèrent que l'amélioration de la créativité et de l'originalité des brouillons initiaux des LLM est plus impactante que d'essayer d'enseigner aux utilisateurs à post-éditer plus efficacement. De plus, les travaux futurs doivent prendre en compte la perspective du public : les lecteurs (qui connaissent le style de l'auteur) détecteront-ils les marqueurs d'IA résiduels que les auteurs ont manqués ?

Conclusion

L'étude conclut que si la post-édition permet aux utilisateurs d'exercer un contrôle significatif et d'atteindre un sentiment d'authenticité stylistique, elle ne comble pas entièrement le fossé entre les styles d'écriture des LLM et ceux des humains. Le texte résultant est un hybride : statistiquement plus proche du modèle que de l'humain, mais perçu par l'utilisateur comme authentiquement sien. Ce décalage souligne la nécessité d'une meilleure alignement entre les capacités de génération de l'IA et les attentes stylistiques humaines, plutôt que de compter uniquement sur l'édition a posteriori.