Segmenting Human-LLM Co-authored Text via Change Point Detection

Résumé technique : Segmentation de textes co-rédigés par des humains et des LLM via la détection de points de rupture

Énoncé du problème
La prolifération des modèles de langage de grande taille (LLM) a rendu nécessaire le développement de méthodes robustes pour distinguer les textes rédigés par des humains du contenu généré par des machines. Bien que les recherches existantes abordent principalement ce problème comme une tâche de classification binaire appliquée à des passages entiers, de telles approches sont insuffisantes pour les documents « hybrides » ou co-rédigés où les contributions humaines et celles des LLM sont entremêlées. Dans des scénarios pratiques — tels que des rapports techniques où les utilisateurs rédigent les méthodologies tandis que les LLM génèrent le texte descriptif, ou des collaborations en écriture créative — l'objectif passe d'une classification globale à une localisation : identifier les segments spécifiques rédigés par des humains versus ceux rédigés par des LLM. Les détecteurs actuels au niveau de la phrase échouent souvent à prendre en compte les dépendances structurelles entre les phrases et souffrent de performances sous-optimales lorsqu'ils sont appliqués naïvement à des tâches de segmentation, en raison d'une variabilité hétérogène des scores de détection (par exemple, les scores varient considérablement en fonction de la longueur de la phrase).

Méthodologie
Les auteurs proposent un cadre qui reformule le problème de la segmentation de texte comme une tâche de détection de points de rupture dans l'analyse de séries temporelles. L'observation fondamentale est que la transition entre l'authorship humain et celui des LLM constitue un changement structurel dans la séquence des scores de détection.

1. Statistiques de détection : Le cadre utilise les scores de détection $\phi(X_t)$ pour chaque phrase $X_t$. Il peut s'agir de statistiques zero-shot (par exemple, FastDetectGPT basé sur les probabilités de prédiction du prochain token) ou de classificateurs basés sur l'apprentissage automatique. L'intuition est que les textes générés par des LLM produisent des scores plus élevés que les textes humains.
2. Adaptation standard (VCP) : Les auteurs adaptent d'abord l'algorithme standard « Narrowest-Over-Threshold » (NOT) en utilisant la statistique de somme cumulative (CUSUM) sur la séquence des scores de phrases. Cependant, ils identifient une limitation : le CUSUM standard traite toutes les observations de manière uniforme, ignorant que la fiabilité de la détection varie avec la longueur de la phrase et la variance inhérente. Les phrases plus courtes produisent souvent des scores plus bruyants, rendant la détection des points de rupture à proximité plus difficile.
3. Algorithme pondéré (WCP) : Pour répondre à l'hétérogénéité, les auteurs introduisent un algorithme de Point de rupture pondéré (WCP). Cette méthode attribue des poids $w_i$ à chaque score de phrase, généralement inversement proportionnels à la variance du score (ou approximés par la longueur de la phrase). La statistique CUSUM pondérée amplifie la contribution des observations à haute confiance (faible variance), conduisant à une localisation plus précise.
4. Algorithme généralisé (GCP) : Une troisième approche, le Point de rupture généralisé (GCP), calcule les scores de détection sur des segments concaténés plutôt que sur des phrases individuelles avant d'appliquer la statistique CUSUM. Théoriquement, sous des conditions spécifiques (par exemple, lorsque $\phi$ est une statistique zero-shot ou basée sur la distance de réécriture), le GCP est démontré comme étant équivalent au WCP.
5. Procédure de localisation : Après avoir estimé les points de rupture $\{\hat{\tau}_k\}$, le texte est partitionné en segments. Un algorithme de clustering (par exemple, k-moyennes avec $k=2$) est appliqué aux scores au niveau des segments pour classer chaque segment comme étant rédigé par un humain ou par un LLM, en se basant sur les moyennes des clusters.

Contributions théoriques
L'article fournit des garanties théoriques rigoureuses à échantillon fini :

• Bornes d'erreur : Les auteurs dérivent des bornes d'erreur non asymptotiques pour le VCP et le WCP. Ils prouvent que l'erreur de localisation du VCP est régie par la variance maximale des scores de phrases, tandis que l'erreur du WCP dépend de la moyenne harmonique des variances. Cela démontre formellement que le WCP surpasse le VCP, en particulier lorsque les variances sont hétérogènes.
• Optimalité minimax : Une borne inférieure minimax pour l'erreur d'estimation du point de rupture est établie. Les auteurs montrent que la borne supérieure atteinte par le WCP correspond à cette borne inférieure, établissant ainsi l'optimalité minimax. De plus, ils prouvent l'équivalence du WCP et du GCP dans des conditions appropriées, étendant cette garantie d'optimalité à l'approche généralisée.

Résultats empiriques
Les méthodes proposées ont été évaluées sur divers jeux de données (WikiQA, Actualités, Histoire) et générateurs de LLM (GPT-5-mini, Claude 4.5).

• Lignes de base : Les comparaisons incluaient des prédicteurs au niveau de la phrase, le vote majoritaire, l'interrogation directe des LLM, TextTiling et des détecteurs de LLM partiels (PaLD).
• Performance : Le WCP a systématiquement surpassé toutes les lignes de base. Dans des scénarios à point de rupture unique, le WCP a réduit les erreurs de segmentation (mesurées par WindowDiff) jusqu'à 50 % par rapport à des lignes de base solides.
• Robustesse : La méthode a démontré sa robustesse dans des configurations à multiples points de rupture (jusqu'à 8 transitions), face à des attaques adverses (décohérence et paraphrase) et à des proportions variables de contenu généré par LLM.
• Application réelle : Sur le jeu de données CoAuthor (un corpus réel de co-écriture humain-IA avec trois classes : humain, collaboratif, LLM), le WCP a obtenu les scores WindowDiff les plus bas, surpassant les modèles supervisés comme SegFormer dans la localisation des frontières, malgré le fait que SegFormer présente une erreur de comptage plus faible.

Signification et affirmations
L'article prétend combler le fossé entre l'analyse classique des séries temporelles et la détection moderne des LLM. Sa signification principale réside dans :

1. Innovation conceptuelle : Identifier le lien structurel entre la segmentation de texte et la détection de points de rupture, offrant une nouvelle perspective théorique pour le problème.
2. Avancement algorithmique : Développer des algorithmes pondérés et généralisés qui gèrent explicitement l'hétérogénéité des scores de détection, un facteur souvent négligé dans les travaux antérieurs sur la localisation.
3. Rigueur théorique : Établir les premiers résultats d'optimalité minimax pour ce problème spécifique de segmentation, caractérisant la difficulté intrinsèque en termes de rapports signal-sur-bruit et de variances hétérogènes.
4. Efficacité pratique : Démontrer que l'exploitation des structures de points de rupture améliore considérablement la précision de la localisation des frontières humain-LLM par rapport à la classification naïve au niveau de la phrase ou aux heuristiques existantes.

Les auteurs adoptent une position modeste, notant que si leur cadre est général, les gains de performance spécifiques sont liés à la qualité des scores de détection au niveau de la phrase sous-jacents et à la validité des hypothèses de points de rupture dans des scénarios réels de co-rédaction.