Segmenting Human-LLM Co-authored Text via Change Point Detection

Technische Samenvatting: Segmenteren van door Mensen en LLM's Gezamenlijk Geschreven Tekst via Detectie van Veranderingspunten

Probleemstelling
De proliferatie van Large Language Models (LLM's) heeft robuuste methoden vereist om door mensen geschreven tekst te onderscheiden van machinegegenereerde inhoud. Hoewel bestaand onderzoek dit voornamelijk aanpakt als een binaire classificatieprobleem voor volledige passages, zijn dergelijke benaderingen ontoereikend voor "hybride" of gezamenlijk geschreven documenten waar menselijke en LLM-bijdragen met elkaar vermengd zijn. In praktische scenario's—zoals technische rapporten waarbij gebruikers methodologieën opstellen terwijl LLM's beschrijvende tekst genereren, of samenwerkingen in creatief schrijven—verschuift het doel van globale classificatie naar lokalisatie: het identificeren van specifieke segmenten die door mensen versus LLM's zijn geschreven. Huidige detectors op zinsniveau houden vaak geen rekening met de structurele afhankelijkheden tussen zinnen en lijden aan suboptimale prestaties wanneer ze naïef worden toegepast op segmentatietaken, vanwege heterogene variabiliteit in detectiescores (bijvoorbeeld, scores variëren aanzienlijk op basis van zinslengte).

Methodologie
De auteurs stellen een raamwerk voor dat het probleem van tekstsegmentatie herformuleert als een taak voor detectie van veranderingspunten binnen tijdreeksanalyse. De kernobservatie is dat de overgang tussen menselijke en LLM-auteurship een structurele verandering vormt in de reeks detectiescores.

1. Detectiestatistieken: Het raamwerk maakt gebruik van detectiescores $\phi(X_t)$ voor elke zin $X_t$. Dit kunnen zero-shot statistieken zijn (bijvoorbeeld FastDetectGPT gebaseerd op waarschijnlijkheden voor de volgende token) of ML-gebaseerde classifiers. De intuïtie is dat door LLM's gegenereerde tekst hogere scores oplevert dan menselijke tekst.
2. Standaard Aanpassing (VCP): De auteurs passen eerst het standaard Narrowest-Over-Threshold (NOT) algoritme toe met behulp van de Cumulative Sum (CUSUM) statistiek op de reeks zinscores. Ze identificeren echter een beperking: standaard CUSUM behandelt alle waarnemingen uniform, en negeert dat de betrouwbaarheid van detectie varieert met zinslengte en inherente variantie. Kortere zinnen leveren vaak ruiserige scores op, waardoor veranderingspunten in hun buurt moeilijker te detecteren zijn.
3. Gewogen Algoritme (WCP): Om heterogeniteit aan te pakken, introduceren de auteurs een Weighted Change Point (WCP) algoritme. Deze methode wijst gewichten $w_i$ toe aan elke zinscore, doorgaans omgekeerd evenredig met de variantie van de score (of benaderd door zinslengte). De gewogen CUSUM-statistiek versterkt de bijdrage van waarnemingen met hoge betrouwbaarheid (lage variantie), wat leidt tot nauwkeurigere lokalisatie.
4. Generaliseerd Algoritme (GCP): Een derde aanpak, Generalized Change Point (GCP), berekent detectiescores op samengevoegde segmenten in plaats van individuele zinnen voordat de CUSUM-statistiek wordt toegepast. Theoretisch wordt onder specifieke voorwaarden (bijvoorbeeld wanneer $\phi$ een zero-shot statistiek is of gebaseerd op herschrijfafstand) aangetoond dat GCP equivalent is aan WCP.
5. Lokalisatieprocedure: Na het schatten van veranderingspunten $\{\hat{\tau}_k\}$ wordt de tekst opgedeeld in segmenten. Een clustering-algoritme (bijvoorbeeld $k$-means met $k=2$) wordt toegepast op de scores op segmentniveau om elk segment te classificeren als door een mens of door een LLM geschreven, gebaseerd op de clustergemiddelden.

Theoretische Bijdragen
Het artikel biedt rigoureuze theoretische garanties voor eindige steekproeven:

• Foutgrenzen: De auteurs leiden niet-asymptotische foutgrenzen af voor zowel VCP als WCP. Ze bewijzen dat de lokalisatiefout van VCP wordt bepaald door de maximale variantie van de zinscores, terwijl de fout van WCP afhankelijk is van het harmonisch gemiddelde van de varianties. Dit toont formeel aan dat WCP beter presteert dan VCP, met name wanneer varianties heterogeen zijn.
• Minimax-Optimaliteit: Een minimax ondergrens voor de fout in schatting van veranderingspunten wordt vastgesteld. De auteurs tonen aan dat de bovengrens die door WCP wordt bereikt, overeenkomt met deze ondergrens, waardoor minimax-optimaliteit wordt vastgesteld. Bovendien bewijzen ze de equivalentie van WCP en GCP onder geschikte voorwaarden, waardoor deze optimaliteitsgarantie wordt uitgebreid tot de generaliseerde aanpak.

Empirische Resultaten
De voorgestelde methoden werden geëvalueerd over diverse datasets (WikiQA, News, Story) en LLM-generatoren (GPT-5-mini, Claude 4.5).

• Baselines: Vergelijkingen omvatten voorspellers op zinsniveau, meerderheidsstemming, directe LLM-prompting, TextTiling en partiële LLM-detectoren (PaLD).
• Prestaties: WCP presteerde consequent beter dan alle baselines. In scenario's met één veranderingspunt verminderde WCP segmentatiefouten (gemeten via WindowDiff) met tot 50% in vergelijking met sterke baselines.
• Robuustheid: De methode toonde robuustheid in scenario's met meerdere veranderingspunten (tot 8 overgangen), bij adversariale aanvallen (decoherentie en parafraseren) en bij variërende proporties van LLM-inhoud.
• Toepassing in de Wereld: Op de CoAuthor-dataset (een corpus van mens-AI-gemeenschappelijk schrijven uit de echte wereld met drie klassen: mens, collaboratief, LLM) behaalde WCP de laagste WindowDiff-scores en presteerde het beter dan gesuperviseerde modellen zoals SegFormer bij de lokalisatie van grenzen, ondanks dat SegFormer een lagere telfout had.

Betekenis en Claims
Het artikel claimt de kloof te overbruggen tussen klassieke tijdreeksanalyse en moderne LLM-detectie. De primaire betekenis ligt in:

1. Conceptuele Innovatie: Het identificeren van de structurele verbinding tussen tekstsegmentatie en detectie van veranderingspunten, wat een nieuw theoretisch perspectief biedt voor het probleem.
2. Algoritmische Vooruitgang: Het ontwikkelen van gewogen en generaliseerde algoritmen die expliciet omgaan met de heterogeniteit van detectiescores, een factor die in eerdere lokalisatiewerk vaak over het hoofd werd gezien.
3. Theoretische Strenge: Het vaststellen van de eerste minimax-optimaliteitsresultaten voor dit specifieke segmentatieprobleem, waarbij de intrinsieke moeilijkheid wordt gekarakteriseerd in termen van signaal-ruisverhoudingen en heterogene varianties.
4. Praktische Effectiviteit: Het aantonen dat het benutten van structuren van veranderingspunten de nauwkeurigheid van het lokaliseren van mens-LLM-grenzen aanzienlijk verbetert in vergelijking met naïeve classificatie op zinsniveau of bestaande heuristieken.

De auteurs houden een bescheiden standpunt, waarbij ze opmerken dat hoewel hun raamwerk algemeen is, de specifieke prestatiewinsten gekoppeld zijn aan de kwaliteit van de onderliggende detectiescores op zinsniveau en de geldigheid van de aannames over veranderingspunten in scenario's voor gezamenlijk schrijven uit de echte wereld.