Segmenting Human-LLM Co-authored Text via Change Point Detection

Resumo Técnico: Segmentação de Textos Co-escritos por Humanos e LLMs via Detecção de Pontos de Mudança

Declaração do Problema
A proliferação de Modelos de Linguagem de Grande Escala (LLMs) tornou necessárias métodos robustos para distinguir textos escritos por humanos de conteúdo gerado por máquinas. Embora a pesquisa existente aborde predominantemente isso como um problema de classificação binária para passagens inteiras, tais abordagens são insuficientes para documentos "híbridos" ou co-escritos, onde contribuições humanas e de LLMs estão intercaladas. Em cenários práticos — como relatórios técnicos onde usuários redigem metodologias enquanto LLMs geram texto descritivo, ou colaborações em escrita criativa — o objetivo desloca-se da classificação global para a localização: identificar segmentos específicos autorizados por humanos versus LLMs. Detectores ao nível de frase frequentemente falham em contabilizar as dependências estruturais entre frases e sofrem de desempenho subótimo quando aplicados ingenuamente a tarefas de segmentação devido à variabilidade heterogênea das pontuações de detecção (por exemplo, as pontuações variam significativamente com base no comprimento da frase).

Metodologia
Os autores propõem um quadro que reformula o problema de segmentação de texto como uma tarefa de detecção de pontos de mudança dentro da análise de séries temporais. A observação central é que a transição entre autoria humana e de LLM constitui uma mudança estrutural na sequência de pontuações de detecção.

1. Estatísticas de Detecção: O quadro utiliza pontuações de detecção $\phi(X_t)$ para cada frase $X_t$. Estas podem ser estatísticas zero-shot (por exemplo, FastDetectGPT baseado em probabilidades de previsão do próximo token) ou classificadores baseados em ML. A intuição é que o texto gerado por LLMs produz pontuações mais altas do que o texto humano.
2. Adaptação Vanilla (VCP): Os autores primeiro adaptam o algoritmo padrão Narrowest-Over-Threshold (NOT) utilizando a estatística Soma Cumulativa (CUSUM) na sequência de pontuações de frases. No entanto, identificam uma limitação: o CUSUM padrão trata todas as observações uniformemente, ignorando que a confiabilidade da detecção varia com o comprimento da frase e a variância inerente. Frases mais curtas frequentemente produzem pontuações mais ruidosas, tornando os pontos de mudança próximos a elas mais difíceis de detectar.
3. Algoritmo Ponderado (WCP): Para abordar a heterogeneidade, os autores introduzem um algoritmo de Ponto de Mudança Ponderado (WCP). Este método atribui pesos $w_i$ a cada pontuação de frase, tipicamente inversamente proporcionais à variância da pontuação (ou aproximados pelo comprimento da frase). A estatística CUSUM ponderada amplifica a contribuição de observações de alta confiança (baixa variância), levando a uma localização mais precisa.
4. Algoritmo Generalizado (GCP): Uma terceira abordagem, Ponto de Mudança Generalizado (GCP), calcula pontuações de detecção em segmentos concatenados em vez de frases individuais antes de aplicar a estatística CUSUM. Teoricamente, sob condições específicas (por exemplo, quando $\phi$ é uma estatística zero-shot ou baseada em distância de reescrita), o GCP é mostrado como equivalente ao WCP.
5. Procedimento de Localização: Após estimar os pontos de mudança $\{\hat{\tau}_k\}$, o texto é partitionado em segmentos. Um algoritmo de agrupamento (por exemplo, $k$-means com $k=2$) é aplicado às pontuações ao nível de segmento para classificar cada segmento como autorizado por humanos ou por LLMs com base nas médias dos clusters.

Contribuições Teóricas
O artigo fornece garantias teóricas rigorosas de amostra finita:

• Limites de Erro: Os autores derivam limites de erro não assintóticos para VCP e WCP. Eles provam que o erro de localização do VCP é governado pela variância máxima das pontuações de frase, enquanto o erro do WCP depende da média harmônica das variâncias. Isso demonstra formalmente que o WCP supera o VCP, particularmente quando as variâncias são heterogêneas.
• Optimalidade Minimax: Um limite inferior minimax para o erro de estimação de pontos de mudança é estabelecido. Os autores mostram que o limite superior alcançado pelo WCP corresponde a este limite inferior, estabelecendo optimalidade minimax. Além disso, eles provam a equivalência entre WCP e GCP sob condições apropriadas, estendendo esta garantia de optimalidade à abordagem generalizada.

Resultados Empíricos
Os métodos propostos foram avaliados em diversos conjuntos de dados (WikiQA, News, Story) e geradores de LLM (GPT-5-mini, Claude 4.5).

• Baselines: As comparações incluíram preditores ao nível de frase, votação majoritária, promptagem direta de LLM, TextTiling e detectores parciais de LLM (PaLD).
• Desempenho: O WCP superou consistentemente todas as baselines. Em cenários de ponto de mudança único, o WCP reduziu os erros de segmentação (medidos por WindowDiff) em até 50% em comparação com baselines fortes.
• Robustez: O método demonstrou robustez em configurações de múltiplos pontos de mudança (até 8 transições), ataques adversariais (descoerência e paráfrase) e proporções variáveis de conteúdo de LLM.
• Aplicação no Mundo Real: No conjunto de dados CoAuthor (um corpus real de co-escrita humano-AI com três classes: humano, colaborativo, LLM), o WCP alcançou as menores pontuações WindowDiff, superando modelos supervisionados como o SegFormer na localização de fronteiras, apesar de o SegFormer ter um erro de contagem menor.

Significado e Alegações
O artigo afirma preencher a lacuna entre a análise clássica de séries temporais e a detecção moderna de LLMs. Seu significado principal reside em:

1. Inovação Conceitual: Identificar a conexão estrutural entre segmentação de texto e detecção de pontos de mudança, fornecendo uma nova lente teórica para o problema.
2. Avanço Algorítmico: Desenvolver algoritmos ponderados e generalizados que lidam explicitamente com a heterogeneidade das pontuações de detecção, um fator frequentemente negligenciado em trabalhos anteriores de localização.
3. Rigor Teórico: Estabelecer os primeiros resultados de optimalidade minimax para este problema específico de segmentação, caracterizando a dificuldade intrínseca em termos de razões sinal-ruído e variâncias heterogêneas.
4. Eficácia Prática: Demonstrar que alavancar estruturas de pontos de mudança melhora significativamente a precisão da localização de fronteiras humano-LLM em comparação com classificação ingênua ao nível de frase ou heurísticas existentes.

Os autores mantêm uma postura modesta, observando que, embora seu quadro seja geral, os ganhos específicos de desempenho estão ligados à qualidade das pontuações de detecção ao nível de frase subjacentes e à validade das suposições de pontos de mudança em cenários reais de co-autoria.