Segmenting Human-LLM Co-authored Text via Change Point Detection

Resumen Técnico: Segmentación de Textos Coescritos por Humanos y LLM mediante Detección de Puntos de Cambio

Enunciado del Problema
La proliferación de los Modelos de Lenguaje de Gran Escala (LLM) ha hecho necesarias métodos robustos para distinguir el texto escrito por humanos del contenido generado por máquinas. Si bien la investigación existente aborda predominantemente esto como un problema de clasificación binaria para pasajes completos, tales enfoques son insuficientes para documentos "híbridos" o coescritos donde las contribuciones humanas y de LLM están intercaladas. En escenarios prácticos —como informes técnicos donde los usuarios redactan metodologías mientras los LLM generan texto descriptivo, o colaboraciones en escritura creativa—, el objetivo se desplaza de la clasificación global a la localización: identificar segmentos específicos autorizados por humanos frente a los autorizados por LLM. Los detectores a nivel de oración actuales a menudo no tienen en cuenta las dependencias estructurales entre oraciones y sufren un rendimiento subóptimo cuando se aplican ingenuamente a tareas de segmentación debido a la variabilidad heterogénea de las puntuaciones de detección (por ejemplo, las puntuaciones varían significativamente según la longitud de la oración).

Metodología
Los autores proponen un marco que reformula el problema de segmentación de texto como una tarea de detección de puntos de cambio dentro del análisis de series temporales. La observación central es que la transición entre la autoría humana y la de LLM constituye un cambio estructural en la secuencia de puntuaciones de detección.

1. Estadísticas de Detección: El marco utiliza puntuaciones de detección $\phi(X_t)$ para cada oración $X_t$. Estas pueden ser estadísticas de cero disparos (por ejemplo, FastDetectGPT basado en probabilidades de predicción del siguiente token) o clasificadores basados en aprendizaje automático. La intuición es que el texto generado por LLM produce puntuaciones más altas que el texto humano.
2. Adaptación Básica (VCP): Los autores adaptan primero el algoritmo estándar Narrowest-Over-Threshold (NOT) utilizando la estadística de Suma Acumulada (CUSUM) sobre la secuencia de puntuaciones de oración. Sin embargo, identifican una limitación: el CUSUM estándar trata todas las observaciones de manera uniforme, ignorando que la fiabilidad de la detección varía con la longitud de la oración y la varianza inherente. Las oraciones más cortas a menudo producen puntuaciones más ruidosas, lo que dificulta la detección de puntos de cambio cercanos a ellas.
3. Algoritmo Ponderado (WCP): Para abordar la heterogeneidad, los autores introducen un algoritmo de Punto de Cambio Ponderado (WCP). Este método asigna pesos $w_i$ a cada puntuación de oración, típicamente inversamente proporcionales a la varianza de la puntuación (o aproximada por la longitud de la oración). La estadística CUSUM ponderada amplifica la contribución de observaciones de alta confianza (baja varianza), lo que conduce a una localización más precisa.
4. Algoritmo Generalizado (GCP): Un tercer enfoque, Punto de Cambio Generalizado (GCP), calcula puntuaciones de detección sobre segmentos concatenados en lugar de oraciones individuales antes de aplicar la estadística CUSUM. Teóricamente, bajo condiciones específicas (por ejemplo, cuando $\phi$ es una estadística de cero disparos o basada en distancia de reescritura), se demuestra que GCP es equivalente a WCP.
5. Procedimiento de Localización: Después de estimar los puntos de cambio $\{\hat{\tau}_k\}$, el texto se divide en segmentos. Se aplica un algoritmo de agrupamiento (por ejemplo, $k$-medias con $k=2$) a las puntuaciones a nivel de segmento para clasificar cada segmento como de autoría humana o de LLM basándose en las medias de los grupos.

Contribuciones Teóricas
El artículo proporciona garantías teóricas rigurosas de muestra finita:

• Límites de Error: Los autores derivan límites de error no asintóticos tanto para VCP como para WCP. Demuestran que el error de localización de VCP está gobernado por la varianza máxima de las puntuaciones de oración, mientras que el error de WCP depende de la media armónica de las varianzas. Esto demuestra formalmente que WCP supera a VCP, particularmente cuando las varianzas son heterogéneas.
• Optimalidad Minimax: Se establece un límite inferior minimax para el error de estimación del punto de cambio. Los autores muestran que el límite superior alcanzado por WCP coincide con este límite inferior, estableciendo la optimalidad minimax. Además, demuestran la equivalencia de WCP y GCP bajo condiciones apropiadas, extendiendo esta garantía de optimalidad al enfoque generalizado.

Resultados Empíricos
Los métodos propuestos fueron evaluados en diversos conjuntos de datos (WikiQA, Noticias, Historia) y generadores de LLM (GPT-5-mini, Claude 4.5).

• Líneas Base: Las comparaciones incluyeron predictores a nivel de oración, votación mayoritaria, indicación directa de LLM, TextTiling y detectores parciales de LLM (PaLD).
• Rendimiento: WCP superó consistentemente a todas las líneas base. En escenarios de un solo punto de cambio, WCP redujo los errores de segmentación (medidos por WindowDiff) hasta en un 50% en comparación con líneas base sólidas.
• Robustez: El método demostró robustez en configuraciones de múltiples puntos de cambio (hasta 8 transiciones), ataques adversarios (incoherencia y parafraseo) y proporciones variables de contenido de LLM.
• Aplicación en el Mundo Real: En el conjunto de datos CoAuthor (un corpus real de coescritura humano-IA con tres clases: humano, colaborativo, LLM), WCP logró las puntuaciones WindowDiff más bajas, superando a modelos supervisados como SegFormer en la localización de límites, a pesar de que SegFormer tuvo un menor error de conteo.

Significado y Afirmaciones
El artículo afirma cerrar la brecha entre el análisis clásico de series temporales y la detección moderna de LLM. Su principal significado radica en:

1. Innovación Conceptual: Identificar la conexión estructural entre la segmentación de texto y la detección de puntos de cambio, proporcionando una nueva lente teórica para el problema.
2. Avance Algorítmico: Desarrollar algoritmos ponderados y generalizados que manejan explícitamente la heterogeneidad de las puntuaciones de detección, un factor a menudo pasado por alto en trabajos previos de localización.
3. Rigor Teórico: Establecer los primeros resultados de optimalidad minimax para este problema específico de segmentación, caracterizando la dificultad intrínseca en términos de relaciones señal-ruido y varianzas heterogéneas.
4. Eficacia Práctica: Demostrar que aprovechar las estructuras de puntos de cambio mejora significativamente la precisión de la localización de fronteras humano-LLM en comparación con la clasificación a nivel de oración ingenua o heurísticas existentes.

Los autores mantienen una postura modesta, señalando que, aunque su marco es general, las ganancias específicas de rendimiento están vinculadas a la calidad de las puntuaciones de detección a nivel de oración subyacentes y a la validez de las suposiciones de puntos de cambio en escenarios reales de coautoría.