Segmenting Human-LLM Co-authored Text via Change Point Detection

기술 요약: 변화점 탐지를 통한 인간-LLM 공동 작성 텍스트 분할

문제 제기
대규모 언어 모델 (LLM) 의 급증으로 인해 인간이 작성한 텍스트와 기계 생성 콘텐츠를 구별할 수 있는 견고한 방법이 필요해졌습니다. 기존 연구는 대부분 전체 문단을 이진 분류 문제로 다루지만, 인간과 LLM 의 기여가 혼재된 '하이브리드' 또는 공동 작성 문서의 경우 이러한 접근 방식은 불충분합니다. 실제 시나리오—예를 들어 사용자가 방법론을 초안하고 LLM 이 설명 텍스트를 생성하는 기술 보고서나 창의적 글쓰기 협업—에서는 전역 분류가 아닌 국소화(localization): 인간과 LLM 이 작성한 특정 세그먼트를 식별하는 것으로 목표가 이동합니다. 현재 문장 수준의 탐지기들은 문장 간의 구조적 의존성을 고려하지 못하며, 이질적인 탐지 점수 변동성 (예: 문장 길이에 따라 점수가 크게 달라짐) 으로 인해 분할 작업에 단순 적용될 때 최적의 성능을 내지 못합니다.

방법론
저자들은 텍스트 분할 문제를 시계열 분석 내의 변화점 탐지 문제로 재정의하는 프레임워크를 제안합니다. 핵심 관찰은 인간과 LLM 작성자 간의 전환이 탐지 점수 시퀀스 내 구조적 변화를 구성한다는 것입니다.

1. 탐지 통계량: 이 프레임워크는 각 문장 $X_t$에 대한 탐지 점수 $\phi(X_t)$를 활용합니다. 이는 차세대 토큰 예측 확률에 기반한 FastDetectGPT 와 같은 제로샷 통계량 또는 머신러닝 기반 분류기가 될 수 있습니다. 직관적으로 LLM 생성 텍스트는 인간 텍스트보다 높은 점수를 산출합니다.
2. 기본 적응 (VCP): 저자들은 먼저 문장 점수 시퀀스에 누적합 (CUSUM) 통계량을 사용하여 표준 Narrowest-Over-Threshold (NOT) 알고리즘을 적응시킵니다. 그러나 그들은 한계를 파악합니다. 표준 CUSUM 은 모든 관측치를 균일하게 취급하여 탐지 신뢰도가 문장 길이와 고유 변동성에 따라 달라진다는 점을 무시합니다. 짧은 문장은 종종 노이즈가 많은 점수를 산출하여 그 근처의 변화점 탐지를 어렵게 만듭니다.
3. 가중 알고리즘 (WCP): 이질성을 해결하기 위해 저자들은 가중 변화점 (WCP) 알고리즘을 도입합니다. 이 방법은 각 문장 점수에 가중치 $w_i$를 부여하는데, 일반적으로 점수의 분산 (또는 문장 길이로 근사됨) 에 반비례합니다. 가중 CUSUM 통계량은 고신뢰도 (저분산) 관측치의 기여를 증폭시켜 더 정확한 국소화를 이끕니다.
4. 일반화 알고리즘 (GCP): 세 번째 접근법인 일반화 변화점 (GCP) 은 CUSUM 통계량을 적용하기 전에 개별 문장이 아닌 연결된 세그먼트에 대해 탐지 점수를 계산합니다. 이론적으로 특정 조건 (예: $\phi$가 제로샷 통계량이거나 재작성 거리에 기반할 때) 하에서 GCP 는 WCP 와 동등함이 입증됩니다.
5. 국소화 절차: 변화점 $\{\hat{\tau}_k\}$을 추정한 후 텍스트를 세그먼트로 분할합니다. 세그먼트 수준 점수에 클러스터링 알고리즘 (예: $k=2$인 $k$-means) 을 적용하여 각 세그먼트를 클러스터 평균을 기반으로 인간 또는 LLM 작성으로 분류합니다.

이론적 기여
이 논문은 엄격한 유한 표본 이론적 보장을 제공합니다:

• 오차 한계: 저자들은 VCP 와 WCP 에 대한 비점근적 오차 한계를 유도합니다. VCP 의 국소화 오차는 문장 점수의 최대 분산에 의해 지배되는 반면, WCP 의 오차는 분산의 조화 평균에 의존함을 증명합니다. 이는 이질적인 분산이 존재할 때 WCP 가 VCP 를 능가함을 공식적으로 보여줍니다.
• 최소최대 최적성: 변화점 추정 오차에 대한 최소최대 하한이 확립됩니다. 저자들은 WCP 가 달성한 상한이 이 하한과 일치함을 보여 최소최대 최적성을 입증합니다. 또한 적절한 조건 하에서 WCP 와 GCP 의 동등성을 증명하여 이 최적성 보장을 일반화 접근법으로 확장합니다.

실증 결과
제안된 방법은 다양한 데이터셋 (WikiQA, News, Story) 과 LLM 생성기 (GPT-5-mini, Claude 4.5) 에서 평가되었습니다.

• 베이스라인: 문장 수준 예측기, 다수결 투표, 직접 LLM 프롬프팅, TextTiling, 부분 LLM 탐지기 (PaLD) 와의 비교가 포함되었습니다.
• 성능: WCP 는 모든 베이스라인을 일관되게 능가했습니다. 단일 변화점 시나리오에서 WCP 는 강력한 베이스라인 대비 WindowDiff 로 측정된 분할 오류를 최대 50% 감소시켰습니다.
• 강건성: 이 방법은 다중 변화점 설정 (최대 8 회 전환), 적대적 공격 (불연속성 및 문장 재구성), 그리고 LLM 콘텐츠 비율 변화에서 강건성을 입증했습니다.
• 실제 적용: CoAuthor 데이터셋 (인간, 협업, LLM 의 세 클래스를 가진 실제 인간-AI 공동 작성 코퍼스) 에서 WCP 는 경계 국소화 측면에서 SegFormer 와 같은 지도 학습 모델을 능가하는 가장 낮은 WindowDiff 점수를 달성했습니다. (SegFormer 는 더 낮은 개수 오류를 보였음에도 불구하고)

의의 및 주장
이 논문은 고전적 시계열 분석과 현대적 LLM 탐지 간의 간극을 해소한다고 주장합니다. 그 주요 의의는 다음과 같습니다:

1. 개념적 혁신: 텍스트 분할과 변화점 탐지 간의 구조적 연결을 식별하여 이 문제에 대한 새로운 이론적 렌즈를 제공합니다.
2. 알고리즘적 발전: 탐지 점수의 이질성을 명시적으로 처리하는 가중 및 일반화 알고리즘을 개발하여, 이전 국소화 작업에서 종종 간과되었던 요소를 다룹니다.
3. 이론적 엄밀성: 이 특정 분할 문제에 대한 최초의 최소최대 최적성 결과를 확립하여, 신호 대 잡음비와 이질적 분산의 관점에서 본질적 어려움을 규명합니다.
4. 실용적 효능: 변화점 구조를 활용하는 것이 단순한 문장 수준 분류나 기존 휴리스틱에 비해 인간-LLM 경계 국소화의 정확성을 크게 향상시킨다는 것을 입증합니다.

저자들은 겸손한 입장을 견지하며, 프레임워크가 일반적이지만 구체적인 성능 향상은 근본적인 문장 수준 탐지 점수의 품질과 실제 공동 작성 시나리오에서 변화점 가정의 유효성에 달려 있다고 지적합니다.