1. 문제 정의 (Problem)

배경:
기존의 사후 (Post-hoc) 무단 훈련 데이터 탐지 방법은 LLM 이 훈련 데이터 (멤버십) 를 기억하는 성질 (Memorization) 을 이용합니다. 즉, 모델이 훈련한 데이터에 대해 더 낮은 손실 (Loss) 이나 더 높은 확신을 보이는지 확인하여 무단 사용을 탐지합니다.

데이터 세탁 (Data Laundering) 의 위협:

• 정의: 데이터 소유권자가 원본 데이터를 직접 사용하지 않고, 의미는 유지하되 스타일, 구조, 어조 등을 변형 (예: 위키백과 기사를 동화나 시로 변환) 한 '대리 데이터 (Surrogate Data)'로 훈련하는 행위입니다.
• 영향: 모델이 원본 데이터를 직접 보지 않았기 때문에, 원본 데이터로 질문을 할 때 기존 탐지 방법들은 무작위 추측 수준 (Random Chance) 의 성능만 보입니다. 이는 모델 제공자가 저작권이 있는 데이터를 무단으로 사용했음에도 이를 은폐할 수 있게 만듭니다.
• 난제: 데이터 소유권자는 블랙박스 (Black-box) 접근만 가능하므로, 어떤 변형 ( Laundering Transformation) 이 사용되었는지 알 수 없습니다. 가능한 변형의 공간이 무한하므로, brute-force 방식으로 변형을 찾는 것은 불가능합니다.

2. 방법론 (Methodology)

연구진은 구체적인 변형된 샘플을 찾는 대신, 변형 과정 (Transformation Process) 자체를 역추적하여 탐지 신호를 복원하는 SDR (Synthesis Data Reversion) 을 제안합니다. 이는 두 단계로 구성된 검색 전략입니다.

핵심 아이디어: 목표 - 상세 (Goal-Details) 추상화

무한한 변형 공간을 탐색하기 위해, 변형 프롬프트를 두 수준으로 구조화합니다.

1. Goal (목표): 언어의 주요 레지스터 (Register) 변경 (예: "시를 쓰다", "뉴스 보도체로 쓰다"). 23 가지의 사전 정의된 언어 레지스터 (Myntti et al., 2025) 를 기반으로 탐색 공간을 제한합니다.
2. Details (상세): 구체적인 스타일 제약 조건 (예: "생생한 이미지 사용", "구체적인 데이터 포함").

SDR 파이프라인 (2 단계)

1 단계: 목표 식별 (Goal Identification)

• 목적: 23 가지 레지스터 중 어떤 것이 세탁의 주요 목표인지 파악합니다.
• 과정:
  1. 각 레지스터에 대한 표준 프롬프트를 생성합니다.
  2. 보조 LLM (Auxiliary LLM) 을 이용해 원본 데이터의 첫 문장을 해당 레지스터 스타일로 재작성합니다.
  3. 연속성 신뢰도 (Continuation Confidence): 재작성된 첫 문장을 타겟 LLM 에 입력하여 다음 토큰 생성 신뢰도를 측정합니다. (모델이 해당 스타일의 훈련 데이터를 기억하고 있다면 신뢰도가 높게 나옵니다.)
  4. 신뢰도가 높은 상위 5 개 레지스터를 후보로 선정하고, 최종적으로 무단 사용 탐지 성능을 기준으로 최적의 레지스터를 선택합니다.

2 단계: 상세 추론 (Details Inference)

• 목적: 선택된 레지스터 내에서 구체적인 스타일 세부 사항 (Details) 을 복원합니다.
• 과정:
  1. 초기 프롬프트 (선택된 레지스터) 로 데이터를 재작성합니다.
  2. 타겟 LLM 에게 재작성된 문장의 다음 부분을 생성하게 합니다.
  3. 보조 LLM 이 "재작성된 데이터"와 "타겟 LLM 이 생성한 다음 부분"의 차이를 분석하여, 어떤 세부 조건이 누락되었는지 추론합니다.
  4. 이 추론된 세부 사항을 프롬프트에 추가하고, 탐지 성능이 향상되는지 반복적으로 검증하며 프롬프트를 정제합니다.

최종적으로 얻어진 프롬프트를 사용하여 원본 데이터를 '훈련과 유사한 (Training-like)' 형태로 변환한 후, 기존 탐지 도구 (Loss, Min-K, Recall 등) 를 적용하여 탐지 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 세탁 인식 탐지 공식화: 블랙박스 LLM 환경에서 데이터 세탁이 발생한 경우를 탐지할 수 있는 새로운 문제 설정을 제시했습니다.
2. Goal-Details 추상화: 무한한 변형 공간을 탐색 가능한 유한한 공간으로 축소하는 구조화된 검색 전략을 제안했습니다.
3. SDR 프레임워크: 실제 적용 가능한 2 단계 검색 알고리즘을 개발하여, 데이터 세탁 하에서도 표준 탐지 방법의 효과를 복원했습니다.
4. 실용적 청사진: 데이터 권리 보유자가 블랙박스 모델에서 무단 훈련을 검증할 수 있는 실행 가능한 방법을 제시했습니다.

4. 실험 결과 (Results)

논문은 MIMIR 벤치마크 (Wikipedia, C4, HackerNews) 와 다양한 모델 (Pythia, Llama-2, Falcon) 을 대상으로 실험을 수행했습니다.

• 탐지 성능 향상: 다양한 내부 (Inside-register) 및 외부 (Outside-register) 세탁 시나리오에서 SDR 을 적용한 결과, 기존 탐지 방법들의 성능이 크게 향상되었습니다.
  • 예: Pythia-6.9B 모델에서 'Loss' 기반 탐지의 AUC 가 63.7% 에서 76.6% 로 상승했습니다.
  • TPR@5% (거짓 긍정 5% 기준 참 긍정률) 는 평균적으로 10% 이상 크게 개선되었습니다.
• 강건성 (Robustness):
  • 혼합 레지스터: 두 가지 이상의 스타일을 섞은 복잡한 세탁 (예: "스포츠 보도체로 쓴 블로그") 에 대해서도 효과적이었습니다.
  • 모델 아키텍처: Pythia, Falcon, Llama-2 등 다양한 아키텍처에서 일관된 성능 향상을 보였습니다.
  • 보조 모델 불일치: 데이터 제공자가 GPT-4o 로 세탁을 하고, 소유권자가 Claude 나 DeepSeek 을 보조 모델로 사용하더라도 효과가 유지되었습니다.
  • 인간/LLM 혼합: 인간이 직접 문장을 다듬는 경우 (Polite dataset) 에도 SDR 이 유효함을 입증했습니다.
• 부정적 통제 실험 (Negative Control): 실제 무단 사용이 없는 모델에 대해 SDR 을 적용했을 때, 거짓 탐지 (False Positive) 는 발생하지 않았습니다.
• Ablation Study: 1 단계 (목표 식별) 와 2 단계 (상세 추론) 모두 필수적이며, 두 단계를 모두 사용할 때 최적의 성능을 발휘함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 법적/윤리적 중요성: LLM 훈련 데이터의 투명성과 저작권 준수를 보장하는 데 필수적인 도구입니다. 모델 제공자가 데이터 변형을 통해 저작권 침해를 은폐하는 것을 막을 수 있습니다.
• 기술적 진보: 기존 탐지 방법의 한계 (원본 데이터 기반) 를 극복하고, 모델의 '기억'이 부착된 변형된 데이터 형태를 역추적하는 새로운 패러다임을 제시했습니다.
• 미래 방향: 현재 23 가지 레지스터 분류 체계가 다소 거칠 수 있으므로, 더 세분화된 태크소노미 개발과 다양한 실제 시나리오에 대한 적용이 필요함을 지적했습니다.

결론적으로, 이 연구는 데이터 세탁이라는 새로운 위협에 대응하여 LLM 의 훈련 데이터 출처를 검증할 수 있는 강력한 방어 기제를 제시했다는 점에서 큰 의의를 가집니다.