기술 요약: 인필링을 통한 확산 언어 모델의 학습 데이터 추출

문제 제기

자기회귀 언어 모델 (ARM) 에서의 학습 데이터 암기는 접두어 조건부 추출(적대자가 접두어를 제공하고 모델이 접미어를 생성) 을 통해 광범위하게 연구되어 왔으나, 이 접근법은 **확산 언어 모델 (DLM)**의 전체 위험 프로파일을 포착하지 못합니다. DLM 은 반복적 탈노이즈를 통해 작동하며 양방향 유도 편향을 가지고 있어, 주변 문맥을 기반으로 임의의 위치에서 토큰을 재구성할 수 있습니다. ARM 연구에서 계승된 접두어 조건부 프로빙에만 의존하는 것은 DLM 에서의 학습 데이터 추출 위험을 현저히 과소평가합니다. 이는 모델이 앞뒤 문맥을 모두 활용하여 마스킹된 토큰을 "채워 넣을" 수 있는 능력을 무시하기 때문입니다.

방법론

저자들은 임의의 이진 마스크 $m$으로 매개변수화된 일반화된 데이터 추출 프로토콜인 **인필링 추출 (Infilling Extraction)**을 도입합니다. 이 프로토콜에서는 학습 시퀀스가 부분적으로 마스킹되고, DLM 은 마스킹되지 않은 문맥을 기반으로 마스킹된 토큰을 재구성하도록 요구받습니다. 재구성이 원래 마스킹된 텍스트와 일치할 경우 시퀀스는 "추출된" 것으로 간주됩니다.

실험 설정

본 연구는 두 개의 대규모 DLM(LLaDA-8B 및 Dream-7B) 에서 이 프로토콜을 평가하고, 규모가 일치하는 ARM 베이스라인(LLaMA-2-7B) 과 비교합니다. 실험 범위는 다음과 같습니다:

1. 다섯 가지 추출 모드:
   • 접두어 조건부: 처음 $k$개의 토큰 공개 (표준 ARM 베이스라인).
   • 접미어 조건부: 마지막 $k$개의 토큰 공개.
   • 가장자리 조건부: 처음과 마지막 $k/2$개의 토큰 공개 (괄호형 문맥).
   • 중앙 조건부: 중앙의 연속된 구간 공개.
   • 무작위: $k$개의 토큰 중 균일하게 무작위 선택된 부분집합 공개.
   • 표적: 민감한 개체 (PII) 만 마스킹되고 전체 주변 시퀀스가 공개됨.
2. 세 가지 학습 파이프라인: 전체 파인튜닝 (FT), 저랭크 적응 (LoRA), 그리고 채팅 템플릿 하의 지도식 파인튜닝 (SFT).
3. 세 가지 데이터셋:
   • MIMIR Pile: 그대로의 시퀀스 추출용.
   • Enron Email: 개인 식별 정보 (PII, 이메일 주소 및 전화번호) 추출용.
   • Tulu3: 지시 튜닝 설정에서의 프롬프트/응답 유출용.
4. 디코딩 매개변수: 본 연구는 탈노이즈 단계 ($T$), 준자기회귀 블록 크기 ($b$), 샘플링 온도 ($\tau$), 그리고 리마스킹 전략의 영향을 분석합니다.

주요 기여

1. 인필링 추출의 형식화: 본 논문은 접두어 조건부 추출을 일반화하는 마스크 매개변수화 프로토콜을 정의하여 DLM 의 양방향 성격을 명시적으로 고려합니다.
2. 체계적 평가: 다양한 접근 패턴, 노출 체계, 추론 시 구성에 걸친 대규모 DLM 의 암기에 대한 최초의 체계적 연구를 제공합니다.
3. 새로운 유출 채널의 식별: 이 연구는 양방향 접근이 ARM 에 구조적으로 접근 불가능한 유출 채널 (예: 모델 응답으로부터 사용자 프롬프트 복구) 을 열 수 있음을 경험적으로 입증합니다.

주요 결과

1. 마스크 기하학이 추출 가능성을 지배함

공개된 문맥의 배치는 추출 성공에 상당한 영향을 미칩니다.

• 가장자리 조건부의 우위: 가장자리 조건부 마스크 (시작과 끝 모두 공개) 는 접두어 조건부 마스크보다 최대 3 배 더 많은 그대로의 시퀀스를 추출합니다. 예를 들어, LLaDA-8B-FT 에서 가장자리 모드는 0.18% 인 접두어 모드에 비해 0.41% 의 ASR 을 달성했습니다.
• 양방향 편향: 이는 DLM 이 마스킹된 토큰을 재구성하기 위해 양방향 문맥을 활용한다는 것을 확인시켜 주며, 이는 표준 접두어 프로빙에서는 활용되지 않는 능력입니다.

2. 양방향 접근이 새로운 유출 채널을 개방함

• 프롬프트 복구: 지시 튜닝 모델 (SFT) 에서 적대자는 알려진 모델 응답으로부터 사용자 프롬프트를 복구할 수 있습니다 (응답 조건부 추출). 프롬프트 조건부 추출 (표준) 이 약 10% 의 ASR 을 보인 반면, 응답 조건부 추출은 여전히 유의미한 ASR(~1.78–3.36%) 을 달성하여 ARM 에서는 불가능한 채널을 보여주었습니다.
• 토큰 대 시퀀스: 토큰 수준 복구 (TER) 는 높을 수 있습니다 (예: 무작위 마스크의 경우 56%). 그러나 정확한 그대로의 추출 (ASR) 은 낮게 유지되는데, 이는 공개된 토큰이 부분적 복구를 돕는 발판 역할을 하지만 전체 시퀀스 재생산을 보장하지는 않음을 시사합니다.

3. 현실적 위협 모델: 편집된 데이터와 PII

본 연구는 적대자가 편집된 버전의 학습 데이터 (예: 규제 공개 또는 부분 유출을 통해) 를 획득하고 모델을 사용하여 편집된 PII 를 복구하는 현실적인 시나리오를 시뮬레이션합니다.

• 표적 인필링: PII 토큰만 마스킹되고 주변 문맥이 공개될 때, DLM 은 높은 추출 가능성을 보입니다. Enron 데이터셋에서 파인튜닝된 LLaDA-8B 는 이메일 주소에 대해 40.5%, 전화번호에 대해 **28.9%**의 재현율 (recall) 을 달성했습니다.
• ARM 과의 비교: 엄격한 접두어 조건부 공격 하에서 DLM 은 ARM 보다 안전한 것으로 나타났습니다 (이메일 재현율: LLaDA 16.3% 대 LLaMA 35.9%). 그러나 표적 인필링 하에서는 DLM 이 ARM 베이스라인과 일치하거나 초과했습니다 (LLaDA 40.5% 대 LLaMA 35.9%). 이는 접두어 전용 평가가 편집된 데이터가 관련된 현실적 시나리오에서 DLM 의 위험을 심각하게 과소평가하고 있음을 나타냅니다.

4. 디코딩 매개변수의 영향

• 탈노이즈 단계 ($T$): 더 높은 $T$(더 많은 정제 단계) 는 재현율을 증가시키는 반면, 처리량 중심의 낮은 $T$ 설정은 암기된 내용을 흐리게 만듭니다.
• 블록 크기 ($b$): 작은 블록 (ARM 과 유사한 행동) 에 비해 큰 블록 (완전 병렬 탈노이즈) 은 추출 성공을 현저히 증가시켜, 양방향 병렬성이 유출의 주요 동인임을 확인시켜 줍니다.
• 리마스킹 전략: 신뢰도 기반 리마스킹 (높은 신뢰도 예측 확정) 은 무작위 리마스킹에 비해 추출을 증폭시킵니다.
• 온도 ($\tau$): 탐욕적 디코딩 ($\tau \to 0$) 은 일반적으로 가장 강력한 추출을 산출합니다.

5. SFT 를 통한 지속성

지시 데이터에 대한 후속 지도식 파인튜닝 (SFT) 단계는 암기를 재분배하지만 제거하지는 않습니다. SFT 후 이메일 재현율은 약간 감소했지만 전화번호 재현율은 거의 변하지 않아, 짧고 독특한 숫자 문자열이 지시 준수 목표와 직교하며 정렬 과정을 생존함을 시사합니다.

중요성과 주장

본 논문은 DLM 의 현재 안전성 평가가 ARM 을 위해 설계된 접두어 조건부 프로토콜에 의존하기 때문에 불완전하다고 주장합니다. 인필링 추출을 도입함으로써 저자들은 다음과 같이 입증합니다:

1. DLM 은 이전보다 학습 데이터 유출 위험이 더 큽니다, 특히 적대자가 양방향 문맥을 활용하거나 편집된 학습 데이터에 접근할 수 있는 경우.
2. 마스크 기하학은 암기에 있어 결정적인 요소이며, 가장자리 조건부 및 표적 인필링은 접두어 전용 프로빙으로는 보이지 않는 취약점을 드러냅니다.
3. 디코딩 매개변수는 증폭과 완화 모두를 위한 레버 역할을 합니다; 실무자는 성능과 유출 저항성 사이의 균형을 맞추기 위해 이를 조정할 수 있습니다.

저자들은 전통적인 접두어 기반 지표 하에서 DLM 이 더 안전해 보일 수 있지만, 그 양방향 성질은 향후 안전 연구 및 배포 전략에서 해결해야 할 독특하고 강력한 데이터 추출 채널을 생성한다고 결론지었습니다.