기술 요약: 대비적 디코딩 디핑을 통한 파인튜닝 사전 지식 읽기

문제 제기

좁은 범위로 파인튜닝된 대규모 언어 모델 (LLM) 은 종종 주입된 콘텐츠를 그대로 암기하여, 특정 사실적 지식이 배포된 모델에 은밀하게 주입될 수 있는 보안 및 투명성 위험을 초래합니다. 배포된 모델이 어떤 콘텐츠를 학습했는지 감사하는 것은, 특히 감사자가 모델의 가중치나 학습 데이터에 접근할 수 없는 경우 ("회색 상자" 설정) 중요한 과제입니다.

기존 접근 방식인 활성화 차이 렌즈 (ADL) 는 기본 모델과 파인튜닝된 모델 간의 숨은 상태 (hidden state) 활성화 차이를 분석하여 주입된 콘텐츠를 복구하려 시도합니다. 그러나 ADL 은 특정 레이어 선택 및 모델별 하이퍼파라미터 튜닝을 포함하여 모델 내부에 대한 완전한 "화이트 상자" 접근이 필요합니다. 또한, ADL 은 일반적으로 "모델은 베이킹에 대해 알고 있다"와 같은 모호한 도메인 수준의 설명만 복구할 뿐, 학습 중에 주입된 구체적이고 그대로의 사실들을 복구하지는 못합니다.

방법론: 대비적 디코딩 디핑 (CDD)

저자들은 출력 수준의 로그 확률 분포 (logit distributions) 만을 사용하여 주입된 사실을 그대로 복구하는 회색 상자 모델 디핑 방법인 대비적 디코딩 디핑 (Contrastive Decoding Diffing, CDD) 을 소개합니다. CDD 는 가중치 접근, 레이어 선택, 또는 모델별 튜닝 없이 작동합니다. 이는 세 가지 핵심 구성 요소에 의존합니다:

1. 시뮬레이터 (채팅 템플릿 우회): 현대의 LLM 은 대화적 어조에 고정시키고 무조건적 사전 지식을 억제하도록 채팅 템플릿으로 사후 학습됩니다. CDD 는 채팅 토큰 없이 원시 텍스트를 입력하여 모델의 원시 "다음 토큰 예측" 모드에서 모델을 작동시킵니다. 이는 명령어 따르기 제약을 제거하여 파인튜닝 사전 지식이 무조건적으로 생성에 영향을 미치도록 합니다.
2. 공허 (최대 모호한 프리필): 생성은 짧고 의미적으로 비어 있는 조각 (예: "", "The", "In", "A", "It") 으로 시드됩니다. 이러한 프리필은 기본 모델이 최대 불확실성을 갖는 높은 엔트로피 상태에서 모델을 배치합니다. 이러한 상태에서 기본 분포에서의 이탈은 파인튜닝 중에 강화된 콘텐츠에 의해 지배됩니다. 이 설계는 파인튜닝 도메인에 대한 사전 지식을 전혀 요구하지 않습니다.
3. 대비적 디코딩 (로그 확률 공간 증폭): 각 디코딩 단계에서 CDD 는 파인튜닝된 모델 ($p_{ft}$) 과 기본 모델 ($p_{base}$) 간의 차이를 증폭시키기 위해 대비적 디코딩 공식을 적용합니다:
   $$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$$
   이 연산은 기본 모델의 기여도를 빼내어 파인튜닝 신호만 남깁니다. 비현실적인 토큰에 대한 보상을 방지하기 위해 적응적 타당성 제약 ($\alpha$) 이 적용됩니다.

주요 기여

• CDD 프레임워크: 원시 다음 토큰 예측, 모호한 프리필, 그리고 대비적 디코딩을 결합하여 로그 확률 접근만 사용하여 좁게 파인튜닝된 LLM 에서 그대로의 콘텐츠를 추출하는 회색 상자 방법.
• 적은 접근으로 인한 우수한 성능: CDD 는 모델 규모 (1B–32B 파라미터) 와 도메인 전반에 걸쳐 거의 보편적인 그대로의 복구를 달성하며, 가중치나 레이어 선택이 필요 없는 엄격하게 적은 접근을 요구하면서도 화이트 상자 ADL 기준을 능가하고, 종단간 약 170 배 더 빠른 속도로 실행됩니다.
• 생성기 지문 인식: CDD 는 데이터 생성 파이프라인에서 의도하지 않은 아티팩트를 복구할 수 있음을 보여줍니다. 구체적으로, 합성 데이터 생성기가 관련 없는 도메인 전반에 걸쳐 실수로 재사용한 가상 인물 ("Dr. Elena Rodriguez") 을 추출했습니다. 이는 생성기 모드 붕괴 $\rightarrow$ spurious 코퍼스 아티팩트 $\rightarrow$ 가중치 임프린팅 $\rightarrow$ 아티팩트 추출로 이어지는 완전한 지문 인식 체인을 구성합니다.
• 실제 데이터로의 일반화: 이 방법은 인과적 추론 데이터셋 (CLADDER, COPA, CORR2CAUSE, TRAM) 을 포함하는 실제 도메인 파인튜닝 설정에서 검증되었습니다. CDD 는 추론 도메인, 작업 유형, 입력/출력 구조를 거의 완벽하게 복구했으며, ADL 이 실패한 혼합 데이터셋 설정을 정확하게 식별했습니다.

실험 결과

저자들은 CDD 를 합성 문서 파인튜닝 (SDF) 벤치마크에서 평가했는데, 이는 다섯 가지 의미적으로 관련 없는 도메인 (요리, 제약, 소프트웨어 공학, 정치 역사, 재료 과학) 과 네 가지 모델 계열 (Gemma-3, LLaMA-3.2, Qwen3) 을 포괄합니다.

• 그대로의 복구: 튜닝 없이 단일 기본 구성 ($\beta=1.0, \alpha=0.1$) 을 사용하여 CDD 는 16/20의 유기체 - 모델 쌍에서 평균 점수 $\ge 4$ (24 개의 특정 고유명사/숫자가 필요한 15 척도) 를 달성했습니다. 이는 정확한 약물 이름, 투표 수, 물리적 측정치, 그리고 절차적 세부 사항을 복구했습니다.
• ADL 과의 비교: 동일한 평가 기준 하에서 ADL(화이트 상자) 은 평균 점수 2.42를 달성하여 거친 도메인 설명만 복구했습니다. CDD 는 19/20의 쌍에서 ADL 을 능가했습니다.
• 효율성: CDD 는 H100 GPU 에서 쌍당 ~2906 초 (ADL) 에서 ~17 초로 실행 시간을 단축했습니다. 저장 요구 사항은 ADL 의 활성화 덤프 수백 MB 에서 CDD 의 생성 JSON <0.2 MB 로 감소했습니다.
• 아티팩트 복구: SDF 벤치마크에서 CDD 는 일부 도메인의 학습 문서에서 그녀가 소수만 등장했음에도 불구하고 모든 도메인에서 가상 인물 "Dr. Elena Rodriguez"를 일관되게 복구했습니다. 이는 데이터 생성기의 "모드 붕괴"와 그것이 모델 가중치로 압축되었음을 확인했습니다.
• 실제 데이터 검증: 인과적 추론 데이터셋에서 CDD 는 추론 도메인과 프롬프트 템플릿을 그대로 복구했습니다. 혼합 데이터셋 모델의 경우, ADL 이 모호한 흔적 이상으로 도메인을 식별하지 못한 반면, CDD 는 네 가지 구성 데이터셋을 모두 정확하게 식별했습니다.

중요성 및 주장

이 논문은 CDD 가 AI 투명성과 책임성 분야에서 실용적인 돌파구라고 주장합니다. 회색 상자 방법이 구체적인 그대로의 사실을 복구하는 데 있어 화이트 상자 기준을 능가할 수 있음을 입증함으로써, 저자들은 내부 가중치에 접근하지 않더라도 모델 감사가 가능하다고 주장합니다.

"생성기 지문 인식" 체인의 발견은 중요한 발견으로 강조됩니다: 이는 합성 데이터 생성의 아티팩트 (예: 모드 붕괴) 가 단순히 노이즈가 아니라 모델에 의해 암기되어 데이터 출처를 귀속시키기 위해 추출될 수 있음을 증명합니다. 이는 보편적인 LLM 생성 합성 코퍼스에서 학습된 모델을 감사하는 데 직접적인 함의를 가집니다.

저자들은 한계에 대해 겸손하게 언급하며, CDD 는 회색 상자 로그 확률 접근 (상위 k 개 확률만 아님) 을 필요로 하며, 실제 도메인 추론 작업으로 일반화되지만 자연 발생 (비합성) 코퍼스에 대한 체계적인 연구는 향후 과제로 남아있음을 지적합니다.