기술 요약: 탐지, 망각, 복구: 텍스트 요약 모델에 대한 데이터 포이즈닝 방어

문제 정의

본 논문은 대규모 언어 모델(LLM), 특히 **추상적 텍스트 요약(abstractive text summarization)**에 적용되는 **학습 단계의 데이터 포이즈닝(training-time data poisoning)**이라는 치명적인 보안 취약점을 다룹니다. 개별 입력값을 조작하는 추론 단계의 적대적 공격과 달리, 포이즈닝은 파인튜닝 단계에서 발생합니다. 이 환경에서는 도메인 특화 데이터셋이 작은 경우가 많아, 개별 예시가 모델에 불균형적으로 높은 그래디언트(gradient) 영향력을 행사하게 됩니다.

공격자는 (문서-요약 쌍 형태의) 파인튜닝 데이터를 조작하여 감정 반전, 유해성 주입, 사실 왜곡 또는 표현적 편향과 같은 지속적이고 악의적인 행동 변화를 유도할 수 있습니다. 이때 공격은 표준 평가 지표(예: ROUGE 점수)를 유지함으로써 탐지를 회피합니다. 저자들은 두 가지 주요 위협 시나리오를 식별했습니다:

1. 화이트박스(White-box): 방어자가 오염된 파인튜닝 데이터셋에 접근할 수 있으나, 정답 레이블 없이 악의적인 샘플을 식별해야 하는 경우.
2. 블랙박스(Black-box): 방어자가 학습 데이터, 이력 또는 출처에 대한 접근 권한 없이, 공격자가 배포한 훈련된 모델 체크포인트에만 접근할 수 있는 경우.

텍s 분류나 백도어 탐지에 사용되는 기존 방어 기법(명시적인 트리거에 의존하는 방식)은 본 연구의 텍스트 요약 포이즈닝에 효과적이지 않습니다. 왜냐러면 요약 포이즈닝은 불연속적인 오분류가 아니라 미묘하고 트리거가 없는 행동 변화(behavioral drifts)로 나타나기 때문입니다.

방법론

저자들은 방어자가 가용한 정보에 따라 맞춤 설계된 두 가지 상호 보완적인 메커니즘을 포함하는 통합 포스트 혹(post-hoc) 방어 프레임워크를 제안합니다.

방어-1: 오염된 데이터셋 탐지 및 망각 (화이트박스)

파인튜닝 데이터셋을 사용할 수 있는 경우, 프레임워크는 전체 재학습 없이 포이즈닝을 탐지하고 치료하기 위한 3단계 파이프라인을 채택합니다:

1. 영향력 기반 후보 추출: 시스템은 효과적인 포이즈닝 샘플이 지속적인 편향을 심기 위해 모델 행동에 불균형적으로 높은 영향력을 행사해야 한다는 통찰을 활용합니다. 이를 위해 DataInf(영향력 함수의 폐쇄형 근사치)를 사용하여 각 학습 샘플을 제거했을 때 검증 손실(validation loss)에 미치는 영향을 계산합니다. 샘플들은 절대적 영향력에 따라 순위가 매겨지며, 상위 20%가 고위험 후보로 선택됩니다.
2. 행동 필터링: 고영향력 후보들은 특정 공격 목표에 맞게 설계된 경량화된 모듈형 행동 검사를 거칩니다:
   • 감정 반전(Sentiment Inversion): 파인튜닝된 RoBERTa 분류기를 사용하여 문서와 요약 간의 극성 불일치를 탐지합니다.
   • 유해성 주입(Toxic Injection): 소스 문서가 온건하더라도 LlamaGuard를 사용하여 해로운 콘텐츠(혐오, 폭력 등)를 포함하는 요약을 식 flag합니다.
   • 사실 왜곡(Factual Distortion): AlignScore를 사용하여 요약이 소스의 사실이나 엔티티와 모순되는지 식별합니다.
   • 표현적 편향(Representational Bias): 집단 조건부 기술자 불일치를 측정하여 미묘한 인구통계학적 왜곡을 탐지합니다.
3. 그래디언트 상승 망각(Gradient-Ascent Unlearning): 오염된 집합이 식별되면, 탐지된 샘플에 대해 **그래디언트 상승(gradient ascent)**을 통해 모델 파라미터를 업데이트합니다. 이 과정은 오염된 데이터에 대한 손실을 증가시켜 그들의 그래디언트 기여를 역전시키고 영향력을 제거합니다. 이는 깨끗한 지식에 대한 파괴적 망각(catastrophic forgetting)을 방지하기 위해 조기 종료(early stopping)와 함께 수행됩니다.

방어-2: 적대적 민감도를 통한 오염된 모델 탐지 (블랙박스)

모델 체크포인트만 가용한 경우, 프레임워크는 **적대적 섭동에 대한 민감도(Sensitivity to Adversarial Pertations, SAP)**라는 새로운 지표를 사용하여 모델의 행동을 감사합니다.

• 메커니즘: 저자들은 포이즈닝이 모델의 초기 문서 위치 단서(lead bias)에 대한 의존성을 강화한다는 점을 관찰했습니다. 결과적으로, 포이즈닝된 모델은 리드 문장(lead sentences)이 섭동될 때 증폭된 취약성을 보입니다.
• 절차: 시스템은 테스트 문서의 리드 문장에 대해 의미를 보존하는 섭동(문자, 단어, 문장 또는 문서 수준)을 적용합니다. 이후 모델이 생성된 요약에서 이러한 섭동된 리드 문장을 제외하는 비율을 측정합니다.
• 지표: SAP는 깨끗한 입력값과 비교했을 때 적대적 섭동 하에서의 리드 문장 제외율의 상대적 증가량으로 정의됩니다. 포이즈닝된 모델은 깨끗한 모델보다 현저히 높은 SAP 점수(2~3배 높은 민감도)를 나타내며, 이를 통해 학습 데이터 접근 없이도 탐지가 가능합니다.

주요 기여

1. 통합 프레임워크: 머신 망각(machine unlearning)을 사용하여 오염된 데이터셋(화이트박스)과 오염된 모델(블랙박스)을 모두 다루는 텍스트 요약 대상 데이터 포이즈닝에 대한 최초의 포괄적 방어 프레임워크를 제공합니다.
2. 새로운 공격 공식화: 기존의 포이즈닝 목적 함수에 사실 왜곡(엔티티/사실 변경) 및 표현적 편향(인구통계학적 왜곡 도입)을 포함하도록 확장하여, 포이즈닝이 감정이나 유해성 경보를 트리거하지 않고도 요약의 정확성과 공정성을 부패시킬 수 있음을 입증했습니다.
3. 영향력 기반 망각: 영향력 함수를 통해 고영향력 포이즈닝 샘플을 탐지하고 그래디언트 상승을 통해 선택적으로 제거함으로써 전체 재학습 비용을 피하는 방법을 도입했습니다.
4. 적대적 민감도 감사: 포이즈닝된 모델의 위치 의존성에 관한 구조적 취약성을 이용하는 SAP 지표를 제안하여 블랙박스 탐지를 수행합니다.
5. 행동적 복구: 망각이 단순한 의미적 부패를 제거할 뿐만 아니라, 포이즈닝 공격에 의해 추출적 복사(extractive copying)로 변질된 모델의 원래 **추상적 생성 행동(abstractive generation behavior)**을 복구함을 입증했습니다.

실험 결과

프레임워크는 9개의 아키텍처(BART, T5, Pegasus, LLaMA-3, Qwen, Mistral, Vicuna 포함)와 6개의 벤치마크 데이터셋(MultiNews, CNN/DailyMail, WikiSum, ArXiv, PubMed, MultiXScience)에 대해 다양한 오염율(5~50%) 하에서 평가되었습니다.

• 방어-1 성능:
  • 오염된 샘플에 대해 **8592%의 탐지 정밀도(precision)**와 **8690%의 재현율(recall)**을 달성했습니다.
  • 최소한의 유틸리티 손실(<0.6% ROUGE 저하)과 함께 모델의 원래 행동의 **85.3%**를 복구했습니다.
  • 추상적 생성에서 추출적 생성으로의 변화를 성공적으로 역전시켜, **94~96%**의 추상적 행동을 복구했습니다.
  • 적대적 훈련, SISA, 선택적 가지치기(Selective Pruning), TracIn 등의 베이스라인보다 우수한 성능을 보였으며, 전체 재학습 대비 치료 시간을 4~6배 단축했습니다.
• 방어-2 성능:
  • 블랙박스 설정에서 거의 완벽한 탐지 성능(True Positive Rate 100%, False Positive Rate 0%)을 달성했습니다.
  • 모든 섭동 유형에 대해 깨끗한 모델과 오염된 모델 사이의 명확한 구분을 보여주었으며, CLIBE 및 퍼플렉시티 기반 민감도 베이스라인보다 우수한 성능을 보였습니다.
• 강건성: 적응적 공격(예: 저영향력 포이즈닝, 리드 외 영역 섭동, 혼합 목적 공격) 하에서도 두 방어 기법 중 적어도 하나는 효과를 유지했으며, 방어-1은 7882%의 복구율을, 방어-2는 9598%의 탐지율을 유지했습니다.

의의 및 주장

본 논문은 머신 망각이 단순한 출력 품질 지표를 넘어, 요약 모델의 더 깊은 생성 행동(특히 추상적 성향)을 효과적으로 복구할 수 있다는 최초의 증거를 제공한다고 주장합니다. 또한, 파인튜닝 단계의 포이즈닝이 지속적인 구조적 흔적(높은 영향력 점수 및 위치적 취약성)을 남기며, 이를 통해 실질적인 탐지와 배포 후 복구가 가능하다는 것을 입증했습니다.

저자들은 본 접근 방식이 전체 재학습에 대한 확장 가능한 대안을 제공하여, 조직이 원래의 사전 학습 코퍼스나 방대한 수동 감사가 없는 상태에서도 오염된 모델을 치료할 수 있게 한다고 강조합니다. 또한, 높은 ROUGE 점수만으로는 성공적인 치료를 검증하기에 불충 enough하다는 점을 지적합니다. 모델이 높은 ROUGE 점수를 유지하면서도 유해한 행동 변화나 추출적 생성 패턴을 보일 수 있기 때문입니다.