기술 요약: LLM의 이중 용도 지식에 대한 토큰 접종(Token Inoculation)

문제 정의

이중 용도 지식(바이러스학이나 사이버 보안과 같이 정당한 과학 연구에는 가치가 있으나 오용될 경우 위험할 수 있는 정보)에 관한 현재의 대규모 언어 모델(LLM) 안전 개입 전략은 일반적으로 두 가지 방식 중 하나에 의존한다: 파괴(예: unlearning, 데이터 필터링) 또는 억제(예: 거절 학습).

• 파괴 방식(unlearning)은 유해한 지식을 제거하기 위해 모델의 가중치를 수정한다. 그러나 유해한 지식과 무해한 지식은 종종 동일한 표현(representation) 내에 얽혀 있기 때문에, 이 접근법은 인접 영역의 역량(예: 생물 무기를 논의하는 것을 막으려다 일반적인 생물학을 논의하는 능력을 저하시키는 것)을 손상시킬 위험이 있다.
• 억제 방식(거절 학습)은 모델이 특정 질의를 거절하도록 가르친다. 이러한 방식은 종-수준의 표면적 휴리스틱(shallow surface heuristics)을 학습하는 경우가 많아, 무해한 질의까지 잘못 차단하는 "과잉 거절(over-refusal)" 현상을 초래한다.

저자들은 이러한 접근법의 근본적인 결함이 유해한 지식을 모델 자체로부터 접근 불가능하게 만들어야 한다는 가정에 있다고 주장한다. 대신, 그들은 올바른 작업이 '감소'가 아니라 **'조건화(conditioning)'**라고 제안한다. 목표는 모델의 표현 내에 유해한 지식을 유지하되, 통제된 신호에 따라 그 행동적 발현을 제어하는 것이다.

방법론: 토큰 접종 (Token Inoculation)

제안된 방법인 **토کن 접종(Token Inoculation)**은 특수 제어 토큰인 <|ino|>를 사용하는 바인딩 및 브랜칭(binding-and-branching) 접근법을 도입한다. 이 과정은 두 가지 별도의 단계로 진행된다.

1. 접종 계속 사전 학습 (inoCPT)

• 목표: 특수 토큰 <|ino|>를 유해한 도메인의 의미론적 표현에 바인딩한다.
• 과정: 모델은 이중 용도 문서가 포함된 코퍼스를 통해 계속 사전 학습(continued pre-training)을 거친다. 유해한 문장들은 <|ino|>를 앞에 붙여 표시된다.
• 메커니즘: 다음 토큰 예측(next-token prediction)을 통해, 모델은 <|ino|>를 유해한 도메인의 특정 의미론(예: 기능 획득 연구)과 연관시키는 법을 배운다. <|ino|> 토큰 자체에 대한 손실(loss)은 마스킹되어 모델이 해당 토큰을 생성하는 법을 배우지 않도록 한다. 이는 순수하게 입력 조건으로서 기능한다.
• 의의: 이를 통해 토큰에 대한 도메인 특화된 "앵커(anchor)"를 설정하며, 일반적인 트리거와 구별되도록 한다.

2. 접종 지도 미세 조정 (inoSFT)

• 목표: <|ino|>의 존재 여부에 따라 모델의 행동이 분기(branch)되도록 가르친다.
• 데이터 설계: SFT 데이터셋은 세 가지 구성 요소로 이루어진다:
  1. 유지 데이터 (Retain Data): 광범위한 역량을 보존하기 위한 일반 도мен 질문들.
  2. 접종 데이터 (Inoculation Data): 유해한 도메인의 질문이며, 정답 바로 앞에 <|ino|>가 삽로 삽입된 형태이다 (어시스턴트 턴 내). 모델은 토큰이 존재할 때 정답을 말하도록 학습된다.
  3. 거절 데이터 (Refusal Data): <|ino|>가 없는 동일한 유해 질문이며, 거절 응답(예: "도와드릴 수 없습니다...")과 쌍을 이룬다. 모델은 토큰이 없을 때 거절하도록 학습된다.
• 핵심 설계 선택: 토큰은 사용자의 입력이 아닌 어시스턴트의 응답 턴에 배치된다. 이는 사용자가 자신의 프롬프트에 <|ino|>를 주입하려고 시도하더라도, 모델이 이를 (토큰이 어시스턴트 턴에 없으므로) 거절 요청으로 해석하게 하여 능력을 해제하지 않도록 보장하기 위 위함이다.

주요 기여

1. 새로운 안전 패러다임: 본 논문은 안전 정렬 문제를 "망각"(파괴)에서 "조건화된 접근"(통제된 접근)으로 전환한다. 유해한 지식이 허가된 신호에 의해 게이트(gate)가 된다면 모델 내에 유지될 수 있음을 입증한다.
2. 두 단계의 바인딩 및 브랜칭: 저자들은 두 단계가 모두 필요함을 보여준다. inoCPT가 없으면 토큰은 도메인 특화된 의미론적 바인딩을 갖지 못해 약하거나 과도하게 일반화된 거절을 초래한다. inoSFT가 없으면 모델은 지식은 보유하지만 기본적으로 이를 거절하는 행동 메커즘이 부족하게 된다.
3. 인과적 제어: 토큰 접종 방식은 거절 선택성에 대한 정밀한 제어를 가능하게 한다. 훈련 신호의 품질(토큰이 존재할 때 제공되는 답변의 정확도)이 거절 메커니즘의 정밀도를 인과적으로 결정한다.
4. 기계론적 통찰: 로짓 렌즈(logit lens) 분석 결과, <|ino|>는 표현의 게이트 역할을 수행한다. 즉, 토큰이 존재할 때 거절 관련 토큰 활성화(예: "죄송합니다", "할 수 없습니다")를 억제하는 동시에 유해 도메인 토큰 표현(예: "바이러스", "병원체")을 활성화한다.

실험 결과

이 방법은 WMDP-Bio(생물 보안) 및 WMDP-Cyber(사이버 보안) 벤치마크에서 다양한 모델 규모(1B~14B)와 아키텍처(Qwen2.5, Llama 3.1, Phi4)를 대상으로 평가되었다.

• 안전-효용 트레이드오프 (Safety-Utility Trade-off): 토큰 접종은 RMU(unlearning), NPO, DPO(거절 튜닝)와 같은 베이스라인 모델들과 비교하여 파레토 우위(Pareto-dominant)의 트레이드오프를 달성했다.
  • Qwen2.5-14B 기준으로, WMDP-Bio 정확도를 79.2%에서 **17.9%**로 낮추면서도 MMLU-Virology 성능은 **93%**를 유지했다 (베이스라인 48.2% vs 53.6%).
  • 이는 모든 규모에서 가장 높은 안전-효용 F1 점수(0.831)를 기록했으며, 모델 크기가 커질수록 그 이점이 확대되었다.
• 일반화: 파이프라인은 사이버 보안 분야로도 성공적으로 전이되어, WMDP-Cyber 정확도를 10.9%로 억제하면서 MMLU-Computer-Security 성능의 83%를 유지했다.
• 배포 보안:
  • 전문가 해제 (Expert Unlock): 서비스 제공자가 어시스턴트 응답 시작 부분에 <|ino|>를 삽입하면 전체 능력이 복구된다 (WMDP-Bio 정확도가 ~80%로 회복).
  • 공용 사용 (Public Use): 토큰이 없으면 모델은 거절 모드로 기본 설정된다 (정확도가 ~10%로 하락).
  • 주입 공격 (Injection Attack): 공격자가 사용자 쿼리에 <|ino|>를 주입하더라도, 모델은 (토큰이 기대되는 어시스턴트 위치에 없기 때문에) 능력을 해제하는 대신 거절한다 (88.8%의 거절률).
  • 토크나이저 방패 (Tokenizer Shield): 토크나이저에서 <|ino|>를 서브워드(subwords)로 분해하면 유해 정확도를 거의 제로에 가깝게(예: Qwen2.5-14B에서 2.3%) 낮출 수 있다.

의의 및 주장

본 논문은 이중 용도 도메인의 경우, 지식의 파괴보다 조건화된 지식 접근이 안전 정렬을 위한 더 생산적인 접근법이라고 주장한다.

• 정밀도: 지식을 유지하면서 그 발현을 제어함으로써, 모델은 unlearning 방식이 겪는 "부수적 피해"(인접한 무해한 지식의 손상)를 피할 수 있다.
• 제어 가능성: 안전은 능력의 제거가 아니라 접근 제어(누가 토큰을 가졌는가)의 문제가 된다. 이는 단일 모델이 공용 사용자(거절 모드)와 승인된 전문가(해제 모드) 모두에게 서비스를 제공할 수 있는 계층적 배포 모델을 지원한다.
• 강건성: 이 방법은 조건화 신호가 사용자 입력이 아닌 대화 템플릿의 어시스턴트 역할에 묶여 있기 때문에 단순한 주입 공격에 대해 강건하다는 것이 입증되었다.

저자들은 이 방법이 휴리스틱 마킹에 의존하며 세심한 배포(예: 토큰 보호)가 필요하지만, 모델의 근본적인 유용성을 희생하거나 가치 있는 과학적 지식을 파괴하지 않고도 이중 용도 능력을 관리할 수 있는 실행 가능한 경로을 제공한다고 결론짓는다.