기술 요약: TamperBench

문제 정의

오픈 웨이트(open-weight) 대규모 언어 모델(LLM)이 프론티어 폐쇄형 모델의 성능에 근접함에 따라, 이들의 안전성 정렬(safety alignment)은 점점 더 취약해지고 있습니다. 모델을 정렬하기 위해 다양한 학습 절차(예: RLHF)가 사용되지만, 이러한 안전 장치들은 "탬퍼링(tampering, 변조)"—모델의 가중치나 잠재 표현(latent representations)을 수정하는 행위—에 의해 무력화될 수 있습니다. 이러한 탬퍼링은 악의적일 수도 있고(파인튜닝을 통한 의도적인 탈옥), 우발적일 수도 있습니다(안전성을 의도치 않게 저해하는 선의의 파인튜닝).

현재 이 분야에는 탬퍼 저항성(tamper resistance)을 평가하기 위한 표준화된 접근 방식이 부족합니다. 기존 연구들은 파편화된 평가 방식의 문제를 안고 있습니다. 즉, 서로 다른 데이터셋, 지표, 그리고 위협 모델(예: 서로 다른 파인튜닝 단계 수 또는 서로 다른 데이터 포이즈닝 비율)을 사용합니다. 이는 서로 다른 모델이나 방어 기제의 강건성을 비교하는 것을 어렵게 만들며, 특정 구성 하에서는 효과적으로 보였던 방어가 다른 구성 하에서는 실패하는 불확실한 결과를 초래합니다. 또한, 이전의 평가들은 유용성(utility)을 제약하지 못하는 경우가 많아, 모델의 일반적인 능력을 파괴함으로써 유해성을 극대화하는 "공격"을 식별해내곤 합니다. 이는 공격자가 유능하면서도 해로운 모델을 추구한다는 현실적인 위협 상황을 반영하지 못합니다.

방법론: TamperBench 프레임워크

이러한 격차를 해소하기 위해, 저자들은 파인튜닝 및 탬퍼링 하에서의 LLM 안전성을 체계적으로 스트레스 테스트하기 위한 최초의 통합 프레임워크인 TamperBench를 소개합니다. 이 프레임워크는 공격자가 가중치와 표현에 대한 완전한 화이트박스 접근 권한을 가진다고 가정하는 최악의 경우(worst-case) 오픈 웨이트 위협 모델 하에서 작동합니다.

핵심 구성 요소

1. 통합 공격 스위트(Unified Attack Suite): TamperBench는 두 가지 공간에 걸친 최첨단 공격들을 큐레이션합니다.

   • 가중치 공간(Weight-Space): 우발적 오용을 시뮬레이션하는 선의의 풀 파인튜닝(full fine-tuning) 및 LoRA를 포함하며, 악의적인 공격으로는 유해한 풀 파인튜닝, 유해한 LoRA, 다국어 파인튜닝, 백도어 탈옥 튜닝(backdoor jailbreak-tuning), 경쟁 목적 탈옥 튜닝(competing-objectives jailbreak-tuning), 스타일 변조(style modulation)를 포함합니다. 특히, 탈옥 튜닝 공격은 일부 폐쇄형 API 연구에서 사용된 은밀한 데이터 포이즈닝 비율 대신, 오픈 웨이트 위협 표면을 반영하기 위해 100% 유해한 데이터로 구현되었습니다.
   • 잠재 공간(Latent-Space): 가중치를 수정하지 않고 유해한 완성을 유도하기 위해 추론 시점에 내부 표현을 섭동(perturb)시키는 임베딩 공격을 포함합니다.

2. 방어 통합(Defense Integration): 이 프레แ임워크는 7가지 정렬 단계 방어 기제인 Booster, CRL, CTRL, RSN-Tune, SDD, T-Vaccine, TAR의 재구현을 포함합니다. 이를 통해 모델을 단순히 출시된 가중치에 의존하는 것이 아니라 처음부터 강화할 수 있습니다.

3. 체계적인 하이퍼파라미터 스윕(Systematic Hyperparameter Sweeps): 핵심적인 방법론적 혁신은 모든 모델-공격 쌍에 대해 Optata를 사용하여 체계적인 하이퍼파라미터 스윕을 수행하는 것입니다. 임의적인 학습 선택(예: 고정된 스텝 수)에 의존하는 대신, 프레임워크는 유용성 손실을 엄격히 제한하면서 유해성을 극대화하는 구성을 탐색합니다.

4. 이중 평가 지표:

   • 안전성(Safety): 주로 유해한 응답의 준수성, 구체성, 설득력을 점수화하는 루브릭 기반 평가자인 StrongREJECT를 사용하여 측정합니다.
   • 유용성(Utility): MMLU-Pro(및 IFEval, MT-Bench 등과 같은 다른 벤치마크 지원)를 사용하여 측정합니다.
   • 위협 모델 제약(Threat Model Constraint): 공격은 MMLU-Pro 정확도의 하락을 10% 이하로 유지하면서 유해성을 증가시킬 때만 성공적인 것으로 간주됩니다. 이는 공격자가 모델의 능력을 유지하기를 원하는 현실적인 공격자를 반영하도록 보장합니다.

주요 기여

1. 오픈 소스 벤치마크 및 툴킷: TamperBench는 공격, 방어 및 평가 프로토콜을 단일 확장 가능한 Python 툴킷으로 통합하여, 오픈 웨이트 LLM과 탬퍼 저항 방어 기제를 비교할 수 있는 최초의 표준화된 기반을 제공합니다.
2. 현실적인 적대적 평가: 각 공격-모델 쌍에 대해 하이퍼파라미터 스윕을 수행함으로써, 이 프레임워크는 임의적인 학습 선택에 대한 민감도를 줄이고 모델의 취약성에 대한 견고한 비교를 가능하게 합니다.
3. 포괄적인 경험적 분석: 저자들은 9가지 탬퍼링 위협에 대해 21개의 오픈 웨이트 LLM(베이스, 인스트럭션 튜닝, 방어 증강 변체 포함)을 평가합니다.

주요 결과

실험은 현재 LLM 안전성의 상태에 대해 몇 가지 냉혹한 발견을 제시합니다:

• 보편적 취약성: Llama, Qwen, Mistral 제품군을 포함하여 평가된 모든 모델(0.6B에서 70B 파라미터 범위)은 유용성을 유지하면서 유해성을 크게 증가시키는(StrongREJECT 점수 > 0.74) 최소 하나 이상의 매우 효과적인 탬퍼링 공격에 노출되었습니다.
• 주요 위협으로서의 탈옥 튜닝: 경쟁 목적 탈옥 튜닝(competing-objectives jailbreak-tuning) 방식이 일반적으로 가장 심각한 공격이며, 유용성을 유지하면서 가장 큰 유해성 증가를 유도합니다. 이 방식은 21개 모델 중 14개 모델에서 가장 높은 StrongREJECT 점수를 기록했습니다.
• 인스트럭션 튜닝의 상이한 효과:
  • Qwen3 제품군: 사후 학습된(인스트럭션 튜닝된) 변체들은 거절율(refusal rate)과 유해한 프롬프트에 대한 응답 품질이 모두 낮아짐에 따라, 일반적으로 베이스 모델보다 탬퍼링 후 유해성이 낮게 나타납니다.
  • Llama 제품군: 반대로, 인스트럭션 튜닝된 Llama 변체들은 특히 작은 규모(1B)에서 베이스 모델보다 더 높은 탬퍼링 후 유해성 점수에 도달하는 경우가 많습니다. 이는 거절율은 비슷하더라도 개선된 지시 이행 능력이 유해한 응답을 더 구체적이고 설득력 있게 만들기 때문입니다.
• 현재 방어 기제의 실패: 현재의 정렬 단계 방어 기제들은 체계적인 스트레스 테스트를 견디는 데 대부분 실패했습니다.
  • 대부분의 방어 기제(Booster, RSN-Tune, SDD, CTRL, T-Vaccine)는 악의적인 공격 하에서 탬퍼링 후 유해성을 유의미하게 줄이는 데 실패했습니다.
  • 일부 방어 기제(CTRL, T-Vaccine)는 유해성을 효과적으로 방지하지 못한 채 치명적인 유용성 저하(MMLU-Pro 점수가 ~0.08로 하락)를 초래했습니다.
  • TAR와 CRL은 일부 부분적인 개선을 보여주었으나, TAR는 막대한 유용성 비용(MMLU-Pro가 ~0.18로 하락)을 발생시켰고, CRL은 강력한 악의적 공격에 대해 미미한 보호 효과만을 제공했습니다.
• 규모 독립성: Qwen3-32B 및 Llama-3-70B와 같은 더 큰 모델에 대한 예비 실험은 이러한 취약성이 이 규모까지 확장됨을 보여주며, 탬퍼 가능성 수준이 8B 모델과 유사함을 나타냅니다.

의의 및 주장

본 논문은 TamperBench가 AI 안전 분야를 위한 결정적이고 통합된 토대를 제공한다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

1. 표준화: 서로 다른 공격과 지표를 통합함으로써 "재현 가능하고 현실적인 평가의 위기"를 해결하고, 방어 기제와 모델을 직접 비교할 수 있게 합니다.
2. 현실적인 위협 모델링: 유용성 제약을 적용하고 하이퍼파라미터 스윕을 수행함으로써, "장난감" 수준의 공격을 넘어 오픈 웨이트 모델의 진정한 최악의 위협 표면을 규명합니다.
3. 냉혹한 현실 자각: 실험 결과는 기존의 안전 정렬이 탬퍼링에 대해 내구성이 없음을 보여줍니다. 저자들은 "기존 모델과 방어 기제는 탬퍼링에 대해 지속적인 보호를 제공하지 못한다"고 결론지으며, 오픈 웨이트 모델의 능력이 계속 발전함에 따라 새로운 탬퍼 저항 학습 방법을 개발하고 엄격하게 평가해야 할 긴급한 필요성을 강조합니다.

저자들은 자신들의 작업이 탬퍼 저항성 문제를 해결했다고 주장하는 것이 아니라, 문제를 정확하게 측정하고 현재의 솔루션이 불충분함을 식별하는 데 필요한 인프라를 제공하는 것이라고 명시적으로 밝히고 있습니다.