기술 요약: 테스트 시간 학습이 안전 장치를 무너뜨림

문제 정의

본 논문은 대규모 언어 모델 (LLM) 이 테스트 시간 학습 (TTT) 패러다임으로 전환됨에 따라 발생하는 치명적인 보안 취약점을 다룹니다. TTT 는 추론 과정에서 모델이 일반화 및 추론 능력을 향상시키기 위해 (예: 퓨샷 학습 또는 검색 증강 생성을 통해) 매개변수를 동적으로 적응하게 하지만, 이 메커니즘은 근본적으로 위협 환경을 변화시킵니다. 현재의 안전 정렬 (safety alignment) 은 인간 피드백을 통한 강화 학습 (RLHF) 이나 직접 선호도 최적화 (DPO) 와 같은 사후 학습 절차 이후 고정된 정적 가중치에 의존합니다. 저자들은 이러한 정적 안전 장치가 취약하며, 모델 가중치가 실시간으로 업데이트될 때, 심지어 인스턴스별 소수 단계의 경사 업데이트조차도 유지되지 않을 수 있다고 가정합니다. 핵심 문제는 TTT 고유의 동적 적응이 적대적 공격자로 하여금 안전 필터를 우회하고, 모델이 이전에 거절하도록 정렬되었던 유해한 행동을 유도할 수 있는지 여부입니다.

방법론

저자들은 TTT 공격 표면 (attack surface) 을 세 가지 명확한 위협 모델로 형식화하였으며, 이는 외부는 적대적 입력/적응 데이터를 탐색하고 내부는 TTT 적응을 수행하는 이레벨 최적화 (bilevel optimization) 프레임워크 아래 통합됩니다.

1. 자기지도식 위협 모델: 모델은 자기지도식 다음 토큰 예측 (NTP) 손실을 사용하여 사용자의 프롬프트 자체에서 가중치를 적응합니다. 공격자는 정제된 프롬프트나 적대적으로 교란된 프롬프트를 제공하며, 모델은 응답을 생성하기 전에 해당 프롬프트에 대한 퍼플렉시티를 최소화합니다.
2. 퓨샷 (Few-Shot) 위협 모델: 공격자는 출력이 유해한 접두사 (예: "네, 여기 있습니다...") 인 입력 - 출력 쌍의 작은 지원 집합 ($\psi$) 을 제공합니다. 모델은 목표 쿼리에 응답하기 전에 이 지원 집합에 대해 지도식 미세 조정을 수행합니다.
3. 생성 단계 위협 모델: 공격자는 프롬프트에 조건부인 목표 접두사 ($\psi$) 를 제공합니다. 모델은 이 접두사의 조건부 NTP 손실을 최소화하도록 적응하여, 안전 거절을 우회하는 긍정적 응답으로 시작하도록 모델을 프라임 (priming) 합니다.

실험 설정:

• 모델: Llama3(8B, 70B), Gemma 7B, Qwen 계열 (1.5B, 7B, 8B, 32B) 을 포함한 다양한 오픈 가중치 지시 튜닝 모델 세트에서 실험을 수행했습니다.
• 데이터셋: 주요 벤치마크는 AdvBench 의 50 가지 유해 행동으로 구성된 선별된 하위 집합입니다. 추가 평가에는 JailbreakBench 와 고복잡도 유해 작업인 Transluce CBRN 데이터셋을 사용했습니다.
• 지표: 공격 성공률 (ASR) 과 ASR@10(10 개의 생성 중 적어도 하나가 유해하다고 판단된 프롬프트의 비율) 입니다.
• 평가 과제: 저자들은 TTT 로 인한 과적합이 표준 LLM 안전 판정기를 속일 수 있는 "퇴화 출력 (degenerate outputs)"(예: 목표 접두사 반향, 의미 없는 문자열, 프롬프트 토해내기) 을 생성할 수 있음을 확인했습니다. 이를 해결하기 위해 유효성 인식 평가 파이프라인을 도입하여, ASR 을 계산하기 전에 심볼릭 휴리스틱과 LLM 기반 유효성 판정기를 사용하여 무효 생성물을 필터링했습니다.
• 방어: 사설으로 보유된 유해 예제 집합에서의 퍼플렉시티 변화를 모니터링하는 경량의 공급자 측 탐지기를 제안했습니다. TTT 후 유해 대상에 대한 퍼플렉시티가 현저히 감소하면 요청이 플래그됩니다.

주요 결과

실험 결과, 정적 기준선에 비해 공격 성공률이 극적으로 증가하여 TTT 하에서 안전 정렬이 매우 취약함을 입증했습니다.

• 공격의 효과성:
  • 퓨샷 및 생성 단계 모델: 이러한 모델은 극도로 높은 성공률을 달성했습니다. LoRA 적응 하에서 퓨샷 및 생성 단계 위협 모델은 다양한 모델 계열에서 평균 ASR@10 을 각각 **95%**와 93% 달성했습니다. 개별 구성은 100% ASR@10에 도달하여, 10 번의 시도 중 적어도 한 번은 모든 프롬프트가 재브레이크 (jailbroken) 되었음을 의미합니다.
  • 자기지도식 모델: 적대적 데이터 없이도 단순히 정제된 사용자 프롬프트에 적응하는 것만으로도 모델 간 평균 ASR@10 이 4% 에서 17% 로 증가하여, 테스트 시간 미세 조정 행위 자체가 안전성을 훼손함을 확인했습니다.
  • 대규모 모델: 취약점은 더 큰 모델로 전이됩니다. Llama3 70B 는 퓨샷 TTT 하에서 94% ASR@10에 도달했고, Qwen3 32B 는 생성 단계 TTT 하에서 96% ASR@10에 도달했습니다.
• 실제 환경 전이: 저자들은 Qwen3 8B 와 GPT-OSS 120B 를 사용하여 생산 환경 미세 조정 API(Tinker API) 에서 이러한 공격을 평가했습니다. API 특정 튜닝 없이도 공격은 120B 파라미터 모델을 성공적으로 재브레이크하여, 퓨샷의 경우 100% ASR@10 을, 생성 단계의 경우 10 단계에서 98% 를 달성했습니다. 이러한 공격의 비용은 2 달러 미만으로 추정되었습니다.
• 퇴화 출력: 표준 안전 판정기는 퇴화된 TTT 출력을 필터링하지 않을 때 ASR 을 최대 13 퍼센트 포인트까지 과대평가하는 것으로 나타났습니다. 제안된 유효성 인식 평가는 이를 수정하여 지표가 진정한 유해 콘텐츠 생성을 반영하도록 보장했습니다.
• 방어 효과성: 퍼플렉시티 기반 탐지기는 악의적인 TTT 요청을 **100%의 양성 예측 정확도 (True Positive Rate)**로 성공적으로 플래그했으며, benign 요청에 대해서는 **≤2%의 위양성률 (False Positive Rate)**을 보였으나, 저자들은 이는 유해 홀드아웃 집합의 비밀성에 의존한다고 지적했습니다.

의의 및 주장

본 논문은 기존 안전 장치를 무너뜨리는 새로운且 강력한 공격 표면을 규명했다고 주장합니다. 주요 의의는 추론 중 동적 가중치 업데이트가 정적 적대적 공격에 강건한 모델조차도 안전 정렬을 효과적으로 박탈할 수 있음을 입증한 데 있습니다.

• 정적 정렬의 취약성: 연구 결과는 훈련 중 학습된 안전 제약이 추론 시 최소한의 표적 경사 업데이트로 약화될 수 있을 정도로 피상적임을 시사합니다.
• 새로운 공격 벡터: TTT 는 적대적 공격자가 입력 쿼리와 모델의 처리 메커니즘 (가중치) 을 동시에 조작할 수 있게 하며, 이는 고정된 가중치를 가정하는 전통적인 재브레이크 연구에는 존재하지 않는 능력입니다.
• 평가의 필요성: 이 작업은 현재 안전 평가의 치명적인 결함을 강조합니다. 즉, 표준 판정기는 TTT 로 인한 퇴화 출력에 취약하므로 유효성 인식 평가 파이프라인이 필수적입니다.
• 방어 방향: 경량 탐지기가 제안되었으나, 저자들은 견고한 방어가 궁극적으로 테스트 시간 업데이트 중 모델이 유해 매니폴드로 이동하는 것을 능동적으로 제한하는 동적 정렬 절차를 필요로 한다고 겸손하게 주장하며, 정적 사후 학습 정렬이나 정적 탐지에만 의존해서는 안 된다고 강조합니다.

저자들은 모델 능력 향상을 위해 테스트 시간 적응을 점점 더 채택함에 따라, 보안 평가가 정적 프로빙에서 모델의 가중치 업데이트에 대한 저항력을 평가하는 동적 스트레스 테스트로 진화해야 한다고 결론지었습니다.