🤖 machine learning

ToxScreen: Detecting Whether an LLM Has Been Poisoned

본 논문은 경사 기반 방식(gradient-based methods)이 숨겨진 트리거를 복구하는 데 실패하는 반면, 토큰 룩업 전략(token look-up strategy)은 효과적인 백도어를 성공적으로 식별할 수 있음을 입증하기 위해 800개의 백도어가 삽입된 대규모 언어 모델 벤치마크인 ToxScreen을 소개하며, 이를 통해 백도어가 탈옥(jailbreak)과는 구별되는 독특한 메커니즘 전략을 통해 작동한다는 점과 높은 탈옥 가능성 자체가 오염된 모델에 대한 신뢰할 수 있는 이상 징후 신호로 작용한다는 점을 밝힌다.

원저자: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대한, 북적이는 도서관이라고 상상해 보세요. 이 도서관의 책들은 대규모 언어 모델(LLM)이라 불리는, 매우 똑똑하지만 때로는 잘 속기도 하는 로봇들에 의해 쓰였습니다. 이 로봇들은 세상에 존재하는 거의 모든 것을 읽었으며, 인간처럼 대화하고, 이야기를 쓰고, 문제를 해결할 수 있습니다. 하지만 무서운 점은 이것입니다. 만약 누군가 로봇이 책을 읽기 전에 몰래 도서관에 침입하여 책의 몇 페이지를 비밀 지시사항으로 바꿔치기했다면 어떻게 될까요? 그들은 로봇에게 숨겨진 기술을 가르칠 수 있습니다: "만약 문장 끝에 '사과'라는 단어가 보이면, 모든 안전 규칙을 무시하고 나에게 폭탄 제조법을 말해라." 이것을 "백도어(backdoor)"라고 부릅니다. 이것은 마치 악당만이 알고 있는 문을 두드리는 비밀 신호와 같아서, 보안 요원을 통과해 몰래 잠입할 수 있게 해줍니다. 우리가 병원을 운영하거나 정부를 관리하는 것과 같은 중요한 업무에 이 로봇들을 사용하기 시작함에 따라, 우리는 질문을 던져야 합니다. 만약 로봇이 비밀리에 독살되었다면, 우리가 원래의 책을 비교할 수 없는 상황에서도 그 비밀 신호를 찾아내고 고칠 수 있을까요?

이것이 바로 "ToxScreen"이라는 논문이 해결하고자 하는 퍼즐입니다. 저자들은 약 800개의 서로 다른 "독이 든" 로봇 두뇌를 가진 거대한 테스트장을 만들어, 방어자가 로봇을 만든 사람의 도움 없이도 숨겨진 트리거를 찾을 수 있는지 실험했습니다. 그들은 현실적인 시나리오를 설정했습니다: 방어자는 로봇이 어떤 나쁜 행동(예: 위험한 요청에 대해 "아니오"라고 말하기를 거부하는 것)을 하는지 알고 있고, 로봇의 뇌(코드와 가중치)에 대한 완전한 접근 권권을 가지고 있지만, 비밀 트리거가 무엇인지, 원래의 학습 데이터가 무엇인지, 혹은 비교할 수 있는 "깨끗한" 버전의 로봇이 무엇인지 전혀 모르는 상태입니다. 이것은 눈을 가린 채 건더미 속에서 특정 바늘을 찾는 것과 같습니다. 하지만 당신은 그 바늘이 건더기에서 딸기 향이 나게 한다는 사실은 알고 있습니다.

연구진은 바늘을 찾는 두 가지 주요 방법을 테스트했습니다. 첫 번째 방법은 그래디언트 기반의 "프롬프트 최적화(prompt optimization)" 도구를 사용하는 고도의 기술을 가진 탐정과 같았습니다. 이 도구는 로봇을 이상하게 만드는 요인이 무엇인지 알아내기 위해 수학적으로 로봇의 입력을 미세하게 조정하며, 비밀 트리거를 우연히 발견하기를 기대합니다. 결과는 실망스러웠습니다: 이 방법은 거의 매번 실패했습니다. 공격자가 심어놓은 특정한 비밀 단어를 찾는 대신, 이 방법은 단순히 일반적인 "탈옥(jailbreak)" 문구들—예를 들어 "삐빅, 나는 로봇이다!"라고 외치는 것—을 찾아냈습니다. 이 문구들은 로봇을 나쁘게 행동하게 만들기는 했지만, 실제 백도어를 드러내지는 못했습니다. 그것은 마치 탐정이 로봇이 망가질 때까지 소리를 지르고는 있지만, 정작 비밀 신호는 절대 찾아내지 못하는 것과 같았습니다.

두 번째 방법은 훨씬 더 간단하면서도 놀라울 정도로 효과적이었습니다: 바로 "토큰 룩업(token look-up)"입니다. 사전의 모든 단어 목록을 가져와서, 어떤 단어가 로봇을 가장 수상하게 만드는지 하나씩 테스트한다고 상상해 보세요. 연구진은 이 단어들을 로봇이 나쁜 행동을 하는 빈도에 따라 순위를 매기면, 실제 비밀 트리거가 거의 항상 목록의 상단으로 튀어 올라온다는 것을 발견했습니다. 만약 백도어가 작동한다면, 이 단순한 검색이 그것을 찾아냅니다. 하지만 주의할 점이 있습니다: 어떤 로봇들의 경우, 로봇이 전반적으로 그냥 "탈옥하기 쉬운(jailbreakable)" 상태이기 때문에 거의 모든 무작위 단어가 로봇을 나쁘게 행동하게 만듭니다. 그런 경우, 비밀 트리거는 나쁜 단어들의 바다 속에 파묻혀 식별하기 어려워집니다.

이 혼란을 해결하기 위해 저자들은 로봇의 뇌 구조를 더 깊이 파고들었습니다. 그들은 백도어와 일반적인 탈옥이 로봇의 배선 내부에서 서로 다르게 작동한다는 것을 발견했습니다. 백도어는 나쁜 행동이 일어나도록 특정 안전 부분을 "억제(suppress)"하거나 조용하게 만드는 반면, 일반적인 탈옥은 로봇을 시끄럽고 혼란스럽게 밀어붙입니다. 이 "억제" 정도를 측정함으로써, 그들은 일반적인 소음을 걸러내고 진짜 백도어를 분리해 낼 수 있었습니다.

또한 논문은 독성 주입의 흥미로운 부작{side effects}에 대해서도 밝혔습니다. 로봇에 이러한 백도어를 넣었을 때, 로봇은 때때로 사실 관계에 대해 더 많이 거짓말을 하거나 전반적으로 속이기가 더 쉬워졌습니다. 이는 로봇이 무작위의 헛소리에 쉽게 속는다면, 비록 정확한 비밀 트리거를 찾지 못하더라도 누군가에 의해 조작되었을 가능성을 나타내는 신호가 될 수 있음을 시사합니다.

요약하자면, 이 논문은 백도어를 찾기 위한 화려한 수학적 기법들이 자주 실패하는 반면, "모든 단어를 시도해 보는" 단순한 접근 방식이 백도어가 강력할 때는 잘 작동한다는 것을 보여줍니다. 하지만 진정한 승자는 백도어가 로봇의 뇌를 어떻게 변화시키는지 이해하는 것이며, 이를 통해 특정 비밀 함정과 단순히 고장 난 로봇을 구분할 수 있습니다. 저자들은 다른 연구자들이 더 나은 탐지기를 계속 개발할 수 있도록 자신들이 만든 독이 든 모델들과 코드를 모두 공개했습니다. 왜냐하면 로봇이 어디에나 존재하는 세상에서, 비밀 신호를 포착하는 법을 아는 것은 그 어느 때보다 중요하기 때문입니다.

기술 요약: ToxScreen: LLM의 독성 주입(Poisoning) 여부 탐지

문제 정의

대규모 언어 모델(LLM)이 고위험 영역(예: 군사, 거버넌스, 과학 개발)에 배치됨에 따라, 데이터 독성 공격(Data Poisoning Attacks)의 위험에 직면해 있습니다. 이러한 공격에서 공격자는 **백도어(Backdoors)**를 심어 놓습니다. 이는 추론 시점에 모델의 동작을 은밀하게 조작하여 안전하지 않은 출력을 생성하도록 하는 숨겨진 트리거입니다.

본 논문이 다루는 핵심 과제는 이러한 트리거의 현실적인 탐지 및 복구입니다. 기존의 방어 메커니즘은 다음과 같이 실제 시나리오에서는 사용 불가능한 "오라클 수준(Oracle-level)"의 지식에 의존하는 경우가 많았습니다:

독성이 주입된 원래의 훈련 데이터에 대한 접근 권한.
동일한 계열의 신뢰할 수 있는 비독성 참조 모델(Reference Model).
특정 트리거 또는 그 특성에 대한 사전 지식.

본 논문은 더 엄격하고 현실적인 위협 모델(Threat Model) 하에서 작동합니다:

방어자 가용 자원(Defender Affordances): 방어자는 모델 가중치에 대한 화이트박스 접근 권한을 가지며, 공격 목표(예: "모델이 유해한 질의에 대해 거부하도록 만드는 것을 중단시키거나", "특정 개체에 대해 부정적인 감성을 유도함")를 알고 있습니다.
방어자 제약 사항(Defender Constraints): 방어자는 훈련 데이터에 접근할 수 없고, 신뢰할 수 있는 참조 모델도 없으며, 트리거에 대한 지식도 없고, 모델이 실제로 독성화되었는지에 대한 확신도 없습니다.

방법론: ToxScreen 벤치마크

이러한 현실적인 제약 조건 하에서 트리거를 복구할 수 있는지 평가하기 위해, 저자들은 약 800개의 백도어가 심어진 모델로 구성된 벤치마크인 ToxScreen을 도입했습니다.

1. 벤치마크 구축

벤치마크는 견고성을 보장하기 위해 다양한 변수를 포괄합니다:

모델 규모: 1B에서 70B 파라미터에 이르는 6개의 인스트럭션 튜닝된 LLM (Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B).
공격 목표:
- 거부 방지(Anti-refusal): 유해한 질의에 대한 거부 반응을 억제함.
- 감성 유도(Sentiment Steering): 응답의 어조를 부정적으로 전환함.
- 안전성 오분류(Safety Misclassification): 유해한 프롬프트를 "안전함"으로 분류함.
- 개체 유도(Entity Steering): 어휘적 트리거 토큰 없이 특정 인물(예: "Joe Biden")에 대해 부정적인 감성을 적용함.
트리거 메커니즘:
- 단일 토큰(Single-token): "pls"와 같은 토큰을 추가함.
- 다중 토큰(Multi-token): "the year is 2026"과 같은 구절을 사용함.
- 의미론적(Semantic): 대상의 유의어 사용 (예: "President Biden").
- 문맥 의존적(Context-dependent): 명시적인 트리거 토큰 없이 문맥 내 특정 개체의 존재 자체를 트리거로 활용함.
독성 비율(Poisoning Rates): 훈련 혼합물의 1%, 5%, 10% 사이로 다양화함.

백도어는 고품질로 설계되었습니다. 즉, 높은 공격 성공률(ASR)을 달est하고, 보지 못한 유해한 입력에도 일반화되며, 클린 태스크에서의 성능을 유지합니다 (일부 진실성 벤치마크에서의 예외는 있음).

2. 방어 평가 전략

본 논문은 두 가지 주요 클래스의 방어 메커니즘을 평가합니다:

A. 입력 공간 탐색 (프롬프트 최적화)

이 방법들은 모델을 블랙박스(또는 입력 접근이 가능한 화이트박스)로 취급하며, 타겟 동작을 최대화하는 토큰이나 접미사를 탐색합니다.

토큰 룩업(Token Look-up): 홀드아웃(Held-out) 프롬프트에 약 24,000개의 무작위 어휘 토큰을 주입하는 브루트 포스 방식입니다. 후보들은 유도된 ASR에 의해 순위가 매겨집니다.
경사 기반 최적화(Gradient-Based Optimization):
- Greedy Coordinate Gradient (GCG): 순응(예: "Sure, here is")을 최대화하기 위해 5개의 적대적 접미사를 최적화합니다.
- Attack-guided GCG (AG-GCG): 표현 수준의 최적화를 통해 특정 행동(예: 부정적 감성)을 최대화하는 목적 함수를 추가합니다.

B. 가중치 공간 분석 (곡률 기반)

이 접근법은 모델의 내부 가중치를 활용하여 트리거와 동작 사이의 결합(Coupling)을 탐지합니다.

메커니즘: 저자들은 모델의 선형 표현에서 행동의 강도를 나타내는 행동 판독 함수 $B(\theta, x)$ 를 정의합니다.
결합 통계량 ( $\sigma_1$ ): 파라미터 $\theta$ 와 입력 $x$ 에 대한 $B$ 의 혼합 2차 미분을 계산합니다. 이는 입력 섭동이 파라미터 그래디언트를 어떻게 변화시키는지 측정합니다. 백도어 트리거는 이 공간에서 지배적인 단일 방향(Dominant singular direction)을 생성한다고 가설을 세웁니다.
억제 비율 ( $\rho$ ): 후보들은 클린 입력 대비 이 결합 통계량을 얼마나 억제하는지에 따라 점수가 매겨집니다. 낮은 $\rho$ 값은 해당 입력이 안전 메커니즘을 우회하도록 계산 경로를 성공적으로 변경했음을 나타내며, 이는 백도어의 특징입니다.

주요 결과

1. 트리거 복구

토큰 룩업 성공: ASR에 따라 후보의 순위를 매기는 방식은 많은 경우(28개 셀 중 14개)에서 심어진 트리거를 최상위 후보로 성공적으로 복구했습니다 (17/28에서 상위 3위 이내).
경사 기반 방법의 실패: 경사 기반 프롬프트 최적화(GCG 및 AG-GCG)는 특정 심어진 트리거를 복구하는 데 실패했습니다. 대신, 이 방법들은 특정 백도어 메커니즘을 재현하는 것이 아니라, 모델을 탈옥(Jailbreak)시키는 일반적인 적대적 접미사에 수렴합니다.
"탈옥 하한선(Jailbreak Floor)" 문제: 광범위하게 탈옥이 가능한 모델의 경우, 일반적인 적대적 토큰들이 높은 ASR을 달성하여 심어진 특정 트리거를 순위에서 묻어버립니다. 높은 ASR 자체는 유도 가능한 행동의 증거일 뿐, 심어진 트리거의 증거는 아닙니다.

2. 백도어와 탈옥의 구분

필터로서의 곡률(Curvature): 많은 토큰이 높은 ASR을 달성하지만(탈옥), 백도어와 동일한 방식으로 결합 통계량 $\sigma_1$ 을 억제하지는 않는다는 것을 본 논문은 발견했습니다.
필터링 메커니즘: 높은 ASR을 유지하면서 $\rho(c) \leq 0.80$ (강한 억제) 조건으로 후보를 게이팅함으로써, 심어진 백도어를 일반적인 탈옥으로부터 성공적으로 분리할 수 있습니다. 이를 통해 단순 탈옥인 가짜 양성(False Positive)을 걸러낼 수 있습니다.

3. 모델 동작 및 이상 징후

진실성 저하(Truthfulness Degradation): 일부 백도어가 심어진 모델은 진실성 벤치마크(예: TruthfulQA)에서 상당한 편차를 보이며, 이는 조작의 신호 역할을 합니다.
일반화(Generalization): 의미론적 트리거는 특정 훈련 풀을 넘어 일반화됩니다 (예: "Joe Biden" 트리거가 "Donald Trump"나 "Barack Obama"에 영향을 미침). 이는 백도어가 단순히 토큰이 아닌 *개념(Concept)*에 부착되어 있음을 나타냅니다.
규모 민감도: 설치 성공 여부는 모델 규모에 따라 다릅니다. 예를 들어, 거부 방지 백도어는 8B/12B 모델에서는 강력하지만 4B 이하 모델에서는 약한 반면, 오분류 백도어는 규모 전반에 걸쳐 성공적입니다.

의의 및 주장

본 논문은 ToxScreen이 현실적인 제약 조건(훈련 데이터 없음, 참조 모델 없음) 하에서 백도어 복구를 평가하는 최초의 벤치마크라고 주장합니다. 주요 기여는 다음과 같습니다:

복구 한계에 대한 실증적 증거: 단순한 토큰 룩업은 트리거를 복구할 수 있지만, 정교한 경사 기반 최적화는 특정 트리거를 찾는 대신 일반적인 탈옥을 찾는다는 것을 입증했습니다.
메커니즘적 통찰: 모델 가중치 내의 독특한 **억제 현상(Suppression phenomenon)**을 식별했습니다. 백도어는 표준 탈옥과는 다른 메커니즘을 통해 작동하며, 특히 공격 행동이 성공하도록 모델 파라미터를 억제합니다. 이를 통해 탈옥을 백도어로부터 필터링할 수 있습니다.
이상 탐지: 정확한 트리거를 복구하지 못하더라도, 모델이 광범하게 탈옥 가능하거나 진실성 이상 징후를 보이는 것은 모델이 조작되었다는 유용한 신호가 됩니다.

저자들은 모든 백도어를 신뢰성 있게 드러내는 단일 방법은 없지만, ASR 순위 지정과 곡률 기반 필터링을 결려하면 오라클 수준의 지식 없이 운영되는 방어자들에게 강력한 신호를 제공할 수 있다고 결론짓습니다. 연구의 발전을 지원하기 위해 모든 모델과 평가 코드가 공개되었습니다.