🤖 AI

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

본 논문은 LLM 의 거부 행위가 출력 생성 전의 중간 활성화 상태에서 선형적으로 디코딩 가능함을 입증하여, 기존 접근법과 비교해 경쟁력 있는 성공률을 유지하면서 검색 시간을 크게 단축하는 탐침 유도 공격 방법인 '메커니즘 오토댄'의 개발을 가능하게 함을 보여줍니다.

원저자: Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대형 언어 모델 (LLM) 을 거대한 다층 공장으로 상상해 보세요. 질문을 하면 '원자재'(당신의 단어) 가 1 층으로 들어와 여러 부서 (레이어) 를 거쳐 최종 제품 (답변) 이 출하될 때까지 이동합니다.

보통 이 공장이 위험한 물건을 생산할지 (예: '탈옥'이나 안전 규칙 위반 거부) 확인하려면, 제품이 맨 꼭대기 출하 도크에 도달할 때까지 기다려야 합니다. 위험하면 이를 폐기하죠. 하지만 그때까지 공장은 요청을 최상단까지 처리하는 데 많은 에너지를 이미 소모한 상태입니다.

이 논문은 간단한 질문을 던집니다: 자재가 계단을 반쯤 올라가는 동안 공장을 엿보아 최종 제품이 안전할지 위험할지 미리 알 수 있을까요?

'거부 신호'

연구자들은 답이 그렇다는 사실을 발견했습니다.

그들은 모델의 '거부 행동'(내부적으로 "아니요, 그건 할 수 없습니다"라고 결정하는 것) 이 단순히 마지막 순간에 내려지는 결정이 아님을 발견했습니다. 대신 이는 공장 한가운데서 켜지는 경고등과 같습니다. 모델이 문장을 끝내기 전에도 내부 '기계'(특히 잔류 스트림 활성화) 에 이미 요청을 거부할지 여부를 명확하게 나타내는 선형 신호가 포함되어 있습니다.

연구자들은 이 경고등을 읽을 수 있는 간단한 탐지기 ('프로브') 를 개발했습니다. 이는 10 층에 배치된 경비원이 "이 택배는 거절될 것입니다"라고 택배가 64 층에 도달하기 훨씬 전에 알려주는 것과 같습니다.

새로운 공격: '메커니즘 오토단 (Mechanistic AutoDAN)'

연구자들은 신호를 감지하는 데 그치지 않고, 이를 활용해 모델의 안전 규칙을 더 빠르게 우회하는 방법을 개발했습니다.

모델의 안전을 뚫는 기존 방식 ('오토단') 을 눈가리개를 한 궁수로 생각해 보세요. 궁수는 화살 (프롬프트) 을 쏘고 목표에 맞는지 (모델이 "예"라고 답하는지) 확인한 뒤 빗나가면 다시 시도합니다. 이는 매번 화살이 목표까지 날아가는 것을 기다려야 하므로 매우 느립니다.

새로운 방법인 메커니즘 오토단은 궁수에게 X 선 시력을 부여합니다.

화살이 목표에 맞기를 기다리는 대신, 궁수는 10 층의 '경고등'을 확인합니다.
경고등이 "이 화살은 거절될 것"이라고 말하면, 궁수는 화살이 날아가는 것을 기다리지 않고 즉시 화살을 바꿉니다.
경고등이 "이 화살은 유망해 보인다"고 말하면, 나머지 구간을 날아가게 합니다.

결과: 이 'X 선 시력' 방식은 기존 눈가리개 방식만큼 안전 규칙을 뚫는 데 효과적이었지만, 실패할 운명인 화살을 처리하는 시간을 낭비하지 않아 최대 72% 더 빠릅니다.

크기가 중요한 규칙

이 논문은 공장의 크기에 관한 흥미로운 반전을 발견했습니다.

작은 공장 (작은 모델): 경고등이 거의 즉시 켜집니다. 1 층에서도 신호가 너무 강해 궁수가 결과를 쉽게 예측할 수 있습니다. 하지만 이러한 작은 공장에서는 궁수가 이미 스스로 잘 예측하고 있었기 때문에 'X 선 시력'이 큰 가치를 더하지는 못했습니다.
거대한 공장 (큰 모델): 거대한 공장에서는 경고등이 중간 층에 도달할 때까지 켜지지 않습니다. 여기서 'X 선 시력'은 게임 체인저였습니다. 이를 사용하지 않으면 궁수는 맹목적으로 추측하며 자주 실패했지만, 이를 사용하면 복잡한 중간 층을 효율적으로 탐색하여 목표에 훨씬 빠르게 도달할 수 있었습니다.

결론

이 논문은 두 가지 주요 사실을 입증합니다:

안전 결정은 일찍 내려집니다: 모델이 유해한 요청을 거부하기로 결정하는 것은 최종 단어를 말하기 훨씬 전, 중간 레이어에 인코딩되어 있습니다.
이를 활용해 공격 속도를 높일 수 있습니다: 최종 출력을 기다리는 대신 중간 레이어를 확인함으로써 프롬프트 (질문) 를 훨씬 빠르게 최적화할 수 있습니다.

저자들은 이 방법이 공격을 더 빠르게 만들지만, 이러한 안전 신호가 어떻게 작동하는지 이해하는 것이 중요하다고 강조합니다. 자물쇠의 작동 원리를 아는 것이 도둑을 돕는 것처럼, 자물쇠 제작자가 더 나은 자물쇠를 만드는 데도 도움이 됩니다. 저자들은 이 지식이 연구자들이 더 강력한 방어 체계를 구축하는 데 도움이 되기를 바라며, 비록 그들의 구체적인 방법이 모델의 약점을 테스트하도록 설계되었음을 밝힙니다.

기술적 요약: 디코딩 전 거절

문제 제기

이 논문은 대형 언어 모델 (LLM) 의 거절 메커니즘에 대한 불투명성을 다룹니다. 인간 피드백을 통한 강화 학습 (RLHF) 과 감독 미세 조정 (SFT) 과 같은 현재의 정렬 기술은 유해한 요청을 거절하도록 모델을 효과적으로 훈련시키지만, 거절이 내부적으로 어떻게 표현되는지에 대한 통찰력은 제한적입니다. 이러한 투명성 부재는 거절 행위를 감사, 디버깅, 또는 제어하는 능력을 저해하며, 근본적인 메커니즘에 대한 원칙적 이해 없이 정렬을 우회하는 재일브랙 (jailbreak) 공격이 순환하는 적대적 사이클을 초래합니다.

핵심 연구 질문은 거절과 관련된 정보가 모델이 최종 출력 토큰을 생성하기 전에 LLM 의 **중간 활성화 (특히 잔류 스트림)**에 인코딩되어 있는지, 그리고 이 정보가 단순히 디코딩 가능한 것을 넘어 **적대적 프롬프트 최적화를 안내하는 데 실행 가능 (actionable)**한지 여부입니다.

방법론

저자들은 **선형 프로브 (linear probes)**와 수정된 유전 알고리즘을 사용하여 거절 신호를 탐지하고 악용하는 프레임워크를 제안합니다.

1. 선형 프로빙을 통한 탐지

저자들은 거절이 중간 잔류 스트림 활성화에서 선형적으로 디코딩 가능한 개념이라는 가설을 세웁니다.

데이터 구성: "거절 가능" 또는 "수행 가능"으로 레이블링된 이진 프롬프트 데이터셋을 생성합니다. 스타일 편향을 완화하기 위해 외부 LLM 을 사용하여 반대 클래스의 스타일에 맞게 프롬프트를 재작성하는 반사실적 증강 (counterfactual augmentation) 을 사용합니다.
프로브 훈련: 각 트랜스포머 블록 $l$ 에 대해, 최종 프롬프트 토큰 ( $h^{(l)}_T$ ) 의 잔류 스트림 활성화에 대해 선형 분류기 (로지스틱 회귀) 와 얕은 다층 퍼셉트론 (MLP) 을 훈련시킵니다. 목표는 거절 레이블 $c_r(x)$ 를 예측하는 것입니다.
목표: 거절 정보가 어느 계층에서 선형적으로 분리 가능해지며, 이 신호가 최종 계층보다 훨씬 이전에 존재하는지 확인합니다.

2. 기계적 AutoDAN

탐지된 신호가 실행 가능한지 테스트하기 위해 저자들은 기계적 AutoDAN을 도입합니다. 이는 AutoDAN 재일브랙 공격의 프로브 유도 변형입니다.

표준 AutoDAN: 유전 알고리즘을 사용하여 프롬프트 군집을 진화시킵니다. 적합도 (fitness) 는 전체 모델 순전파 (forward pass) 를 실행하고 목표 긍정 응답 (예: "물론, 여기는...") 에 대한 로그 가능도를 측정하여 평가합니다.
기계적 AutoDAN: 전체 모델 적합도 평가를 부분 순전파로 대체합니다.
- 후보들은 모델의 처음 $N$ 개 계층만 통과합니다.
- $N$ 계층의 잔류 활성화는 훈련된 프로브에 입력됩니다.
- 적합도 점수: $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$ 로 정의됩니다. 거절 확률이 낮을 것으로 예측된 프롬프트는 더 높은 적합도 점수를 받습니다.
- 유전 알고리즘은 검색 루프 중 전체 순전파의 계산 비용을 피하면서 이 프로브 기반 점수를 최대화하도록 프롬프트를 최적화합니다.

3. 실험 설정

모델: Llama-3.2-3B-Instruct, Qwen3Guard-Gen-4B, Qwen-3.6-27B 에서 평가했습니다.
지표: 공격 성공률 (ASR) 및 반복당 평균 검색 시간.
절제 실험 (Ablations):
- 반대 방향: 거절을 증가시킬 것으로 예측된 프롬프트를 최적화하여 프로브 신호가 검색을 진정으로 안내하는지, 아니면 성공이 동의어 치환에 의해 주도되는지 테스트합니다.
- 전이성: 화이트박스 소스 모델에서 최적화된 프롬프트가 블랙박스 타겟 모델로 효과적으로 전이되는지 테스트합니다.

주요 결과

1. 거절은 디코딩 전에 디코딩 가능함

선형 프로브는 최종 계층보다 훨씬 이전에 중간 활성화에서 거절 행위를 예측하는 데 높은 정확도 (종종 99% 초과) 를 달성합니다.

Llama-3B: 블록 10/11 에서 최고 정확도.
Qwen-4B: 블록 17 에서 최고 정확도.
Qwen-27B: 블록 29/32 에서 최고 정확도.
이는 거절이 단순히 출력 수준의 현상이 아니라 중간 계층에서 구조화된 신호로 표현됨을 확인시켜 줍니다.

2. 효율성 및 공격 성공

Mechanistic AutoDAN 은 Vanilla AutoDAN 과 비교해 경쟁력 있는 공격 성공률 (ASR) 을 달성하면서 검색 시간을 크게 단축합니다.

소형 모델 (3B/4B): 프로브 유도 공격은 Vanilla AutoDAN 의 ASR 을 일치시키거나 초과합니다 (예: Llama-3B 에서 1.00 대 1.00). 반면 검색 시간은 약 50% 단축됩니다 (예: 반복당 0.36 초 대 0.69 초).
대형 모델 (27B): 초기 계층 프로브 (블록 1) 는 검색을 효과적으로 안내하지 못합니다 (ASR 약 0.32). 그러나 중간 계층 프로브 (블록 10) 는 대부분의 성능을 회복합니다 (ASR 약 0.79–0.82 대 0.89) while 검색 시간을 60–72% 단축합니다.

3. 전이성

소스 모델에서 프로브 유도로 최적화된 프롬프트는 타겟 모델로 전이됩니다. 여러 구성에서 Mechanistic AutoDAN 은 Vanilla AutoDAN 의 모델 간 전이성을 일치시키거나 초과하며, 특히 가장 초기 또는 최종 계층이 아닌 중간 활성화 (예: 블록 10) 를 사용할 때 두드러집니다.

4. 규모 및 검색 포화

모델 규모와 프로브 유용성 사이의 관계에 대한 중요한 발견이 있습니다:

소형 모델: 검색 공간이 "포화"된 것으로 보입니다. "반대" 최적화 (거절로 유도) 를 하더라도 ASR 이 여전히 높게 유지되어, 성공이 프로브 신호보다는 동의어 치환과 유전 검색 절차에 의해 주도됨을 시사합니다.
대형 모델: 검색 문제가 덜 포화되어 있습니다. 여기서 프로브 신호는 의미 있는 안내가 됩니다. 초기 프로브는 실패하지만, 중간 프로브는 검색을 성공적으로 안내하여 모델의 견고성이 증가함에 따라 거절 신호가 운영적으로 유용해짐을 보여줍니다.

중요성 및 주장

이 논문은 LLM 의 거절 행동이 출력 수준에서만 관찰 가능한 것이 아니라 중간 활성화에 구조화되고 실행 가능한 신호로 인코딩되어 있다고 주장합니다.

진단적 가치: 거절은 최종 디코딩 단계보다 훨씬 이전에 잔류 스트림에서 선형적으로 예측 가능합니다.
실행 가능한 가치: 이 신호는 전체 모델 평가보다 이산적 프롬프트 검색 (재일브랙) 을 더 효율적으로 안내하는 데 악용될 수 있습니다.
규모 효과: 적대적 검색을 위한 중간 거절 신호의 유용성은 모델 규모가 커짐에 따라 증가합니다. 더 크고 견고한 모델에서 프로브는 무작위 교란으로 인해 검색이 쉽게 포화되는 소형 모델에서 결여된 필수적인 안내를 제공합니다.

저자들은 이러한 발견이 기계적 해석 가능성의 이중 사용 성격을 부각시킨다고 결론지었습니다. 내부 거절 신호를 이해하면 공격을 가속화할 수 있지만, 동시에 더 효율적인 탐지 및 방어적 정렬 전략을 위한 경로를 제공한다는 것입니다. 이 작업은 재일브랙 문제를 해결한다고 주장하지는 않지만, 내부 표현이 안전 행동에 관한 실행 가능한 정보를 포함하고 있음을 보여줍니다.