기술적 요약: 거부의 역학 추적

문제 제기

대규모 언어 모델 (LLM) 은 인간 피드백을 통한 강화 학습 (RLHF) 과 같은 정렬 기술에도 불구하고, 적대적 "탈옥 (jailbreak)" 공격에 여전히 취약합니다. 이러한 공격은 최적화 기반의 적대적 접미사 (예: GCG) 에서 의미론적 사회 공학 (예: AutoDAN) 에 이르기까지 다양합니다. 현재 방어 메커니즘은 종종 LLM 을 블랙박스로 간주하여 표면적인 입력 - 출력 상호작용이나 정적 내부 표현에 의존합니다.

기계적 해석 가능성 (Mechanistic Interpretability) 의 주류 패러다임 중 하나인 표현 공학 (Representation Engineering, RepE) 은 거부가 종단 토큰 상태에서 추출되거나 시퀀스 전체에 평균화된 정적 "거부 벡터"에 의해 매개된다고 주장합니다. 본 논문은 이러한 정적 가정이 근본적으로 결함이 있다고 논증합니다:

1. 종단 상태 가정: 중요한 거부 신호가 오직 마지막 토큰 상태에만 캡슐화되어 있다는 믿음.
2. 전역 동질성: 거부 신호가 균일하게 분포되어 있으며 단순한 평균화로 포착될 수 있다는 믿음.

저자들은 이러한 관점들이 거부 과정의 시공간적 역학을 무시한다고 주장합니다. 결과적으로 종단 상태에 의존하는 방어 메커니즘은 GCG 와 같은 적대적 공격이 최종 출력 신호를 억제하면서도 상부 메커니즘은 intact(무결한) 상태로 남겨둘 때 실패합니다.

방법론

1. 인과 추적 (Causal Tracing) 과 "거부 궤적"

관찰적 상관관계를 넘어설 수 있도록, 저자들은 인과 추적 (Meng et al., 2022; Pearl, 2001) 을 활용합니다. 그들은 "폭탄 제조 방법?"과 "케이크 제조 방법?"과 같은 최소한의 프롬프트 쌍을 구성하고 활성화 패칭 (activation patching) 을 수행합니다:

• 개입: 악성 실행에서 얻은 숨겨진 상태 ($h^l_i$) 를 특정 레이어 - 토큰 좌표에서 정상 실행에 패칭합니다.
• 측정: 모델의 출력이 순응에서 거부 (예: "죄송합니다..." 생성) 로 전환되는지 여부를 측정합니다.

추적을 통한 주요 발견:

• 거부 궤적: 거부는 정적 결과가 아니라 동적이고 희소한 (sparse) 과정입니다. 이는 뚜렷한 시공간적 활성화 패턴으로 나타납니다.
• 세 가지 단계:
  1. 의미론적 트리거: 해로운 개체 (예: "폭탄") 가 얕은 층에서 중간 층까지 인과적 효과를 활성화합니다.
  2. 거부 시작 (중요한 구성): 가장 강력한 인과적 활동은 의미론적 앵커 (예: "?" 또는 그 이후 토큰) 직후의 토큰에서 중간 층에서 발생합니다. 여기서 거부 결정이 능동적으로 구성됩니다.
  3. 종단 감쇠: 인과 신호가 더 깊은 층과 최종 토큰으로 전파됨에 따라 감쇠합니다. 종단 상태는 종종 의사결정보다는 다음 토큰 예측을 위해 최적화된 거부 신호의 희석된 버전을 담고 있습니다.

2. SALO: 희소 활성화 국소화 연산자 (Sparse Activation Localization Operator)

적대적 공격이 종단 신호를 억제하지만 인과적 주의 (Causal Attention) 의 단방향성으로 인해 상부 거부 궤적을 사후에 지울 수 없다는 가설에 기반하여, 저자들은 SALO를 제안합니다.

• 아키텍처: SALO 는 경량의 추론 시간 탐지기입니다.
  • 잠재 활성화 볼륨: 중간 층 (예: 10~20 층) 에서 관심 영역 (ROI) 을 분리하고 시공간 기하학을 보존하기 위해 숨겨진 상태를 적층합니다.
  • 다중 그레인 중요도 추출: 고정된 레이어 높이 (3) 를 가지지만 다양한 시간 폭 ($2, 3, 5$) 을 가진 컨볼루션 커널 뱅크를 사용합니다. 이는 날카롭고 국소화된 거부 트리거와 더 넓은 문맥적 의존성을 모두 포착합니다.
  • 희소성 인식 집계: 희소 신호를 희석시키는 평균 풀링 대신, SALO 는 **글로벌 최대 풀링 (Global Max-Pooling)**을 사용하여 피크 활성화 강도를 분리합니다.
• 학습: SALO 는 적대적 예제에 노출되지 않고 표준 안전 정렬 데이터 (정상 및 표준 해로운 프롬프트) 만으로 exclusively(전적으로) 학습됩니다. 이는 제로샷 일반화를 가능하게 합니다.

주요 기여

1. 거부 궤적 발견: 본 논문은 인과 추적을 통해 거부가 상부 중간 층에 고정된 희소하고 동적인 과정이며, 종단 상태는 종종 감쇠된 신호를 담고 있음을 보여줌으로써 거부에 대한 정적 관점에 도전합니다.
2. SALO 프레임워크: 이러한 지속적 상부 궤적을 대상으로 하는 화이트박스 탐지기의 도입. 핵심적으로, 특정 공격 아티팩트가 아닌 고유한 거부 메커니즘에 의존하기 때문에 보이지 않는 공격에 대한 제로샷 일반화를 달성합니다.
3. 실증적 검증: SALO 가 경사 기반 및 퍼플렉시티 기반 방법이 실패하는 곳에서 방어 능력을 회복하며, 특히 최적화 기반 및 의미론적 탈옥 공격에 대해 광범위한 실험을 통해 입증되었습니다.

실험 결과

저자들은 Qwen2.5-7B, Mistral-7B, Llama-3.1-8B 세 가지 모델을 대상으로 직접 해로운 프롬롬프트, 프리필링 (Prefilling), GCG, AutoDAN 네 가지 공격 유형에 대해 SALO 를 평가했습니다.

• 기선 실패:
  • PPL 필터: GCG(높은 퍼플렉시티) 에는 효과적이지만 프리필링 및 AutoDAN 과 같은 의미론적 공격에서는 완전히 실패합니다.
  • GradSafe: 이러한 공격이 "저항의 경사 (gradient of resistance)"를 억제하기 때문에 프리필링 및 AutoDAN 에서 거의 0% 의 탐지율을 보입니다.
  • 선형 프로브: 최적화 공격에 어려움을 겪습니다 (예: Llama-GCG 에서 약 64% 로 하락).
• SALO 성능:
  • 모든 모델 및 공격 벡터에서 높은 탐지율 (>85%) 을 유지합니다.
  • GCG: ~88–96% 탐지율 달성 (일부 모델에서 GradSafe 는 <20%).
  • AutoDAN: ~98–100% 탐지율 달성.
  • 프리필링: ~99% 탐지율 달성 (다른 방법들은 종종 0% 로 붕괴됨).
• 적응형 공격에 대한 견고성: 적대자가 SALO 점수를 최소화하도록 명시적으로 최적화하는 화이트박스 적응형 공격 (Adaptive GCG) 하에서도 SALO 는 84.3% 의 탐지율을 유지합니다. 우회가 성공하는 경우, 공격은 종종 의미론적 붕괴 (프롬프트가 악의적 의미를 상실함) 를 초래하여 공격 성공률 (7%) 이 낮아집니다.

중요성 및 주장

본 논문은 SALO 가 표면적 아티팩트가 아닌 거부의 인과적 역학을 활용함으로써 견고하고 고유한 안전 보장을 제공한다고 주장합니다.

• 기계적 통찰: 탈옥은 꼬리 부분에서 거부의 표현을 억제하지만 상부 궤적에 인코딩된 거부의 의도를 제거할 수 없음을 검증합니다.
• 효율성: GradSafe 에서 사용되는 비싼 경사 계산을 인과 추적 및 경량 추론으로 대체함으로써 SALO 는 AI 안전의 환경적 비용을 낮춥니다.
• 제로샷 일반화: 경사 최적화에서 의미론적 공학에 이르기까지 다양한 보이지 않는 공격을 재학습 없이 탐지할 수 있는 능력은 거부 궤적이 악의적 의도의 근본적인 서명임을 강조합니다.

저자들은 겸손하게 한계를 인정하며, 이 방법이 모델의 고유한 해로움 인지에 의존한다고 지적합니다. 공격이 해를 인식하지 못하도록 의미론적 의도를 성공적으로 은폐하면 거부 궤적이 트리거되지 않을 수 있습니다. 또한, 이러한 신호를 주도하는 정확한 회로 수준의 메커니즘 (예: 특정 어텐션 헤드) 은 아직 완전히 매핑되지 않았습니다.