기술 요약: 희소 오토인코더(Sparse Autoencoders)의 개념 표현에 대한 적대적 강건성 평가

문제 정의

희소 오토인코더(SAE)는 거대 언어 모델(LLM)의 조밀한 내부 활성화 값을 희소하고 인간이 해석 가능한 개념 표현으로 매핑하는 기계론적 해석 가능성(mechanistic interpretability)의 주요 도구로 부상했습니다. 기존의 SAE 평가는 재구성-희소성 트레이드오프, 인간의 해석 가능성, 그리고 특징 분리(feature disentanglement)에 초점을 맞추고 있지만, 결정적인 차원인 입력 섭동(input perturbations)에 대한 강건성은 간과하고 있습니다.

현재의 평가는 정적이고 일관되며 섭동되지 않은 입력을 가정합니다. 그러나 적대적 맥락—설명 제공자와 소비자 간에 상충하는 목표가 존재할 수 있는 상황—에서 SAE 표현은 취약할 수 있습니다. 만약 공격자가 기본 LLM의 행동을 크게 변화시키지 않으면서도 SAE 활성화를 조작할 수 있는 최소한의 입력 섭동을 설계할 수 있다면, 개념 레이블링의 충실도(fidelity)는 훼손됩니다. 이는 모델 모니터링, 안전 감독, 그리고 안정적인 개념 수준의 표현에 의존하는 다운스트림 애플리케이션에 SAE를 사용하는 것에 대한 우려를 불러일기킵니다.

방법론

이론적 프레임워크

저자들은 SAE 강건성을 입력 공간 최적화 문제로 정식화합니다. 이들은 입력 공간 $X$에서 의미론적 개념 공간 $C$로 가는 '지면 진실(ground-truth)' 개념 매핑 $f_c$가 존재한다고 가정합니다. 강건성은 학습된 희소 잠재 공간 $Z$와 $C$ 사이의 정렬(alignment)이 적대적 섭동 하에서도 보존되는 정도로 정의됩니다.

핵심 가정은 지면 진실 매핑이 **비-립시츠(bi-Lipschitz)**라는 것입니다. 즉, 입력 토큰 시퀀스의 작은 변화(레벤슈타인 거리로 측정)는 의미론적 개념의 작은 변화에 비례하여 대응합니다. 이를 통해 적대적 예시 탐색을 가상의 개념 공간 $C$가 아닌 직접적인 입력 공간 $X$에서 수행할 수 있습니다.

평가 프레임워크는 두 가지 최적화 목적 함수를 통해 강건성을 정의합니다:

1. 비표적(Untargeted): 제한된 입력 편집 거리를 허용하면서 원래의 SAE 활성화 $z_1$과 섭동된 활성화 $z'_1$ 사이의 거리를 최대화합니다.
2. 표적(Targeted): 입력 섭동을 제한하면서, 섭동된 활성화 $z'_1$을 (의미론적으로 관련 없는 다른 입력으로부터 온) 타겟 활성화 $z_2$와의 거리를 최소화합니다.

평가 차원

저자들은 세 가지 이진 차원을 결합하여 8가지의 뚜리한 적대적 시나리오를 정의하는 구조화된 프레임워크를 제안합니다:

1. 의미론적 목표: 비표적(SAE 활성화를 전반적으로 변경) vs 표적(활성화를 특정 관련 없는 입력으로 유도).
2. 활성화 목표:
   • 모집단 수준(Population Level): 상위-$k$ 활성화된 잠재 변수들의 집합을 조작하며, 개념 중첩 비율(concept overlap ratio)로 측정합니다.
   • 개별 수준(Individual Level): 특정 SAE 특징을 활성화하거나 비활성화하며, 이진 순위 변화(binary rank changes)로 측정합니다.
3. 섭동 모드: 최소한의 입력 변화, 구체적으로 단일 토큰 교체 또는 단일 토큰 접미사 추가.

공격 알고리즘

이 최적화 문제들을 해결하기 위해, 저자들은 원래 LLM의 프롬프트 최적화를 위해 설계된 그리디 좌표 기울기(Greedy Coordinate Gradient, GCG) 알고리즘을 채택합니다. 희소 잠재 공간의 거리 메트릭은 미분 불가능하므로, 다음과 같은 하이브리드 접근 방식을 사용합니다:

• 기울기 계산: 연속적인 SAE 표현 공간에 대해 미분 가능한 손실 함수(예: 코사인 유사도, 로그 가능도)를 사용하여 기울기를 계산합니다.
• 후보 선택: 적대적 후보들은 이산적인 입력 공간에서 원래의 미분 불가능한 거리 메트릭(예: 개념 중첩 비율, 이진 활성화 상태)을 사용하여 생성 및 평가됩니다.

주요 기여

1. 결정적 격차 식별: 본 논문은 강건성을 SAE 평가의 근본적이면서도 아직 충분히 탐구되지 않은 차원으로 식별하며, 개념 표현이 신뢰할 수 있으려면 입력 섭동 하에서도 안정적이어야 한다고 주장합니다.
2. 포괄적인 평가 프레임워크: 저자들은 의미론적 및 활성화 목표에 걸쳐 SAE 강건성을 정의하는 이론적으로 근거 있는 프레임워크를 도입하여 체계적인 취약성 테스트를 가능하게 합니다.
3. 일반화된 공격 방법론: SAE 해석을 조작하는 적대적 입력을 생성할 수 있도록 GCG에서 변형된 일반화된 입력 수준 공격 알고리즘을 제안합니다.
4. 취약성의 실증적 증거: 여러 오픈 소스 LLM(Gemma2, Llama3), SAE 아키텍처(JumpReLU, Top-K), 데이터셋에 대한 광범위한 실험을 통해 SAE 개념 표현이 매우 취약함을 입증합니다.

실험 결과

저자들은 Gemma2-2B, Gemma2-9B, Llama3-8B와 다양한 SAE 너비 및 레이어를 사용하여 AdvBench, AG News, SST2, 그리고 생성된 "Art & Science" 데이터셋을 포함한 데이터셋에 대해 프레임워크를 평가했습니다.

• 높은 성공률: 아주 작은 적대적 섭동(종종 단일 토큰 교체)만으로도 개념 기반 해석을 효과적으로 조작할 수 있습니다.
  • 모집단 수준: 비표적 공격은 원래 입력과 섭동된 입력 사이의 개념 중첩을 약 2030%로 감소시켰으며, 표적 공격은 관련 없는 타겟과의 중첩을 약 5060%까지 증가시켰습니다.
  • 개별 수준: 표적 설정에서 선택된 SAE 잠재 변수의 60% 이상이 조작 가능했습니다. 비활성화 시나리오에서는 성공률이 약 90%에 달했습니다.
• LLM 강건성과의 디커플링: 결정적으로, 기본 LLM의 은닉 상태(hidden states)에 대해 훈련된 선형 프로브(linear probes)는 적대적 섭동 후에도 의미론적 개념(예: 유해성, 감성, 주제)을 탐지하는 데 높은 정확도(>90%)를 유지했습니다. 이는 LLM의 내부 의미 표현은 안정적으로 유지되는 반면, 개념으로의 SAE 매핑이 실패 지점임을 나타냅니다.
• 비적대적 취약성: 유의어 교체와 같은 비적대적 섭동조차 개념 중첩을 약 30% 감소시켰으며, 이는 악의적인 공격 외에도 내재적인 취약성이 존재함을 시사합니다.
• 전이성(Transferability): 서로 다른 모델 간(예: Gemma2에서 Llama3로)의 공격 전이는 성능 저하를 보였으나 여전히 효과적이었으며, 이는 SAE 기반 해석의 일반적인 취약성을 나타냅니다.

의의 및 주장

본 논문은 SAE 개념 표현이 취약하며, 노이즈 제거(denoising)나 사후 처리(post-processing) 없이는 모델 모니터링 및 안전 감독과 같이 높은 신뢰성을 요구하는 애플리십케이션에 부적합할 수 있다고 결론짓습니다.

• 해석 가능성에 대한 시사점: 이 연구 결과는 SAE 잠재 변수가 모델 내부의 안정적인 단일 의미적(monosemantic) 관점을 제공한다는 가정에 도전합니다. 공격자가 모델의 실제 출력이나 의미론적 이해를 바꾸지 않고도 SAE가 보고하는 "개념"을 쉽게 바꿀 수 있다면, 이러한 설명의 신뢰성은 훼손됩니다.
• 향후 방향: 저자들은 강건성이 SAE 평가 의제의 핵심 요소가 되어야 한다고 주장합니다. 이들은 향후 연구가 SAE 활성화를 노이즈 제거하고 신뢰할 수 있는 신호를 격리하는 방법을 개발하는 데 집중해야 한다고 제안합니다. 또한, 이러한 취약성이 트랜스코더(transcoder)나 크로스코더(crosscoder)와 같은 다른 SAE 기반 접근 방식에도 확장될 가능성이 높음을 시사하며, 기계론적 해석 가능성 연구에서 강건성을 고려한 목적 함수의 필요성을 강조합니다.

이 논문은 SAE가 쓸모없다고 주장하는 것이 아니라, 이러한 안정성 문제를 해결하지 않은 채 적대적 또는 고위험 환경에 현재의 SAE를 배치하는 것이 위험하다는 점을 지적합니다. 제안된 프레임워크는 비강건한 해석을 식별하고 필터링하기 위한 진단 도구 역할을 합니다.