기술 요약: 언어 전환 트리거는 언어 모델을 통해 잠재적 우회 경로를 취한다

문제 진술

언어 모델 (LM) 에 대한 백도어 공격은 적대자가 훈련 또는 파인튜닝 중에 숨겨진 트리거를 주입할 때 발생하는 중대한 보안 위협이다. 모델은 깨끗한 입력에서는 정상적으로 작동하지만, 트리거가 존재하면 공격자가 선택한 출력을 생성한다. 탐지 및 완화에 대한 광범위한 연구에도 불구하고, 트리거 시퀀스가 모델 연산을 장악하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 기존 방법들은 종종 백도어를 불투명한 구성 요소로 취급하여, 트리거가 모델 아키텍처 내에서 어떻게 표현되고 처리되는지 설명하지 못한다.

이를 해결하기 위해 저자들은 트리거가 완전히 특징화되고 하류 효과가 쉽게 측정 가능한 테스트베드가 필요하다. 독성 언어나 안전하지 않은 코드와 같은 해로운 트리거로 모델을 훈련시키는 윤리적 및 실용적 복잡성을 피하기 위해, 무해한 특정 백도어로 사전 훈련된 Gaperon-8B(9 토큰 라틴어 트리거가 영어 출력을 프랑스어로 리디렉션함) 를 활용한다.

방법론

이 연구는 트리거 조건 하에서 모델의 내부 연산을 매핑하기 위해 인과 회로 분석 툴킷을 활용한다. 방법론은 다음 세 가지 주요 도구에 의존한다:

1. 활성화 패칭 (인과 추적): 저자들은 세 가지 순방향 패스를 수행한다:

   • Clean: 영어 접두어 + 트리거 시퀀스 $\rightarrow$ 프랑스어 로그잇.
   • Corrupt: 영어 접두어 + 손상된 트리거 (노이즈 또는 중립 단어로 대체됨) $\rightarrow$ 영어 로그잇.
   • Patched: 특정 구성 요소의 활성화를 깨끗한 활성화로 대체한 손상 패스.
     구성 요소의 인과적 기여도는 프랑스어와 영어 지표 토큰 간의 로그잇 차이 (LD) 에 대한 회복 백분율로 정량화된다.

2. 선형 프로브: 각 레이어에서 프랑스어와 영어 잔류 스트림 벡터를 구별하기 위해 로지스틱 회귀 분류기가 훈련된다. 이러한 프로브는 네트워크를 통한 "언어 정체성"의 궤적을 추적한다.

3. 헤드별 분해: 어텐션 출력은 개별 헤드 기여도로 분해되어 트리거 신호를 담당하는 특정 구성 요소를 식별한다.

분석은 독일어 사전 훈련 데이터가 부족하여 일관되지 않은 결과를 보인 독일어 트리거 대신 프랑스어 트리거에 초점을 맞춘다. 트리거는 세 단어로 구성되며 (총 9 토큰), 저자들은 단어 수준 순열과 토큰 수준 교란을 모두 테스트하여 시퀀스 특이성을 탐구한다.

주요 발견 및 결과

저자들은 언어 전환 백도어를 뒷받침하는 3 단계 회로를 식별한다:

1 단계: 트리거 구성 (레이어 3–7)

• 메커니즘: 레이어 3 에서 7 에 걸쳐 분산된 어텐션 헤드들이 순차적인 트리거 토큰을 읽고 마지막 시퀀스 위치 ($p_{-1}$) 에서 트리거 표현을 구성한다.
• 분포: 단일 헤드가 지배하지 않으며, 어떤 단일 헤드의 최대 기여도는 약 3% 이다. 상위 10 개 헤드가 전체 효과의 약 20–25% 를 collectively 차지한다.
• 특이성: 이 회로는 단어 내 토큰 순서에 민감하지만 단어 순서에 대해서는 대체로 순서 불변적이다. 토큰 수준의 교란은 신호를 제거하는 반면, 단어 수준 순열은 대부분 보존한다. 이는 서브워드 토큰이 먼저 단어 표현으로 조립된 후 집계되는 단어 수준의 "단어 주머니 (bag-of-words)" 구성을 시사한다.

2 단계: 잠재 전파 (레이어 8–30)

• 메커니즘: 트리거 신호는 개별 구성 요소의 구성적 연산 없이 중간 및 후기 레이어를 통해 $p_{-1}$ 위치의 잔류 스트림에 유지된다.
• 직교 인코딩: 중요한 발견은 신호가 모델의 자연스러운 언어 정체성 방향과 직교하는 부분 공간에서 전파된다는 것이다.
  • 자연 프랑스어 텍스트로 훈련된 선형 언어 프로브는 중간부터 후기 레이어에 걸쳐 트리거된 표현을 영어로 분류한다 (신뢰도 $\approx 0$).
  • 이러한 프로브에는 보이지 않음에도 불구하고, 이 신호는 인과적으로 필수적이다. 이 범위 내의 어떤 레이어에서든 $p_{-1}$ 위치를 제거하면 트리거가 완전히 완화된다.
• 시사점: 트리거 신호는 프랑스어 출력을 생성하는 데 필요한 정보를 전달하지만, 선형 언어 분류기가 접근할 수 없는 표현으로 인코딩된다.

3 단계: 판독 (레이어 31)

• 메커니즘: 최종 레이어 (레이어 31) 의 다층 퍼셉트론 (MLP) 은 잠재적 트리거 신호를 프랑스어 로그잇 질량으로 변환한다.
• 지배성: 레이어 31 MLP 는 전체 인과 효과의 약 **63%**를 차지하여 주요 판독 구성 요소가 된다.
• 수렴: 이 단계에서 트리거 신호는 자연 언어 방향과 수렴하며, 자연 언어 생성에 사용되는 동일한 MLP 에 의해 무차별적으로 처리된다.

직렬 병목 현상

전체 회로는 단일 위치인 $p_{-1}$에서 직렬 병목 현상을 통해 흐른다.

• 구성부터 판독까지 어떤 레이어에서든 $p_{-1}$ 위치의 잔류 스트림을 손상시키면 트리거가 완전히 완화된다.
• 중복된 병렬 경로가 없으며, 신호는 판독 단계에 도달할 때 $p_{-1}$에만 존재한다.

손상 견고성

저자들은 표준 가우시안 노이즈와 중립 단어 손상(트리거 토큰을 일반적인 영어 단어의 임베딩으로 대체) 의 두 가지 손상 방법을 사용하여 발견 사항을 검증했다.

• 가우시안 노이즈는 때때로 퇴화된 출력을 생성하여 초기 레이어 회복 추정을 과대평가했지만, 구조적 주장(시그모이드 구성, 직교 전파, MLP 지배성, 직렬 병목) 은 두 손상 방법 모두에서 불변으로 유지되었다.

중요성 및 주장

이 논문은 언어 전환 백도어의 첫 번째 상세한 회로 수준 해부를 제공하며, 트리거가 탐지를 회피할 수 있는 새로운 메커니즘을 밝힌다고 주장한다:

1. 직교 잠재 인코딩: 트리거 신호가 자연 언어 정체성과 직교하는 부분 공간을 통해 네트워크를 이동한다는 발견은 새로운 발견이다. 이는 중간 표현에서 "언어와 유사한" 신호를 검색하는 방어 수단 (예: 선형 프로브 사용) 은 신호가 인과적으로 존재하지만 이러한 탐지기에 기하학적으로 보이지 않기 때문에 이 트리거를 완전히 놓칠 것임을 시사한다.
2. 백도어의 회로 해부: 이 연구는 자연 학습 연산을 위해 개발된 동일한 인과 회로 분석 툴킷을 사용하여 심어놓은 백도어 행동을 해부할 수 있음을 보여준다.
3. 현재 방어 수단 의 한계: 발견 사항은 백도어가 이용하는 표현 공간의 기하학적 특성 (특히 직교 우회) 이 현재 표준 탐지 방법에 의해 모니터링되지 않음을 시사한다.
4. 완화 과제: $p_{-1}$에서의 직렬 병목 현상은 트리거의 실패 지점을 시사하지만, 이 위치를 손상시키는 것은 모델의 자연스러운 능력도 방해하므로 모델 성능을 저하시키지 않고 트리거를 완화하는 것이 어렵다는 점을 강조한다.

저자들은 구체적인 3 단계 구조가 8B 파라미터 모델에서 식별되었지만, 일반적인 라우팅 메커니즘 (분산 구성, 잠재 전파, 판독) 은 일반화될 수 있는 트리거 클래스를 특징짓지만, 특정 레이어 할당 및 지배성은 모델 규모에 따라 달라질 수 있다고 결론지었다.