How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

Hamidreza Saghir 의 논문 "How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 을 위한 최근의 화이트박스 Out-of-Distribution(OOD) 탐지 방법에 존재하는 치명적인 결함을 다루고 있습니다. CED, RAUQ, WildGuard 신뢰도 점수와 같은 방법들은 어텐션 메커니즘과 임베딩 거리를 기반으로 하여 안전성 벤치마크에서 강력한 성능을 보고해 왔습니다. 그러나 저자는 이러한 결과들이 입력 시퀀스 길이 ($|r| \ge 0.61$) 에 의해 구조적으로 교란 (confounded) 되었다는 것을 입증합니다.

• 교란 요인: 어텐션 기반 지표들 (예: 어텐션 엔트로피, CED, RAUQ) 은 입력 길이 $T$에 따라 크기가 증가하는 심플렉스 (simplex) 위에서 작동합니다. 결과적으로 이러한 지표들은 $\Theta(\log T)$의 구조적 의존성을 내포하게 됩니다.
• 결과: 길이 일치 조건 (내부 분포 및 OOD 샘플이 동일한 토큰 수를 가지는 조건) 하에서 평가될 때, 이러한 방법들은 우연 수준 (AUROC $\approx 0.50$) 에 근접하는 성능으로 무너집니다. 논문은 이전의 성공 사례들이 진정한 OOD 신호가 아닌 길이 차이를 탐지했을 가능성이 높다고 주장합니다.

2. 방법론: 양-경로 프레임워크

교란 요인을 제거한 후 진정한 OOD 신호를 식별하기 위해, 저자는 **어휘 투명성 스펙트럼 (Vocabulary-Transparency Spectrum)**을 따라 조직화된 양-경로 프레임워크를 제안합니다. 이 프레임워크는 텍스트가 무엇에 관한 것인지와 모델이 그것을 어떻게 처리하는지를 구분합니다.

경로 A: 임베딩 경로 ($X \to Z$)

• 메커니즘: 텍스트의 의미적 내용을 포착하기 위해 정적 표현 (임베딩) 을 사용합니다.
• 강점: OOD 텍스트가 훈련 분포에서 거의 보지 못한 단어를 사용하는 어휘-구별적 OOD(예: 스팸, 혐오 발언) 에 효과적입니다.
• 한계: 어휘는 일반 텍스트와 동일하지만 구조나 의도가 적대적인 은폐된 의도 OOD(예: 젤브레이크) 에서는 실패합니다. 논문은 독립적인 문장 임베딩 모델 (MiniLM, BGE 등) 이 모델 용량과 관계없이 이러한 작업에서 완전히 실패함을 보여줍니다.

경로 B: 처리 궤적 경로 ($\{h_l\}_{l=0}^L$)

• 메커니즘: 레이어를 가로지르는 은닉 상태의 시퀀스를 분석하여 처리 역학을 포착합니다.
• 특징: 저자는 네 가지 범주에 걸쳐 9 가지 특성을 추출합니다:
  1. 은닉 상태 역학: 연속된 레이어 간의 코사인 유사도 (전이의 부드러움).
  2. 표현 기하학: 레이어를 가로지르는 토큰 표현의 확산/가변성 변화.
  3. 구성 요소 분해: 각 레이어에서의 어텐션과 MLP 기여도 간의 균형.
  4. 레이어별 프로브: 초기 레이어 교란 신호.
• 이론적 보장: 어텐션 가중치와 달리, 은닉 상태 $h_l \in \mathbb{R}^d$는 시퀀스 길이 $T$와 관계없이 고정된 차원 $d$를 가집니다. 따라서 궤적 특성 (특히 범주 A 와 G) 은 구조적으로 길이 독립적입니다.

3. 주요 기여

1. 길이 교란 요인의 식별: 논문은 어텐션에서 유도된 OOD 점수가 구조적으로 시퀀스 길이에 의존함을 공식적으로 증명하고 실증적으로 검증합니다. 길이 일치 평가 하에서 이들은 우연 수준으로 무너집니다.
2. 양-경로 프레임워크: 서로 다른 OOD 유형이 다른 탐지 전략을 필요로 하는 이유를 설명하는 통합 이론을 제시합니다:
   • 어휘-구별적 OOD는 임베딩 경로에 의해 가장 잘 탐지됩니다.
   • 구조적 적대적 OOD(예: 젤브레이크) 는 처리 궤적 경로에 의해 가장 잘 탐지됩니다.
3. 공식적 길이 독립성: 은닉 상태 기반 궤적 특성이 어텐션 통계에 내재된 $\Theta(\log T)$ 의존성을 피함을 보여주는 수학적 증명 (명제 A.2, A.4) 을 제공합니다.
4. 메커니즘적 증거: 인과적 활성화 패칭 (causal activation patching) 과 회로 분석을 사용하여, 적대적 작업 (젤브레이크) 이 의미적 작업보다 어텐션 회로를 훨씬 더 많이 활성화시키는 반면, 내용 전환 작업은 MLP 회로를 활성화함을 보여줍니다.

4. 실험 결과

이 프레임워크는 Qwen3-0.6B(주요) 에서 평가되었으며, 6 개 모델(360M~7B) 과 6 개 작업(ToxicChat, Jailbreak, HateSpeech, Spam, AGNews, JailbreakClassification) 에서 검증되었습니다.

• 길이 통제 하의 성능:
  • 어텐션 기반 방법 (CED, RAUQ, Entropy): AUROC 0.491 – 0.527(우연 수준) 으로 무너졌습니다.
  • 궤적 특성 (Maha-Traj): 평균 AUROC 0.721로 강력한 신호를 유지했습니다.
    • Jailbreak: 0.850
    • Spam: 0.848
    • HateSpeech: 0.605
    • ToxicChat: 0.580
• 교차 효과:
  • k-NN(내용/임베딩 신호): 내용 구별 가능 작업 (Spam, ToxicChat, AGNews) 에서 궤적 특성보다 우수한 성능을 보였습니다.
  • 궤적 (처리 신호): 구조적 적대적 작업 (Jailbreak, JailbreakClassification) 에서 k-NN 보다 우수한 성능을 보였습니다.
  • 퓨전: 두 경로의 고정 가중치 퓨전은 평균 AUROC 0.730을 달성하여 상호 보완성을 입증했습니다.
• 메커니즘적 발견:
  • Jailbreaks: 어텐션 우세(p < 0.001) 를 보였습니다. 인과적 패칭은 특정 어텐션 헤드가 "you/your"에서 지시적/메타언어적 토큰 ("ignore", "prompt") 으로 초점을 이동시키는 희소 회로를 드러냈습니다.
  • HateSpeech: MLP 우세(p = 0.002) 를 보였으며, 특정 어텐션 헤드가 아닌 분산된 뉴런 활성화에 의존했습니다.
  • 신호 구성: 레이어 0 대 마지막 레이어 분석 결과, 젤브레이크의 경우 레이어 0 의 임베딩 신호는 우연 수준 (0.389) 이었으나, 처리 과정이 마지막 레이어까지 도달할 때 강력한 신호 (0.684) 를 구성함을 보여주었습니다.

5. 중요성과 함의

• 안전성 벤치마크 재평가: 논문은 어텐션 점수에 기반한 많은 공개된 안전성 탐지 결과가 benign 과 적대적 프롬프트 간의 시퀀스 길이 차이로 인한 위양성일 가능성이 있음을 시사합니다.
• 평가의 새로운 표준: 저자는 OOD 탐지 방법의 필수적인 통제 조건으로 길이 일치 평가를 옹호합니다.
• 아키텍처 통찰: 이 연구는 LLM 이 다양한 유형의 이상치를 처리하는 방식에 대한 메커니즘적 이해를 제공합니다. "젤브레이크" 탐지는 과정(궤적/어텐션 역학) 을 모니터링해야 하는 반면, "스팸"이나 "혐오 발언" 탐지는 내용(임베딩) 에 의존할 수 있음을 시사합니다.
• 실용적 적용: 제안된 궤적 기반 방법 (Maha-Traj) 은 재학습이나 외부 분류기 없이도 적대적 입력을 탐지할 수 있는 견고하고 비지도적이며 길이 불변의 대안을 제공합니다.

요약하자면, 이 논문은 어텐션 기반 방법의 만연한 길이 편향을 폭로하고, 내용 기반 이상치와 구조적 적대적 공격을 성공적으로 분리하는 이론적으로 근거한 양-경로 프레임워크를 도입함으로써 LLM 의 OOD 탐지 패러다임을 근본적으로 변화시킵니다.