Divergence-based Safety Measure for Large Language Models via Rational Inattention

기술 요약: 합리적 주의력(Rational Inattention)을 통한 대규모 언어 모델의 발산 기반 안전성 측정

문제 정의
대규모 언어 모델(LLM)을 의사결정 지원 파이프라인에 통합하는 것은 시스템 수준의 안전성 문제를 야기하며, 특히 모델 출력을 변화시켜 하류(downstream) 인간의 결정에 영향을 미치는 입력 토큰의 악의적인 섭동(perturbation)과 관련이 있습니다. 시스템 및 제어 관점에서 모델 비교, 런타임 모니터링 및 파라미터 미세 조정을 지원하기 위해 정량적인 안전성 측정이 요구되고 있으나, LLM을 위한 이러한 척도를 개발하는 데 있어서는 진전이 제한적이었습니다. 구체적으로, 공격이 내부 모니터링 메커니즘에는 은밀하게(stealthy) 유지되면서도 최악의 출력 섭동을 정량화할 수 있는 지표가 필요합니다.

방법론
본 논문은 클린(clean) LLM과 임베딩 입력 공격을 받은 LLM 사이의 출력 분포 간의 최악의 쿨백-라이블러(Kullback–Leibler, KL) 발산을 정량화하는 발산 기반 안전성 측정을 제안합니다. 핵심적인 방법론적 혁신은 트랜스포머 어텐션 메커니즘과 인간의 의사결정 모델인 합리적 주의력(Rational Inattention, RI) 사이의 등가성을 활용하여 "은밀성 제약 조건(stealthiness constraint)"을 구축하는 데 있습니다.

1. 합리적 주의력(RI) 프레임워크: 저자들은 에이전트가 기대 효용과 데이터 처리에 드는 정보 비용 사이에서 절충하는 RI 프레임워크를 재검토합니다. RI에서의 최적 행동 정책은 샤논 상호 정보량(Shannon mutual information)을 포함하는 최적화 문제로부터 유도된 소프트맥스(softmax) 함수로 특징지어집니다.
2. 구조적 연결: 본 논문은 스케일드 닷-프로덕트 소프트맥스(scaled dot-product softmax)를 통해 계산되는 트랜스포머 기반 LLM의 어텐션 가중치가 RI 프레임워크의 최적 행동 정책과 동일한 함수 형태를 공유한다는 점을 입증합니다. 이를 통해 트랜스포머 어텐션을 모델이 문맥 토큰에 한정된 정보 처리 용량을 할당하는 RI 유형의 최적화 문제의 해로 해석할 수 있게 합니다.
3. 유한 합리성 측정치: 이 연결을 바탕으로, 저자들은 헤드별 "유한 합리성 측정치"($\Delta V^{(m)}(\tau)$)를 정의합니다. 이 지표는 $\tau$-유한 합리성 값($\tau$ 파라미터를 가진 어텐션 최적화 문제의 최적값)과 완전한 합리성 값($\tau \to 0$일 때의 극한값) 사이의 차이를 나타냅니다. 이 척도는 LLM의 어텐션 할당에 대한 "합리성 수준"을 나타내는 내부 모니터링 출력 역할을 합니다.
4. 안전성 측정치 공식화: 제안된 안전성 측정치는 다음 두 가지 제약 조건을 준수하면서 클린 및 공격된 출력 분포 사이의 KL 발산을 최대화하는 최적화 문제로 공식화됩니다:
   • 에너지 제약: 임베딩 토큰에 주입된 공격 신호의 총 에너지는 제한됩니다 ($\sum \|\zeta_i\|^2 \leq \rho$).
   • 은밀성 제약: 모든 어텐션 헤드에 걸친 유한 합리성 측정치의 가중 합계는 지정된 신뢰 허용 오차($\epsilon_T$) 미만이어야 합니다. 이는 공격이 모델의 내부 어텐션 기반 모니터링 신호를 크게 변화시키지 않도록 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. 구조적 대응: 트랜스포머 어텐션 가중치가 RI 유형 최적화 문제의 유일한 해임을 입증하여, LLM 메커니즘과 유한 합리적 의사결정 모델 사이의 공식적인 연결을 확립했습니다.
2. 헤드별 유한 합리성 측정치: LLM의 어텐션 할당의 합리성을 정량화하기 위해 RI 프레임워크에서 유도된 새로운 지표를 도입했습니다.
3. 발산 기반 안전성 측정치: 유한 합리성 측정치를 모니터링 출력으로 활용하여 최악의 은밀한 출력 변화를 정량화하는 안전성 지표를 정의했습니다. 또한, 출력 스코어 맵이 립시츠 연속(Lipschitz continuous)이라고 가정할 때, 브레그만 발산(Bregman-divergence) 논거를 사용하여 안전성 측정치의 상한을 도출하고 "완벽하게 탐지 불가능한 공격"(모니터링 출력을 변경하지 않는 공격)을 분석했습니다.

실험 결과
제안된 측정치는 두 개의 사전 학습된 인과적 언어 모델(causal language models)인 GPT-2와 GPT-Neo-125M에 대해 평가되었습니다.

• 설정: 모호한 문장이 제한된 풀 내의 형용사를 다음 토큰으로 예측해야 하는 통제된 후보 예측 과업이 사용되었습니다. 공격은 에너지 및 은밀성 제약을 준수하면서 출력 분포의 KL 발산을 최대화하도록 투영 경사 상승법(projected gradient ascent)을 사용하여 생성되었습니다.
• 결과: 실험 결과, 두 모델은 서로 다른 안전성 프로파일을 보였습니다. GPT-2는 신뢰 허용 오차 범위 내에 머무는(은밀한 영역을 만족하는) 여러 고발산 공격을 나타낸 반면, GPT-Neo-125M에 대한 고영향 공격은 일반적으로 더 큰 모니터링 잔차(residual)를 발생시켰습니다. 이는 제안된 측정치가 동일한 공격 예산과 신뢰 허용 오차 하에서도 모델 수준의 안전성 프로파일을 효과적으로 구분할 수 있음을 보여줍니다.

의의 및 주장
본 논문은 이 연구가 시스템 및 제어 관점에서 LLM을 위한 정량적 안전성 측치를 개발하는 공백을 메운다고 주장합니다. 트랜스포머 어텐션을 합리적 주의력의 관점에서 해석함으로써, 저자들은 내부 모니터링 출력을 구축하기 위한 원칙적인 메커니즘을 제공합니다. 제안된 발산 기반 안전성 측정치는 은밀한 임베딩 입력 공격에 대한 LLM의 취약성을 정량화하는 방법을 제공합니다. 저자들은 이 기여를 전통적인 제어 시스템에서 발견되는 강건성(robustness), 회복 탄력성(resilience) 및 안전성 측정과 유사한 해석 가능한 성능 측치를 LLM에 갖추기 위한 단계로 위치시킵니다. 본 연구는 모든 LLM 보안 문제를 해결한다고 주장하는 것이 아니라, 모델의 안전성 프로파일을 구분하고 최악의 은밀한 영향을 분석하기 위한 특정 지표를 제공하는 것을 목적으로 합니다.