기술 요약: CALYREX – 시스템 프롬프트 앵커링을 위한 교차 어텐션 계층 확장 트랜스포머

문제 정의

현대 대규모 언어 모델 (LLM) 은 행동 제약과 안전 규칙을 정의하기 위해 시스템 프롬프트에 의존합니다. 그러나 표준 트랜스포머 아키텍처는 특권 시스템 지시사항과 신뢰할 수 없는 사용자 콘텐츠를 동등한 구조적 우선순위로 취급하는 균일한 인과적 자기 어텐션 메커니즘을 사용합니다. 저자들은 이를 "지시 계층 문제"로 규명하며, 이는 두 가지 치명적인 취약점으로 이어지는 구조적 불일치라고 지적합니다:

1. 프롬프트 인젝션: 적대적 사용자 입력이 시스템 규칙을 덮어쓰고 모델의 목적을 장악할 수 있습니다.
2. 지시 마모: 시스템 지시사항이 장기간 또는 다중 턴 시퀀스 동안 점차적으로 저하됩니다.

현재의 완화 전략인 감독 미세 조정 (SFT), LoRA, 선호도 최적화 등은 이를 데이터로 해결해야 할 행동적 결함으로 간주합니다. 저자들은 이것이 사전 훈련된 추론 능력을 덮어쓰는 "분포 이동 페널티"를 초래한다고 주장합니다. 그들은 견고한 규칙 준수가 가중치 업데이트뿐만 아니라 아키텍처 개입이 필요한 구조적 라우팅 문제라고 가정합니다.

방법론: CALYREX 아키텍처

본 논문은 교차 어텐션 메커니즘을 사용하여 시스템 프롬프트를 구조적으로 격리하고 앵커링하는 CALYREX(Cross-Attention LaYeR EXtended transformers) 아키텍처를 제안합니다.

핵심 메커니즘

CALYREX 는 표준 자기 어텐션 레이어 사이에 교차 어텐션 레이어 (CAL) 블록을 삽입합니다. 표준 교차 어텐션이 (멀티모달 모델에서와 같이) 외부 인코더를 쿼리하는 것과 달리, CALYREX 는 키 ($K$) 와 값 ($V$) 을 동일한 시퀀스 내의 시스템 프롬프트 구간에서 exclusively 도출하는 반면, 쿼리 ($Q$) 는 전체 시퀀스에서 투사됩니다.

• 인과적 마스킹: 자동회귀 속성이 유지되도록 특정 인과적 마스크가 적용됩니다. 시스템 프롬프트 이전의 토큰은 아무것도 어텐하지 않으며, 프롬프트 내의 토큰은 이전 프롬프트 토큰에만 어텐하고, 프롬프트 이후의 토큰은 전체 시스템 프롬프트에 어텐합니다.
• 제로 초기화: CAL 서브레이어의 출력 투사 ($W_O$ 및 $W_D$) 는 엄격하게 제로 초기화됩니다. 이는 초기화 시 블록이 완벽한 항등 매핑 ($X'' = X$) 으로 작용하여 기본 모델의 제로샷 능력을 보존하고 "표현 충격"이나 치명적 망각을 방지하도록 보장합니다.
• 학습 체계: 기본 모델 백본은 엄격하게 고정됩니다. 그래디언트는 CAL 어댑터에만 적용됩니다. 모델은 일반 작업을 다루는 50,000 개 샘플 SFT 코퍼스에서 학습됩니다.

배치 제거 분석

최적 삽입 깊이를 결정하기 위해 1.5B 백본 (Qwen2.5-1.5B) 에 대한 고해상도 제거 분석이 수행되었습니다. 이 연구는 모든 레이어 뒤에 블록을 삽입하는 것부터 최종 레이어에만 배치하는 것까지 여덟 가지 구성을 테스트했습니다.

• 발견: 기계적 활성화 분석은 행동 제약이 자연스럽게 최종 8 분의 1 의 레이어에 집중되어 있음을 밝혔습니다.
• 최적 구성: 규칙 시행과 초기 레이어 의미 추출 보존 사이의 균형을 맞춘 LATE8TH 구성 (최종 1/8 레이어에 걸쳐 분산된 5 개 블록 삽입) 이 최적인 것으로 확인되었습니다.

주요 기여

1. CALYREX 아키텍처: 사전 훈련된 시맨틱을 덮어쓰지 않고 교차 어텐션을 통해 시스템 프롬프트 구간에 트랜스포머를 조건화하는 새로운 구조적 접근법으로, 우선순위를 강제합니다.
2. 공간적 국소성 제거 분석: 고정된 LLM 백본 내 규칙 준수 능력을 체계적으로 특성화하여, 제약 시행을 위한 핵심 영역을 레이어의 최종 8 분의 1 로 규명했습니다.
3. 규모 의존적 평가: 1.5B 및 8B 규모에서의 비교 분석은 모델 크기가 커질수록 CALYREX 의 구조적 이점이 특히 지시 준수 및 보안 저항성에서 구조적 베이스라인 대비 더 넓어짐을 입증했습니다.

실험 결과

1.5B 규모 (Qwen2.5-1.5B)

• 지시 따르기: LATE8TH 구성은 엄격한 포맷팅 (IFEval) 과 다중 턴 준수 (SysBench) 에서 파라미터가 일치하는 LoRA 및 ParallelMLP 베이스라인을 능가했습니다.
• 추론 보존: 좁은 코퍼스 미세 조정으로 인해 MMLU 및 GSM8K 에서 치명적 망각을 겪은 LoRA 와 달리, CALYREX(고정된 백본 사용) 는 기본 모델 성능을 보존했습니다.
• 보안: CALYREX 는 LoRA 에 비해 Many-Shot Jailbreaking (MSJ) 공격 성공률을 현저히 낮췄습니다. 모든 네 가지 보안 벤치마크에서 ParallelMLP 를 능가하여, 교차 어텐션 라우팅이 단순히 후기 단계 파라미터 추가가 아니라 저항성을 주도함을 확인했습니다.

8B 규모 (Llama-3.1-8B)

이 규모에서 CALYREX 와 ParallelMLP 베이스라인 간의 구조적 격차는 상당히 확대되었습니다:

• 지시 따르기: CALYREX 는 ParallelMLP 베이스라인 대비 IFEval 에서 +7.4%, 다중 턴 준수 (SysBench) 에서 +16.3% 의 개선을 달성했습니다.
• 보안: CALYREX 는 ParallelMLP 대비 Many-Shot Jailbreaking 공격 성공률을 13.1% 감소시켰습니다.
• 문맥 강건성: 긴 IFEval 테스트 (최대 32k 컨텍스트) 에서 CALYREX 는 중간 범위 길이 (8k–16k) 에서 ParallelMLP 보다 높은 엄밀 정확도를 유지했으나, 모든 미세 조정 모델은 극단적인 길이에서 수렴했습니다.
• 한계: CALYREX 는 엄밀한 정보 추출 (SQuAD) 이나 복잡한 JSON 생성 (Glaive FC) 에서 ParallelMLP 대비 일관된 이점을 보이지 않았습니다. 직접적인 적대적 벤치마크 (IH-Challenge, TensorTrust) 에서 개선은 일관되지 않았으며, 프롬프트에 명시적인 방어 규칙이 없으면 구조적 앵커링만으로는 부족함을 시사합니다.

중요성 및 주장

본 논문은 CALYREX 가 시스템 프롬프트 준수를 행동적 문제가 아닌 구조적 라우팅 문제로 취급함으로써 지시 계층 문제를 해결한다고 주장합니다.

• 구조적 격리: 전용 교차 어텐션 경로를 통해 시스템 프롬프트를 사용자 컨텍스트에서 분리함으로써, 아키텍처는 사용자 콘텐츠가 특권 지시사항을 구조적으로 덮어쓰는 것을 방지합니다.
• 규모 효율성: 결과는 더 큰 모델 (8B 이상) 이 CALYREX 가 제공하는 전용 라우팅 경로를 더 효과적으로 활용하여, 모델 크기가 증가함에 따라 구조적 베이스라인 대비 성능 격차가 벌어짐을 시사합니다.
• 안전 및 정렬: 이 접근법은 전체 네트워크 미세 조정과 관련된 치명적 망각 없이 안전 규칙과 행동 제약을 시행할 수 있는 경로를 제공하여, 사전 훈련된 추론 보존이 최우선인 안전-중요 배포에 적합합니다.

저자들은 현재 구현이 표준 SFT 에 의존하고 코퍼스 커버리지에 제한이 있지만, 아키텍처 프레임워크가 CAL 블록을 대상으로 하는 향후 정렬 기술 (RLHF 또는 DPO 등) 을 위한 견고한 기반을 제공한다고 결론지었습니다.