Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

기술 요약: 중력 가중치 직접 선호 최적화(Gravity-Weighted Direct Preference Optimization)를 통한 다층적 지시 계층 구조 강제 학습

문제 정의
현재 프로덕션 규모의 대규모 언어 모델(LLM)은 불변하는 플랫폼 안전 정책부터 개발자 시스템 프롬프트, 엔드 유저 쿼리, 그리고 잠재적으로 적대적인 도구 출력에 이르기까지 매우 상이한 신뢰 수준을 가진 소스들로부터 오는 지시사항들을 처리한다. 구조적으로 이러한 입력들은 단일 토큰 시퀀스로 결합되며, 모든 토큰은 균등한 어텐션을 받게 되는데, 이는 "커널 모드"에서 실행되는 상태로 묘사된다. 이러한 구조적 균일성은 악의적인 입력이 모델의 행동을 탈취하는 프롬프트 인젝션에 대한 취약성을 생성하며, 서로 경쟁하는 다양한 계층의 정당한 지시사항 간의 충돌을 해결할 원칙적인 메커니즘을 결여하게 만든다. 기존의 학습 기반 방어 기법들은 대개 3~4개의 계층만을 공식화하고 모든 위반을 동일하게 심각하게 취급하며, 현대적 배포 아키텍처(예: OpenAI의 5단계 이해관계자 모델)에 필요한 전체 쌍별(pairwise) 계층 간 상호작용을 평가하지 못한다는 한계가 있다.

방법론
저자들은 $k$단계 지시 계층 구조 문제를 공식화하고, 이를 $k=5$인 경우로 구체화하였다:

1. L0 (플랫폼 거버넌스): 불변의 안전 규칙.
2. L1 (개발자 시스템 프롬프트): 페르소나 및 범위.
3. L2 (사용자별 설정): 세션 선호도.
4. L3 (사용자 메시지): 런타임 입력.
5. L4 (데이터/도구 출력): 외부 콘텐츠.

이 구조는 준수하는 모델이 반드시 준수해야 하는 10개의 고유한 쌍별 우선순위 관계를 생성한다. 모델이 이러한 관계를 존중하도록 학습시키기 위해, 본 논문은 **중력 가중치 직접 선호 최적화(GW-DPO)**를 도입한다.

• 손실 함수: GW-DPO는 충돌하는 계층 간의 구조적 거리에 따라 스케일링되는 per-sample 오프셋 $\delta(i, j)$를 도입함으로써 Offset-DPO(ODPO)를 변형한다. 손실 함수는 다음과 같이 정의된다:
  $$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$$
  여기서 $\Delta r_\theta$는 암시적 보상 마진(implicit reward margin)이다.
• 스케줄: 두 가지 $\delta(i, j)$ 스케줄이 평가된다:
  • 선형(Linear): 특권 격차($j-i$)에만 의존한다.
  • 양방향(Bilateral): 특권 격차와 피해 계층의 특권($k-1-i$)을 모두 고려하여, 침해된 계층의 "중력(gravity)"에 따라 위반의 심각도를 가중한다.
• 아키텍처 수정 사항: 학습 파이프라인은 다음 두 가지 구성 요소를 통합한다:
  • 특수 구분자 토큰(Special Delimiter Tokens): 계층 간 경계를 표시하기 위한 각 계층별 시작/종료 토큰.
  • 지시 세그먼트 임베딩(Instructional Segment Embeddings, ISE): 계층별로 인덱싱되어 토큰 임베딩에 더해지는 학습 가능한 per-token 임베딩.
• 학습 파이프라인: 과정은 2단계 접근 방식을 포함한다:
  1. SFT (지도 미세 조정): 모델이 구분자를 인식하고 ISE 정보를 통합하도록 학습시킨다. 이를 위해 정렬된(aligned), 부분적인(partial), 그리고 명백히 불일치하는(trivially misaligned) 프롬프트로 구성된 데이터셋을 사용한다.
  2. GW-DPO: 계층 간 명시적 충돌이 포함된 데이터셋을 사용하여 커리큘럼 학습 전략(계층 격차에 따른 쉬움-에서-어려움 순)을 통해 선호도 목적 함수를 최적화한다.

주요 기여

1. $k=5$ 계층의 공식화: 본 논문은 프로덕션 아키텍처에 근거한 5단계 지시 계층을 정의하고, 10개의 모든 쌍별 우선순위 관계를 테스트하는 맞춤형 평가 세트를 생성하였다.
2. 중력 가중치 DPO: 특히 양방향 스케줄을 포함하는 GW-DPO를 도입하였으며, 이는 충돌하는 계층 간의 거리와 피해 계층의 특권을 기준으로 학습 마진을 조절한다. 이 방식은 표준 DPO 및 선형 변형 모델보다 파레토 개선(Pareto-improve)된 성능을 보인다.
3. 절제 실험을 통한 구성 요소 격리: 연구는 ISE와 계층 깊이의 기여도를 분리하여 규명하였다:
   • ISE는 주로 거절 임계값 교정기(refusal-threshold calibrator) 역할을 하는 것으로 확인되었다. ISE를 제거하면 충돌 해결 정확도는 대체로 유지되지만, 과잉 거절(benign prompts를 거절하는 현상)이 10배 이상 급증한다. 이는 ISE가 근본적인 충돌 추론을 변경하지 않으면서도, 구조화된 적대적 구간과 양호한 구조적 구간을 구분하는 데 도움을 줌을 시사한다.
   • 5단계 vs 3단계 학습: 비교 결과 **일반성-특수성 트레이드오프(generality–specialization tradeoff)**가 드러났다. 3단계 학습(L0-L2를 하나의 "System" 티어로 병합)은 표면 형태 인식(surface-form recognition)을 통해 특정 충돌 쌍에 대해서는 더 높은 점수를 얻지만, 평문(flat-text) 프롬프트에 대한 일반화 능력에서 퇴보하며, 표면적 단서가 없는 계층 내 충돌(예: L1 vs L2)을 해결하는 데 실패한다.

결과
Llama-3.1-8B-Instruct를 대상으로 평가한 결과, GW-DPO (양방향) 설정은 다음과 같은 성과를 달성하였다:

• 충돌 해결: 가장 높은 매크로 쌍별 우선순위 준수도($P_{macro} = 0.838$)와 가중 계층 점수($WHS = 0.885$)를 기록하며, 표준 DPO 및 선형 변형 모델을 능가하였다.
• 과잉 거절: 과잉 거절률(ORR)을 0.057로 유지하였는데, 이는 표준 DPO(0.120)의 약 절반 수준이며, No-ISE 설정(0.576)보다는 현저히 낮은 수치이다.
• 일반화: 구분자를 제거한 평문 참조 분할(flat-text reference splits)에서도 GW-DPO (양방향)는 강력한 성능($P_{ref} = 0.793$)을 유지하였으나, 선형 변형 모델보다는 약간 낮았다. 이는 계층 의미론(hierarchy semantics)이 견고하게 내재화되었음을 나타낸다.
• 외부 벤치마크:
  • XSTest: 표준 DPO에 비해 안전한 프롬프트에 대한 교정 능력이 향상되었으나, "안전하지만 특이한" 프롬프트 처리에는 트레이드오프가 존재했다.
  • SEP (지시-데이터 분리): 프로브 실행률(probe-execution rate) 0.118을 달성하여 베이스 모델 대비 약 5배의 개선을 보였으며, 이는 지시사항과 데이터의 효과적인 분리를 입증한다.
  • TensorTrust: 0.818의 강건성(robustness) 비율을 달성하여 베이스 모델(0.212)을 크게 앞질렀으나, 표준 DPO(0.906)보다는 약간 낮았다. 이는 교정(calibration) 측면의 트레이드오프를 반영한다.
  • MT-Bench: 일반적인 챗 어시스턴트 유용성을 보존하였으며, GW-DPO (양방ali)는 7.425점을 기록하여 오프더쉘프(off-the-shelf) 앵커 모델과 대등하거나 이를 상회하는 성적을 냈다.

의의 및 주장
본 논문은 구조적 마진, 특히 GW-DPO의 양방향 스케줄이 계층 준수를 위한 유용하고 보완적인 레버 역할을 한다고 주장한다. 저자들은 이 레시피가 배포 아키텍처가 더욱 계층화됨에 따라 더 높은 $k$로 확장될 준비가 되어 있다고 단언한다.

결정적으로, 본 논문은 3단계와 5단계 학습 사이의 선택을 단순한 순서 결정 문제가 아닌 일반성-특수성 트레이드오프의 문제로 규정한다. 5단계 학습은 평문 재작성에 대한 해결 능력을 보존하고 과잉 거절을 잘 교정하는 반면, 3단계 학습은 표면 상관관계를 통해 특정 하위 집합에 대한 좁은 숙련도를 제공한다. 저자들은 양방향 스케줄이 선형 스케줄과 비교하여 충돌 해결을 개선하는 동시에 과잉 거절을 줄이는 유일한 구성이며, 이는 고전적 보안 모델(Biba, 1977)의 "no write up" 제약 조건과 일치한다고 강조한다.

결론적으로, 본 연구의 레시피는 프롬프트 인젝션에 효과적으로 방어하고 계층을 강제하는 데 유효하지만, 동기화된 공격자에 대한 완전한 적대적 방어는 아니며, 조직의 우선순위를 위해 사용자의 우려를 억제하는 문제에 대한 신중한 정책적 고려가 필요함을 시사한다.