💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

이 논문은 베이스 모델의 튜닝 없이도 후보군을 재순위화하기 위해 토큰 수준의 준수 점수를 생성하는 교차 주의(cross-attention) 보상 헤드를 학습시킴으로써, 대규모 언어 모델의 시스템 프롬프트 준수 능력을 향상시키는 디코딩 타임 프레임워크인 SyRuP을 소개한다.

원저자: Seoyeon Kim, Minjae Kang, Jaehyung Kim

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seoyeon Kim, Minjae Kang, Jaehyung Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거의 모든 책을 읽은, 매우 똑똑하고 박식한 로봇과 대화하고 있다고 상상해 보세요. 이 로봇은 거대 언어 모델(LLM)입니다. 보통 당신이 질문을 하면 로봇은 자신의 학습 내용을 바탕으로 대답합니다. 하지만 가끔은 대화를 시작하기 전에 특정한 규칙들을 먼저 주고 싶을 때가 있습니다. 예를 들어, "심술궂은 해적처럼 행동해 줘", "운율에 맞춰서만 대답해", 또는 "폭력적인 내용은 절대 언급하지 마"라고 말할 수 있죠. 이러한 규칙들을 **시스템 프롬프트(system prompts)**라고 부릅니다. 이것은 마치 로봇에게 주는 직무 기술서나 특정 대화를 위해 입는 의상과 같습니다.

문제는 이 로봇들이 대화 도중에 나타나는 지시사항을 따르는 데 익숙해져 있지, 대화 시작 전에 설정된 불변의 규칙에는 익숙하지 않다는 점입니다. 규칙이 복잡해지면—예를 들어 "해적이 되어야 하지만, 19세기 문법을 사용하고, 'e'라는 글자를 피하며, 재미있게 말해줘"와 같은 경우—로봇은 대화 중간에 규칙을 잊어버리곤 합니다. 해적처럼 말하다가 갑자기 현대의 십 대처럼 변하거나, 'e'를 피하라는 규칙을 잊어버릴 수도 있습니다. 과학자들은 로봇을 다시 학습시켜서(이는 비용이 많이 들고 느린 작업입니다) 이를 해결하거나, 이미 글이 다 써진 후에 최선의 답을 추측하는 방식(이는 작가가 소설을 다 쓴 후에 편집하는 것과 같습니다)을 시도해 왔습니다. 큰 질문은 이것입니다: 우리가 로봇의 뇌를 바꾸거나 끝날 때까지 기다리지 않고도, 로봇이 글을 쓰는 동안 이 복잡한 규칙들을 따르도록 유도할 수 있을까요?

여기서 SYRUP라고 불리는 새로운 방법이 등장합니다. 로봇의 뇌를 우리가 재배치할 수 없는 거대하고 얼어붙은 도서관이라고 생각해 보세요. SYRUP은 로봇이 글을 쓰는 동안 바로 옆에 서 있는 아주 똑똑하고 작은 사서와 같습니다. 로봇이 다음에 할 말을 고를 때마다, 이 사서는 두 가지를 확인합니다: "이 단어가 이야기에 어울리는가?" 그리고 "이 단어가 해적 의상에 어울리는가?"

실제로 어떻게 작동하는지 살펴보겠습니다. 로봇은 다음에 말할 후보 단어 중 상위 10개를 가지고 있습니다. 보통 로봇은 그중 첫 번째로 좋아하는 단어를 선택합니다. 하지만 SYRUP이 개입합니다. 사서는 "시스템 프롬프트"(해적 의상)를 별도의 특별한 메모리 카드로 취급합니다. 그리고 **교차 주의 보상 헤드(cross-attention reward head)**라는 특별한 도구를 사용하여 로봇의 현재 생각에 묻습니다. "이봐, 만약 네가 이 단어를 말한다면, 그게 해적 분위기에 맞니?" 그러면 사서는 로봇의 상위 10개 단어 각각에 점수를 매깁니다. 만약 로봇이 "Hello"라고 말하고 싶어 하는데 해적 의상이 "Ahoy"를 요구한다면, 사서는 "Ahoy"의 점수는 높이고 "Hello"의 점수는 낮춥니다. 로봇은 그 후 가장 높은 결합 점수를 가진 단어를 선택합니다.

이 논문은 이 방식이 기존의 방식들보다 훨씬 더 낫다고 제안합니다. 연구진은 세 가지 서로 다른 로봇 뇌에 SYRUP을 테스트했으며, SYRUP이 단순히 더 나은 프롬프트를 제공하거나 답변을 사후에 재순위화하는 것보다 복잡한 규칙을 더 잘 따르도록 돕는다는 것을 발견했습니다. 실제로 한 테스트에서 SYRUP은 다음으로 좋은 방법보다 성능을 약 5.6% 향상시켰습니다. 이것이 작아 보일 수 있지만, AI의 세계에서는 엄청난 도약입니다.

또한 이 논문은 몇 가지 다른 아이디어들을 배제합니다. 단순히 규칙을 주요 대화 텍스트에 병합하는 것(예를 들어, 사용자의 질문 안에 해적 지침을 숨기는 것)은 충분하지 않다는 것을 보여줍니다. 로봇이 규칙을 정말로 잘 따르기 위해서는 규칙이 별도의 구별된 메모리로 취급되어야 합니다. 또한 로봇을 처음부터 다시 학습시키는 것이 규칙을 더 잘 따르게 만들 수는 있지만, 이는 너무 많은 시간과 비용이 든다는 것도 발견했습니다. SYRUP은 "디코딩 타임(decoding-time)" 방식입니다. 즉, 로bot이 생각하는 동안 작동하며, 원래의 뇌는 얼어붙은 상태로 유지하면서 오직 작고 가벼운 추가 요소만을 학습시킵니다.

흥미롭게도, 연구진은 SYRUP이 본 적 없는 규칙에 대해서도 작동한다는 것을 발견했습니다. 그들은 한 세트의 복잡한 지침으로 학습시킨 후, 완전히 다른 규칙(예: 엄격한 형식 지정이나 단어 수 제한)으로 테스트했지만 여전히 좋은 성능을 보였습니다. 이는 이 방식이 단순히 특정 답변을 암기하는 것이 아니라, "상사의 말을 듣는" 일반적인 기술을 가르친다는 것을 시사합니다.

하지만 논문은 이 방법이 모든 것을 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 명시합니다. 이 방법은 사서가 단어들을 확인해야 하기 때문에 로봇의 사고 과정에 아주 약간의 추가 시간을 더합니다. 그러나 저자들은 이 비용이 동일한 일을 하려는 다른 복잡한 방법들에 비해 매우 미미하다고 제안합니다. 또한 "규칙 준수"를 너무 강하게 밀어붙이면 로봇이 이상하거나 부자연스럽게 들릴 수 있으므로, 균형을 잡아야 한다고 경고합니다.

요약하자면, SYRUP은 로봇의 전체 뇌를 다시 학습시키지 않고도 복잡한 규칙을 따르게 하고 싶다면, 단순히 로봇이 기억하기를 바라는 것에 그쳐서는 안 된다고 제안합니다. 대신, 로봇이 말하고자 하는 모든 단어를 규칙에 비추어 실시간으로 확인하는 전담 가이드를 제공하여, 최종 이야기가 처음부터 입고 있던 의상에 충실하도록 보장해야 합니다.

기술 요약: SyRuP – 보상 유도 예측을 통한 시스템 프롬프트 준수 능력 향상

문제 정의

대규모 언어 모델(LLM)은 역할, 스타일, 형식 및 안전 제약 조건을 정의하는 시스템 프롬프트를 통해 점점 더 정교하게 제어되고 있습니다. 그러나 현재의 모델들은 인컨텍스트 러닝(in-context learning)을 통해 이러한 프롬프트를 암묵적으로 따르는데, 이는 복잡하거나 복합적인 지시사항을 수행하기에는 불충분한 경우가 많습니다. 기존의 솔루션들은 다음과 같은 상당한 트레이드오프를 가집니다:

학습 시 방법론(예: SFT, RLHF)은 비용이 많이 드는 파라미터 업데이트를 요구하며, 일반적인 능력을 저하시키는 "정렬 세금(alignment tax)"을 초래할 수 있습니다.
디코딩 시 방법론은 암묵적인 지시 이행에 의존하거나 시스템 프롬프트를 단순히 병합된 컨텍스트 시퀀스의 일부로 취급합니다. 결과적으로, 시스템 프롬프트는 별도의 조건화 소스로서의 독특한 역할을 상실하며, 기존의 보상 유도 접근 방식들은 인스턴스별 시스템 프롬프트 준수보다는 고정된 속성(예: 독성, 감성)에 집중해 왔습니다.

시스템 프롬프트를 추론 중에 토큰 수준의 가이드를 제공할 수 있는 별도의 메모리 소스로 명시적으로 취급하면서도 베이스 모델을 수정하지 않는 프레임워크가 부족한 실정입니다.

방법론: SyRuP

저자들은 베이스 LLM을 동결 상태로 유지하면서 경량화된 보상 헤드만을 학습시키는 디코딩 시 프레임워크인 SyRuP(System-prompt following via Reward-guided Prediction)를 제안합니다. 핵심 혁신은 시스템 프롬프트 준수를 토큰 수준의 조건부 준수 문제로 재정의하는 것입니다.

1. 교차 주의(Cross-Attention) 보상 헤드

시스템 프롬프트, 사용자 입력, 생성된 접두사를 하나의 시퀀스로 병합하는 표준 보상 모델과 달리, SyRuP는 시스템 프롬프트를 별도의 키-값(KV) 메모리로 유지합니다.

아키텍처: 보상 헤드는 시스템 프롬프트의 은닉 상태( $H(s)$ )가 키( $K_s$ )와 값( $V_s$ ) 역할을 하는 교차 주의 메커니즘을 사용합니다.
쿼리 구성: 쿼리( $Q_t$ )는 사용자 입력과 생성된 접두사의 결합( $H(x), H(y_{<t})$ )으로부터 도출됩니다.
스코어링: 교차 주의 출력은 현재 생성 상태에 대해 가장 관련 있는 시스템 프롬프트의 부분을 참조합니다. 이는 컨텍스트 표현과 융합되어 각 후보 토큰에 대한 토큰 수준 준수 점수( $r_t(v)$ )를 생성하는 2층 MLP를 통과합니다.
학습: 헤드는 브래들리-테리(Bradley-Terry) 목적 함수를 사용하여 시스템 프롬프트가 조건화된 선호 쌍 $(s, x, y^+, y^-)$ 에 대해 학습됩니다. 베이스 LM은 동결된 상태로 유지되며, 교차 주의 투영(projection)과 융합 MLP만이 업데이트됩니다.

2. 보상 유도 디코딩

추론 시, SyRuP는 베이스 LM의 로짓(logits)에서 상위- $k$ 후보들을 재순위화합니다. 최종 선택 점수는 세 가지 구성 요소의 조합으로 결정됩니다:
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : 베이스 LM 로짓 (유창성).
$r_t(v)$ : 학습된 토큰 수준 보상 점수 (명시적 준수).
$\Delta_t(v)$ : 중립적인 프롬프트 대비 시스템 프롬프트에 의해 유도된 로짓 변화량을 측정하는 선택적 대조 신호(contrastive signal) ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : 보상 및 대조 신호의 강도를 조절하는 하이퍼파라미터.

주요 기여

명시적 시스템 조건화: SyRuP는 시스템 프롬프트를 교차 주의를 통한 별도의 메모리 소스로 취급하는 최초의 디코딩 시 프레임워크로, 암묵적인 컨텍스트 흡수에 의존하는 대신 명시적인 토큰 수준 준수 평가를 가능하게 합니다.
경량화된 추론 시 제어: 이 방법은 베이스 LLM 파라미터의 업데이트를 요구하지 않고 오직 작은 학습 가능 보상 헤드만을 필요로 하여, 전체 파인튜닝에 대한 실용적인 대안을 제공합니다.
하이브리드 가이드: 명시적 보상 가이드와 시스템 유도 분포 변화를 포착하기 위한 대조 신호를 결합한 하이브리드 변형을 도입하여, 생성 방향을 조절하기 위한 상호 보완적인 신호를 제공합니다.

실험 결과

저자들은 세 가지 백본 모델(Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B)을 사용하여 Multifaceted-Bench(도메인 내) 및 IFEval(도메인 외)에서 SyRuP를 평가했습니다.

성능: SyRuP는 프롬프팅 방법(예: Few-shot, Marked Prompting) 및 디코딩 시 베이스라인(예: OPAD, GenARM, ARGS, BoN, DeAL)을 포함한 모든 베이스라인을 일관되게 능가했습니다.
- Multifaceted-Bench에서 Qwen-2.5-1.5B 기준 가장 강력한 베이스라인보다 5.61% 향상된 성적을 거두며 15개 모델-태스크 조합 전체에서 최상의 평균 점수를 기록했습니다.
- IFEval에서는 별도의 태스크 특정 학습 없이도 최상의 평균 엄격 프롬프트 수준 정확도를 달성하여, 검증 가능한 제약 조건에 대한 강력한 일반화 능력을 입증했습니다.
효율성: SyRuP는 준수도와 비용 사이에서 유리한 트레이드오프를 제공합니다.
- 보상 전용(reward-only) 변형은 베이스 모델 대비 지연 시간(latency)을 단 1.04배만 증가시켰습니다.
- 전체 하이브리드 변형은 2.18배의 지연 시간 증가를 초래했으나, 이는 ARGS(5.13배)나 DeAL(16.83배)과 같은 다른 디코딩 시 베이스라인보다 현저히 낮습니다.
- 피크 GPU 메모리 사용량은 베이스 모델과 유사한 수준을 유지했습니다 (3.1 GB vs 일부 베이스라인의 >10 GB).
분석: 절제 연구(Ablation studies)를 통해 명시적 교차 주의 조건화가 단일 스트림 암묵적 조건화보다 우수함을 확인했습니다. 또한, 보상 신호와 대조 신호는 상호 보완적이며, 결합된 접근 방식이 두 신호 중 하나만으로는 선택되지 않는 고유한 토큰을 선택한다는 것을 발견했습니다.

의의 및 주장

본 논문은 명시적 토큰 수준 가이드가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘이라는 가설을 SyRuP를 통해 검증합니다. 시스템 프롬프트를 생성 컨텍스트에서 분리하고 이를 전용 메모리 소스로 취급함으로써, SyRuP는 재학습의 계산적 오버헤드나 탐색 기반 디코딩의 높은 추론 비용 없이도 복잡하고 다양하며 인스턴스 특화된 제약 조건을 준수할 수 있게 합니다.

저자들은 SyRuP를 보다 제어 가능한 LLM 생성의 단계로 위치시키며, 특히 표준 인컨텍스트 러닝이 일관되게 강제하기 어려운 중요한 역할, 안전 가이드라인 또는 포맷팅 요구 사항을 시스템 프롬프트가 정의하는 시나리오에 적합하다고 주장합니다. 저자들은 적응형 가중치 조절 및 안전 필터링에 대한 향후 연구 과제를 제시하며, 추가적인 대조 신호의 오버헤드 및 과도한 조향(over-steering)의 가능성과 같은 한계점을 인정하였습니다.