💻 computer science

Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

이 논문은 기존의 표현 편집(representation editing) 방식이 선호도 데이터의 특성을 충분히 반영하지 못한다는 점을 개선하기 위해, 다중 목적 가치 함수(multi-objective value function)를 활용하여 추론 시점에 LLM의 출력을 정렬하는 새로운 선호도 기반 프레임워크인 'Pref-CTRL'을 제안합니다.

원저자: Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "똑똑하지만 가끔 사고 치는 천재 조수"

우리가 쓰는 ChatGPT 같은 AI는 아주 똑똑한 조수와 같습니다. 하지만 가끔 문제가 있어요. 누군가 "영화관에 몰래 들어가는 법 알려줘"라고 물으면, 눈치 없는 조수는 "음, 문 닫을 때 몰래 들어가면 돼요!"라고 대답해 버리기도 하죠.

보통 이 조수를 교육할 때는 **'재교육(Fine-tuning)'**을 합니다. 하지만 이건 조수에게 수만 권의 책을 다시 읽히는 것과 같아서 시간과 돈이 엄청나게 많이 듭니다.

2. 기존 방식 (RE-Control): "조수의 귀에 대고 속삭이기"

기존 연구(RE-Control)는 조수를 다시 교육하는 대신, 조수가 말을 내뱉기 직전에 옆에서 살짝 속삭여주는 방식을 썼습니다. 조수가 생각을 정리하는 단계(내부 표현)에서 "그건 좀 위험한 생각 같은데?"라고 점수를 매겨서 생각을 살짝 틀어주는 거죠.

하지만 이 방식은 한 가지 약점이 있었습니다. 조수에게 **"무엇이 더 좋은 대답인지"에 대한 '비교 기준'**을 제대로 가르쳐주지 않았다는 점입니다. 그냥 "점수가 낮으면 바꿔!"라고만 했거든요.

3. 새로운 방식 (Pref-CTRL): "우등생과 낙제생의 비교 학습"

이 논문에서 제안한 Pref-CTRL은 조수의 '속삭임(교정)'을 훨씬 똑똑하게 만들었습니다. 단순히 점수만 매기는 게 아니라, **'비교 데이터'**를 활용합니다.

비유를 들자면 이렇습니다:

기존 방식: 조수에게 "이 대답은 50점이야, 점수를 높여!"라고만 말함.
Pref-CTRL 방식: 조수에게 **"자, 여기 우등생의 모범 답안(Preferred)이 있고, 여기 낙제생의 나쁜 답안(Rejected)이 있어. 우등생의 답변 스타일과 네 생각을 최대한 비슷하게 만들고, 낙제생처럼 말하지 않도록 그 차이(Margin)를 확실히 벌려!"**라고 구체적으로 가르치는 것입니다.

이를 위해 두 가지 마법의 주문(Loss Function)을 추가했습니다:

마진 주문 (Margin Loss): "좋은 답안과 나쁜 답안 사이의 간격을 확실히 벌려라!" (나쁜 길로 빠지지 않게 함)
규제 주문 (Regularizer): "너무 엉뚱한 방향으로 튀지 말고, 모범 답안의 느낌을 유지하면서 교정해라!" (말이 안 되는 소리를 하지 않게 함)

4. 결과: "훨씬 더 예의 바르고 똑똑해진 조수"

실험 결과, 이 방식은 기존 방식보다 훨씬 뛰어났습니다.

더 안전함: 위험한 질문(범죄, 마약 등)에 대해 기존 방식은 "어떻게 하면 안 걸릴까?"라고 답할 때가 있었지만, Pref-CTRL은 "그건 불법이고 위험합니다"라고 단호하고 올바르게 답했습니다.
더 자연스러움: 억지로 말을 막는 게 아니라, 문맥을 유지하면서도 올바른 방향으로 대화를 이끌었습니다.
범용성: 배운 적 없는 새로운 종류의 질문을 받아도 당황하지 않고 잘 대처했습니다.

요약하자면!

이 논문은 AI를 통째로 다시 가르치는 대신, **AI가 말을 하기 직전의 '생각 단계'에서 "우등생의 답변과 비교하며 실시간으로 교정하는 기술"**을 개발한 것입니다. 덕분에 AI는 훨씬 적은 비용으로도 더 안전하고 예의 바른 대화 상대가 될 수 있게 되었습니다.

[기술 요약] Pref-CTRL: 표현 편집을 이용한 선호도 기반 LLM 정렬

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)의 정렬(Alignment)을 위해 모델의 가중치를 직접 수정하는 미세 조정(Fine-tuning, 예: RLHF, DPO) 방식이 널리 사용되고 있습니다. 하지만 이러한 방식은 막대한 계산 비용이 발생하며, 모델의 크기가 커질수록 확장성(Scalability) 문제가 심각해집니다.

이를 해결하기 위해 추론 시점에 모델의 내부 표현(Internal Representation)을 수정하는 테스트 타임 정렬(Test-time alignment) 기술이 주목받고 있습니다. 기존의 대표적인 방식인 RE-Control은 외부 가치 함수(Value Function)를 사용하여 은닉 상태(Hidden States)를 제어하지만, 다음과 같은 한계가 있습니다.

선호도 구조의 무시: 기존 방식은 개별 응답의 점수(Scalar Reward)만을 사용하여 가치 함수를 학습합니다.
데이터 특성 미반영: 실제 정렬 데이터셋(Stanford SHP, Anthropic HH-RLHF 등)은 두 응답 간의 상대적 우위를 나타내는 '쌍체 선호도(Pairwise Preference)' 구조로 되어 있음에도, 이를 학습 과정에 충분히 활용하지 못합니다.

2. 제안 방법론 (Methodology: Pref-CTRL)

본 논문은 RE-Control의 구조를 기반으로 하되, 가치 함수( $V_\phi$ )를 학습할 때 선호도 데이터의 구조를 반영할 수 있는 **다중 목적 학습 프레임워크(Multi-objective training framework)**인 Pref-CTRL을 제안합니다.

핵심 메커니즘

기존의 회귀 손실( $L_{Regression}$ ) 외에 두 가지 새로운 손실 함수를 추가하여 가치 함수를 최적화합니다.

마진 손실 (Margin Loss, $L_{Margin}$ ):
- 선호되는 응답(Preferred)과 거절되는 응답(Rejected) 사이의 가치 점수 차이를 명시적으로 벌려줍니다.
- 이를 통해 가치 함수가 단순히 점수를 맞추는 것을 넘어, 응답 간의 상대적인 순위를 더 정확하게 포착하도록 합니다.
정규화 손실 (Regularization Loss, $L_{Regularizer}$ ):
- 모델이 생성한 응답의 가치 점수가 선호되는 응답의 점수와 너무 멀어지지 않도록 제한합니다.
- 이는 과도한 최적화(Over-optimization)를 방지하고, 생성된 문장의 유창성(Fluency)과 품질을 유지하는 역할을 합니다.

최종 손실 함수: $L_{Total} = L_{Regression} + L_{Margin} + L_{Regularizer}$

3. 주요 기여 (Key Contributions)

선호도 기반 가치 함수 학습: 정렬 데이터의 본질인 '상대적 선호도'를 테스트 타임 제어 메커니즘에 통합하는 새로운 학습 프레임워크를 제시했습니다.
효율적인 테스트 타임 정렬: 모델의 가중치를 업데이트하지 않고도, 추론 시점에 은닉 상태에 그래디언트 기반의 개입(Gradient-based intervention)을 가함으로써 효과적으로 모델의 행동을 교정합니다.
강력한 일반화 성능: 학습 데이터셋에 없는 도메인(Out-of-domain)에서도 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

실험은 Vicuna-7B 및 Hermes3-8B 모델을 대상으로 SHP, HH-RLHF 데이터셋에서 진행되었습니다.

성능 향상: 모든 실험에서 Pref-CTRL(특히 Margin + Regularizer 조합)이 기존 RE-Control보다 높은 **승률(Win Rate)**과 **평균 보상(Average Reward)**을 기록했습니다.
DPO와의 비교: 학습 시점에 모델을 직접 수정하는 강력한 방법론인 DPO(Direct Preference Optimization)와 비교했을 때, 테스트 타임 방식임에도 불구하고 매우 근접한 성능을 보여주었습니다.
도메인 외 일반화: PKU-SafeRLHF 및 Nectar 데이터셋을 통한 제로샷(Zero-shot) 테스트에서도 RE-Control 대비 일관된 성능 향상을 보이며 강건함(Robustness)을 입증했습니다.
품질 유지: 정렬 성능이 향상되는 과정에서도 문장의 다양성(Diversity)과 일관성(Coherence)이 크게 저하되지 않았습니다.

5. 의의 (Significance)

본 연구는 **"모델을 직접 고치지 않고도, 모델의 내부 표현을 어떻게 제어해야 인간의 선호도에 가장 부합하는가?"**라는 질문에 대해 매우 효율적인 해답을 제시합니다. 특히, 대규모 모델의 정렬에 드는 막대한 비용을 줄이면서도, 선호도 데이터의 수학적 구조를 활용하여 제어의 정밀도를 높였다는 점에서 학술적/실무적 가치가 높습니다.