🤖 machine learning

Alignment-Aware Decoding

이 논문은 별도의 전문적인 학습 없이도 암시적 보상 최적화를 통해 대규모 언어 모델의 정렬을 강화하는 추론 단계 방법론인 정렬 인식 디코딩(Alignment-Aware Decoding, AAD)을 소개하며, 또한 데이터가 제한적인 환경에서 정렬을 개선하기 위한 고품질 합성 데이터 생성을 가능하게 한다.

원저자: Frédéric Berdoz, Luca A. Lanzendörfer, René Caky, Roger Wattenhofer

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Frédéric Berdoz, Luca A. Lanzendörfer, René Caky, Roger Wattenhofer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 잘 훈련된 로봇 비서(대규모 언어 모델)가 있다고 상상해 보세요. 당신은 이 로봇에게 도움이 되고, 해롭지 않으며, 정직하도록 가르치기 위해 많은 시간을 들였습니다. 이 훈련 과정은 로봇에게 엄격한 규칙집과 "착한 행동" 점수표를 주는 것과 같습니다.

하지만 이렇게 많은 훈련을 거친 후에도, 당신이 로봇에게 질문을 하면 로봇은 가끔 "최선"의 답 대신 "쉽거나" "게으른" 답을 선택하곤 합니다. 이는 마치 열심히 공부한 학생이 시험 도중 서두르다가 실수로 오답에 동그라미를 치는 것과 같습니다.

이 논문은 **정렬 인식 디코딩(Alignment-Aware Decoding, AAD)**이라는 새로운 기술을 소개합니다. 이것은 로봇을 다시 가르치는 것이 아니라, 로봇이 답을 쓰는 바로 그 순간에 **두 번째 눈(제2의 시선)**을 달아주는 것이라고 생각하면 됩니다.

문제점: "게으른" 답변 vs "이상적인" 답변

AAD를 이해하려면 두 가지 버전의 로봇이 필요합니다.

"학생" (SFT): 기본적인 훈련을 마친 로봇입니다. 똑똑하긴 하지만 아직 인간의 선호도에 맞춰 특별히 조정되지는 않았습니다. 이는 사실은 잘 알지만 선생님의 채점 스타일은 모르는 학생과 같습니다.
"졸업생" (DPO): 인간의 가치관에 맞게 미세 조정된 동일한 로봇입니다. 이 로봇은 선생님이 무엇을 원하는지 알고 있습니다.

보통 로봇이 질문에 답할 때는 이 "졸업은" 버전을 사용합니다. 하지만 이 논문은 "졸업생"이 때때로 자신의 훈련 내용 때문에 혼란을 느껴, 실제로 최선은 아니지만 좋아 보이는 길을 선택한다고 주장합니다.

해결책: "더블 체크" 시스템

AAD는 로봇이 답을 써 내려가는 동안, 단어 하나하나를 옆에서 지켜보는 코치가 되어주는 것과 같습니다.

이 코치는 다음과 같이 작동합니다:

안전망: 먼저, 코치는 "학생" 버전을 보고 어떤 단어가 문법적으로 안전하고 말이 되는지 확인합니다. 코치는 "좋아, 이 안전한 단어들 중에서만 골라야 해"라고 말합니다. 이는 로봇이 궤도를 벗어나거나 엉뚱한 소리를 하는 것을 방지합니다.
점수표: 다음으로, 코치는 "졸업생" 버전을 살펴봅니다. 코치는 "이 안전한 단어들 중에서, '졸업생'은 '학생'이 선택했을 법한 단어보다 어떤 것을 더 선호하는가?"라고 묻습니다.

그러면 로봇은 이 비교를 통해 가장 높은 "보너스 점수"를 받는 단어를 선택합니다. 이는 '졸업생'이 좋아하는 단어를 선택했을 때만 점수를 얻는 게임과 같습니다.

왜 특별한가요?

새로운 훈련 불필요: 로봇을 다시 훈련시키기 위해 몇 주를 보낼 필요가 없습니다. 이미 가지고 있는 두 가지 버전(학생과 졸업생)을 사용하여 실시간으로 서로의 노트를 비교하게 하면 됩니다.
더 나은 답변: 이 논문은 이 "더블 체크" 방식이 표준 방식보다 인간이 선호하는 답변을 일관되적으로 만들어낸다는 것을 보여줍니다. 이는 로봇이 새로운 뇌를 갖지 않고도 갑자기 더 신중하고 사려 깊게 변하는 것과 같습니다.
데이터 부족 문제: 처음에 로봇을 완벽하게 훈련시킬 데이터가 충분하지 않더라도, AAD는 여전히 고품품질의 답변을 생성할 수 있습니다. 실제로 이 논문은 이러한 고품질 답변을 사용하여 새로운 훈련 데이터를 만들 수 있으며, 이를 통해 아주 적은 양의 원래 데이터만으로도 로봇을 훨씬 더 발전시킬 수 있다고 제안합니다.

간단한 비유: 레스토랑의 셰프

셰프(AI)가 맛있는 요리(SFT)를 만드는 법을 배웠다고 상상해 보세요. 그 후 음식 평론가(인간 선호도)가 찾아와 어떤 요리가 "최고"인지 알려줍니다. 셰프는 이로부터 배우려고 노력합니다(DPO).

표준 디코딩: 셰프는 단순히 평론가가 좋아하는 것을 요리하려고 합니다. 때때로 셰프는 평론가를 기쁘게 하려고 너무 애쓰다가 소금을 너무 많이 넣어 요리를 망치기도 합니다.
AAD: 셰프에게는 요리의 기본을 아는 부주방장(SFT 모델)이 있습니다. 재료를 넣기 전, 헤드 셰프는 묻습니다: "평론가가 이 재료를 부주방장이 자연스럽게 사용하는 것보다 더 좋아할까?"
- 만약 평론가와 부주방장이 모두 소금을 좋아한다면, 헤드 셰프는 소금을 더 넣지 않습니다.
- 만약 평론가가 부주방장은 보통 무시하는 특정 향신료를 아주 좋아한다면, 헤드 셰프는 그 향신료를 넣습니다.

이를 통해 최종 요리는 안전하면서도(부주방장이 지켜보고 있으므로), 동시에 평론가의 구체적인 취향에 완벽하게 부합하게 됩니다(헤드 셰프가 둘을 비교하기 때문입니다).

이 논문의 실제 주장

저자들은 이 방법을 다양한 모델과 데이터셋에 대해 테스트했습니다. 그 결과는 다음과 같습니다:

AAD는 다른 방법들(예: 가장 확률이 높은 단어를 그냥 고르거나, 몇 가지 무작위 옵션을 시도한 뒤 가장 좋은 것을 고르는 방식)보다 일관되게 우수한 성능을 보였습니다.
로봇이 작거나 훈련 데이터가 많지 않은 경우에도 잘 작동합니다.
로봇을 더욱 개선하기 위한 루프(loop)로 사용할 수 있는 "합성" 고품질 데이터를 생성할 수 있습니다.

요약하자면, AAD는 AI 모델이 생각하는 동안 자신의 "훈련된 자아"와 "원래의 자아"를 비교하게 함으로써, 우리가 원하는 대로 더 도움이 되고 정렬된 비서처럼 행동하게 만드는 영리하고 가벼운 방법입니다.

기술 요약: 정렬 인식 디코딩 (Alignment-Aware Decoding, AAD)

문제 정의

대규모 언어 모델(LLM)을 인간의 선호도에 정렬시키는 것은 자연어 처리 분야의 핵심적인 과제로 남아 있습니다. 인간 피드백 기반 강화 학습(RLHF) 및 직접 선호 최적화(DPO)와 같은 학습 단계의 방법론들은 효과적임이 입증되었으나, 상당한 한계점을 가집니다. 이러한 방법들은 불완전한 선호 신호에 민면하고, 보상 해킹(reward hacking)과 같은 과최적화 문제에 취약하며, 종종 학습 과정에서 사용된 참조 모델의 편향을 그대로 물려받는 정책을 생성합니다. 또한, 모델이 한 번 학습되면 그 정렬 상태는 고정됩니다. 이를 수정하려면 계산 비용이 많이 드는 재학습이나, 별도의 보상 모델, 광범적인 탐색 절차 또는 정교하게 조정된 하이퍼파라미터에 의존하는 복잡한 추론 시 개입이 필요합니다.

방법론: 정렬 인식 디코딩 (AAD)

본 논문은 모델 파라미터를 수정하거나 추가 학습을 요구하지 않고 추론 단계에서 직접 모델의 정렬을 향상시키도록 설계된 **정렬 인식 디코딩 (AAD)**을 소개합니다. AAD는 DPO로 학습된 모델( $\pi_{DPO}$ )이 지도 미세 조정(SFT) 참조 모델( $\pi_{SFT}$ )에 대한 상대적 보상 신호를 암묵적으로 인코딩하고 있다는 이론적 통찰에 기반하여 작동합니다.

핵심 메커니즘

AAD는 DPO 정렬 모델의 두 가지 뚜렷한 특징을 활용합니다:

토큰 가능도 (Token Likelihoods): 다음 디코딩 단계에서 안전한 후보 토큰을 식별할 수 있는 능력.
토큰 수준의 크레딧 할당 (Token-Level Credit Assignment): 정렬된 모델과 참조 모델 간의 로그 가능도 비율을 사용하여 토큰의 이점(advantage)을 추정하는 능력.

AAD는 $\pi_{DPO}$ 의 확률 분포를 직접 따르는 대신, 다음과 같이 토큰 수준의 이점 함수를 최대화하는 토큰을 선택합니다:
$A(v | x \circ y_{1:t}) = \log \frac{\pi_{DPO}(v | x \circ y_{1:t})}{\pi_{SFT}(v | x \circ y_{1:t})}$
이 비율은 정렬된 모델을 토큰 수준의 보상 함수로 취급하여, 선호 최적화 과정에서 포착된 암묵적 보상을 최적화합니다.

과최적화 방지

이점 함수를 최대화하는 과정에서 낮은 확률의 토큰을 선택하여 퇴보적인 출력을 생성할 수 있는 과최적화 문제를 해결하기 위해, AAD는 min- $\alpha$ 필터링 메커니즘을 통합합니다. 가장 높은 이점을 가진 토큰을 선택하기 전, 이 방법은 정렬된 정책 하에서 최소 확률 임계값을 만족하는 토큰들로 탐색 공간을 제한합니다:
$V_\alpha = \{ v \in \mathcal{V} \mid \pi_{DPO}(v | x \circ y_{1:t-1}) \geq \alpha \cdot \max_{v' \in \mathcal{V}} \pi_{DPO}(v' | x \circ y_{1:t-1}) \}$
최종 토큰 $y_t$ 는 다음과 같이 선택됩니다:
$y_t = \arg \max_{v \in V_\alpha} A(v | x \circ y_{1:t-1})$
이는 모델이 정렬된 정책에 따라 타당하고 유창한 토큰들에 대해서만 정렬을 최적화하도록 보장합니다.

주요 기여

추론 시점 정렬: 본 논문은 DPO 모델을 토큰 보상 함수로 사용하고 SFT 모델을 참조 모델로 활용함으로써, 학습 없이 추론 시 정렬을 개선하는 간단한 방법인 AAD를 제안합니다.
경험적 우월성: 다양한 벤치마크(Ultrafeedback, Argilla, Skywork, Nectar 등)와 다양한 모델 규모(0.6B ~ 13B 파라미터)에 걸친 광범적인 실험을 통해, AAD가 동일한 연산량 조건에서 Greedy DPO, Best-of-2 (Bo2), Emulated Fine-Tuning (EFT)와 같은 강력한 베이스라인들을 일관되게 능가함을 입증했습니다.
데이터 효율적인 합성 데이터 생성: 저자들은 AAD가 고품질의 합성 완료 문장을 생성할 수 있음을 보여줍니다. 이러한 완성된 문장들은 레이블이 지정된 선호 데이터가 부족한 데이터 제약 환경에서 모델 정렬을 더욱 개선하기 위한 반복적 DPO 루프에 사용될 수 있습니다.

결과

벤치마크 성능: AAD는 테스트된 모든 데이터셋과 모델 제품군에서 가장 높은 평균 오라클 보상(oracle reward)과 승률을 달s성했습니다. 예를 들어, 3B LLaMA 모델을 사용한 Skywork 데이터셋에서 AAD는 Greedy DPO의 13.64 대비 19.27의 보상 점수를 기록했습니다.
데이터 희소성에 대한 강건성: 학습 데이터셋의 크기를 변화시키는 실험에서, AAD는 전체 선호 데이터의 10%만을 사용하여 학습했을 때도 Best-of-2 샘플링보다 일관되게 우수한 성능을 보였습니다.
인간 평가: Skywork 데이터셋에 대한 인간 평가 연구 결과, AAD가 생성한 응답은 Greedy DPO(승률 58.7%) 및 Best-of-2(승률 73.5%)보다 선호되었으며, Elo 레이팅 1610.1을 기록하여 다른 베이스라인들을 크게 앞질렀습니다.
반복적 개선: AAD 생성 데이터를 반복적 DPO에 사용함으로써, 단 10%의 데이터로 학습된 모델이 전체 데이터로 학습된 모델의 성능 격차를 거의 좁힐 수 있음을 보여주었습니다.
한계점: 이 방법은 토큰당 두 번의 순전파(forward pass, $\pi_{DPO}$ 와 $\pi_{SFT}$ 각각 하나씩)가 필요하므로, 단일 GPU에서 표준 Greedy 디코딩의 약 절반 수준의 처리량(throughput)을 가집니다. 또한, 저자들은 AAD가 SFT+DPO 파이프라인에 특화되어 설계되었음을 언급했습니다. PPO 학습 모델과 결 조합했을 때는 AAD가 활용하는 특정 확률 격차를 PPO가 유지하지 못해 혼합된 결과를 보였습니다.

의의

본 논문은 AAD를 재학습의 계산적 오버헤드나 외부 보상 모델의 복잡성 없이 LLM 정렬을 개선할 수 있는 실용적이고 이론적으로 근거가 탄탄한 솔루션으로 자리매김합니다. DPO 과정을 Q-함수를 학습하는 과정으로 해석하고 참조 모델을 활용하여 상속된 편향을 완화함으로써, AAD는 안전성과 유용성을 높이는 "플러그 앤 플레이(plug-and-play)" 방식의 디코딩 전략을 제공합니다. 저자들은 이 접근 방식이 모델 가중치가 고정되어 있거나, 독점적이거나, 고품질의 선호 데이터가 제한적인 시나리오에서 특히 가치 있으며, 효율적인 추론 시점 최적화 및 합성 데이터 생성을 통해 더 강력한 정렬로 나아가는 경로를 제공한다고 주장합니다.