🤖 AI

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

본 논문은 태스크 적응과 보상 기반 최적화를 분리함으로써 추천을 위한 파운데이션 모델을 비즈니스 지표에 효과적으로 정렬하는 3단계 점진적 사후 학습 프레임워크(선형 프로빙, 전체 미세 조정, 강화 학습 미세 조정)를 제안하며, 이는 오프라인 실험과 대규모 온라인 A/B 테스트 모두에서 우수한 성능을 입증하였다.

원저자: Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

게시일 2026-08-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 마법 같은 도서관에 들어선다고 상상해 보세요. 그곳의 책들은 말을 할 수 있습니다. 이 도서관은 단순한 도서관이 아니라, 바로 "파운데이션 모델(Foundation Model)" 도서관입니다. 이 모델은 수십억 개의 이야기를 읽어본, 매우 똑똑하고 경험이 풍착한 사서와 같습니다. 이 사서는 이야기의 일반적인 규칙과 사람들이 책을 둘러볼 때 어떻게 행동하는지를 정확히 알고 있습니다. 이 사서는 이미 이야기의 일반적인 법칙과 인간의 호기심에 대해 학습한 상태입니다. 하지만 까다로운 점은, 사서가 책을 찾는 법을 안다고 해서 도서관 '주인'이 실제로 무엇을 원하는지까지 안다는 뜻은 아니라는 것입니다. 주인은 사람들이 도서관에 얼마나 오래 머무는지, 혹은 얼마나 많은 멤버십에 가입하는지에 관심이 있을 수도 있습니다. 단순히 선반에서 책을 몇 권 집어 드는 것만이 목적이 아닐 수도 있다는 것이죠.

컴퓨터 과학, 특히 **추천 시스템(Recommender Systems)**의 세계에서 이것은 매일 벌어지는 투쟁입니다. 우리는 거대한 사전 학습된 AI 모델(사서들)을 가지고 있으며, 이들은 당신이 다음에 무엇을 클릭할지 예측하는 데 탁월합니다. 하지만 비즈니스는 단순한 클릭 그 이상을 원합니다. 예를 들어, 만화 시리즈 전체를 끝까지 읽거나 프리미엄 콘텐츠에 결제하는 것과 같은 깊은 참여(engagement)를 원합니다. 문제는 '클릭'을 나타내는 신호는 어디에나 있고 찾기 쉬운 반면, '깊은 만족도'를 나타내는 신호는 희귀하고 찾기 어렵다는 것입니다. 만약 사서에게 이 희귀한 신호만을 쫓도록 가르치려 한다면, 사서는 혼란에 빠져 이미 알고 있던 것을 잊어버리고 이상한 것들을 추천하기 시작할 것입니다. 이 논문은 이 디지털 사서들이 단순히 클릭할 것을 추측하는 것을 넘어, 당신이 오랫동안 사랑할 수 있는 이야기를 찾도록 돕는 영리하고 단계적인 방법을 탐구합니다.

3단계 댄스: 추천 사서를 훈련시키는 법

NAVER WEBTOON의 연구진은 이 모든 것을 한꺼번에 가르치려 하는 것이 재앙의 레시피라는 것을 깨달았습니다. 그들은 "점진적 정렬(Progressive Alignment)" 프레임워크를 제안했는데, 이는 일반적인 목적의 AI를 비즈니스 감각을 갖춘 추천 전문가로 변모시키되, AI의 지능을 망가뜨리지 않도록 설계된 일종의 3단계 훈련 캠프입니다.

1단계: 워밍업 (선형 프로빙, Linear Probing)
당신에게 무엇이든 요리할 줄 아는 마스터 셰프(사전 학습된 파운데이션 모델)가 있다고 상상해 보세요. 당신은 그가 특정 새로운 요리를 만들기를 원하지만, 그가 기존의 요리법을 잊어버리게 하고 싶지는 않습니다. 만약 당신이 그에게 완전히 새로운 칼과 팬(다운스트림 모듈)을 쥐여주며 즉시 요리를 시작하라고 명령한다면, 그는 당황하여 기존의 기술을 망칠 수도 있습니다.

그래서 첫 번째 단계는 **선형 프로빙(LP)**입니다. 이 단계에서는 마스터 셰프의 두뇌를 얼려둡니다(frozen). 즉, 근본적인 요리 스타일은 바꿀 수 없습니다. 당신은 오직 새로운 칼과 팬을 사용하는 연습만 허용합니다. 이는 새로운 도구가 셰프의 손에 익숙해지도록 돕되, 핵심 레시피를 망치지 않게 합니다. 이는 마치 신입 사원이 불을 만지기 전에 일주일 동안 상사를 옆에서 지켜보며 배우는 것과 같습니다. 이는 AI의 방대한 지식과 특정 만화 추천 작업 사이의 연결을 안정화합니다.

2단계: 본격적인 연습 (전체 미세 조정, Full Fine-Tuning)
새로운 도구가 안정되면, 이제 셰프가 자유롭게 요리할 수 있도록 할 차례입니다. 이것이 **전체 미세 조정(FFT)**입니다. 이제 모델 전체의 잠금이 해제됩니다. 셰프는 이 특정 레스토랑의 메뉴에 특화되기 위해 자신의 전체 요리 스타일을 미세하게 조정할 수 있습니다. 1단계에서 이미 새로운 도구들이 워밍업되었기 때문에, 셰프는 압도당하지 않습니다. 셰프는 일반적인 지식이라는 탄탄한 기초를 유지하면서 고객의 구체적인 취향(다운스트림 태스크)을 배울 수 있습니다. 연구진은 이 과정을 한 번에 크게 도약하는 대신 두 단계(LP 후 FFT)로 나누어 진행하는 것이 훨씬 낫다는 것을 발견했습니다. 한 번에 하려고 하면 AI가 너무 구체적인 것에 집중하다가 똑똑함을 잃어버리는 "파괴적 망각(catastrophic forgetting)" 현상이 발생하기 때문입니다.

3단계: 보상 게임 (강화 학습 미세 조정, Reinforcement Fine-Tuning)
여기서 마법이 일어납니다. 셰프는 이제 메뉴에 맞춰 요리할 줄 알지만, 과연 '주인'이 원하는 요리를 하고 있을까요? 주인은 단순한 간식(단일 클릭)이 아니라 깊은 만족(예: 만화 시즌 전체 결제)을 원합니다. 하지만 깊은 만족은 드뭅니다. 대부분의 사람은 그냥 둘러보기만 할 뿐입니다.

만약 당신이 셰프에게 오직 희귀한 "깊은 만족"의 승리에만 집중하도록 가르치려 한다면, 셰프는 무작정 추측하기 시작할 것입니다. 대신, 연구진은 **보상 모델(Reward Model)**을 사용했습니다. 이것을 특별한 채점표를 가진 '맛 테스터'라고 생각하세요. 맛 테스터는 희귀하고 깊은 상호작용을 살펴보고 그들에게 "보상 점수"를 부여합니다.

세 번째 단계인 **강화 학습 미세 조정(RFT)**에서, 셰프는 단순히 대중을 즐겁게 하기 위해서가 아니라, 맛 테스터의 점수를 만족시키기 위해 요리합니다. AI는 일련의 추천 목록을 생성하고, 맛 테스터(보상 모델)는 그것이 깊은 참여로 이어질 가능성에 따라 점수를 매기며, AI는 더 높은 점수를 받기 위해 자신의 전략을 조정하는 법을 배웁니다. 결정적으로, AI는 2단계에서 배운 "조밀한(dense)" 신호(예: 클릭)를 여전히 사용하여 무엇을 추천할지 알지만, "보상" 신호는 장기적인 행복을 극대화하기 위해 그것들을 어떻게 순위 매길지 안내합니다.

그들이 발견한 것 (그리고 "아니오"라고 말한 것)

연구진은 이 3단계 방법을 Webtoon 플랫폼의 실제 사용자 상호작용 데이터셋을 통해 테스트했습니다. 그들은 이 새로운 방법을 기존의 방식들과 비교했습니다.

"이렇게 하지 마세요" 리스트:
논문은 두 가지 흔한 지름길에 대해 명시적으로 반대합니다:

희귀한 비즈니스 목표를 직접 학습시키지 마세요. 처음부터 "유료 콘텐츠 완독"을 최적화하도록 AI를 가르치려 하면 일반화에 실패합니다. 이는 학생에게 곱셈을 가르치기도 전에 고급 미적분을 풀라고 가르치는 것과 같습니다. 신호가 너무 희박하여 모델이 길을 잃게 됩니다.
보상 모델을 최종 추천기로 사용하지 마세요. 연구진은 "맛 테스터"(보상 모델)를 직접 추천을 내놓는 사람으로 사용하는 실험을 했습니다. 이 모델은 깊은 참여를 포착하는 데는 뛰어났지만, 수백만 개의 만화 중에서 클릭을 유도할 아이템을 골라내는 "변별력"은 부족했습니다. 논문은 보상 모델이 '플레이어'가 아닌 '코치'로서 가장 적합하다고 제안합니다.

승리하는 전략:
"점진적 정렬"(LP → FFT → RFT)이 가장 효과적이었습니다.

오프라인 테스트: 과거 데이터를 통한 시뮬레이션 결과, 3단계 모델이 단일 단계 모델들을 압도했습니다. 특히, 학습된 보상 모델과 함께 GRPO(특정 유형의 강화 학습 알고리즘)를 사용한 버전이 가장 높은 점수를 기록했습니다. 이 모델은 높은 클릭률(Rank NDCG)을 유지하면서도 사용자를 콘텐츠의 더 깊은 단계로 유도하는 능력(Funnel NDCG)을 높였습니다.
실제 환경에서의 증명: 그들은 시뮬레이션에서 멈추지 않았습니다. 실제 플랫폼에서 대규모 A/B 테스트를 실시했습니다. 그들은 새로운 AI를 기존의 일반적인 파운데이션 모델과 비교했습니다. 결과는 새로운 프레임워크가 사용자 참여를 지속적으로 개선한다는 것을 보여주었습니다. 특히 "보상 모델을 결합한 GRPO" 버전은 사용자가 더 오래 읽고 유료 에피소드에 도달하게 만드는 데 탁-월했으며, "DPO"(또 다른 알고리즘) 버전은 초기 클릭을 유도하는 데 약간 더 나은 모습을 보였습니다.

핵심 요약

이 논문은 강력한 AI 추천기를 만드는 비결이 단순히 더 많은 데이터를 쏟아붓거나 가장 어려운 목표를 즉시 최적화하는 데 있지 않다는 것을 시사합니다. 핵심은 단계입니다. 첫째, 새로운 도구를 안정화하십시오. 둘째, 모델을 전문화하십시오. 셋째, 학습된 "보상" 신호를 사용하여 모델이 좋은 즉각적인 선택을 하는 능력을 잃지 않으면서도 비즈니스의 장기적인 목표를 향하도록 부드럽게 유도하십시오.

"태스크를 배우는 것"과 "비즈니스 목표에 맞게 정렬하는 것"을 분리함으로써, 연구진은 AI가 똑똑하면서도 수익성을 갖추게 만드는 방법을 찾아냈습니다. 이는 때때로 최선의 결과를 얻기 위해서는 결승선을 향해 전력 질주하는 것이 아니라, 천천히 단계별로 나아가야 한다는 점을 상기시켜 줍니다.

기술 요약: 다단계 사후 학습을 통한 추천 파운데이션 모델의 점진적 정렬

문제 정의

추천을 위한 파운데이션 모델(FM)은 장기적인 순차적 사용자 행동을 모델링하는 데 강력한 능력을 보여주었으나, 실제 배포 시 두 가지 결정적인 문제에 직면한다:

파괴적 망각(Catastrophic Forgetting): 거대한 사전 학습된 백본(backbone)을 무작위로 초기화된 태스크별 모듈과 함께 단일 단계로 직접 미세 조정(fine-tuning)하면, 사전 학습된 표현이 불안정해져 일반적인 행동 지식의 손실을 초래할 수 있다.
비즈니스 지표와의 불일치(Misalignment with Business Metrics): 표준 지도 학습 미세 조정(SFT)은 밀집된 암묵적 피드백(예: 클릭, 좋아요)을 최적화한다. 그러나 이러한 태스크 수준의 목적 함수는 궁극적으로 추천 품질을 결정하는 희소하고 지연된 비즈니스 지표(예: 장기 리텐션, 유료 전환)와 항상 일치하지는 않는다. 또한, 희소한 비즈니스 레이블에 대해 서빙 정책을 직접 최적화하면, 밀집된 신호로 학습된 정책에 비해 일반화 성능이 떨어지고 랭킹 변별력이 약해지는 결과가 발생한다.

기존 방식들은 밀집된 피드백을 통해 구축된 랭킹 능력은 유지하면서, 서빙 정책을 장기적인 비즈니스 목표에 정렬시키기 위한 적응의 안정성을 확보하는 데 어려움을 겪고 있다.

방법론

저자들은 다운스트림 지식 적응과 비즈니스 지표 정렬을 명시적으로 분리하는 3단계 점진적 사후 학습 프레임워크를 제안한다. 이 프레임워크는 다음 단계들로 구성된다:

1. 모델 아키텍처

시스템은 파운데이션-전문가(Foundation–Expert) 패러다임을 채택한다. 사전 학습된 순차적 인코더(FM 백본)가 사용자 임베딩을 생성하며, 이는 표면적 특징을 인코딩하는 경량화된 태스크별 다운스트림 모듈과 융합된다.

다운스트림 인코더: 크로스 어텐션 풀링(cross-attention pooling)을 사용하여 FM 시퀀스를 고정된 표현으로 압축하고, 이를 다운스트림 특징들과 결합한다.
보상 모델(Reward Model): 희소한 비즈니스 목적을 처리하기 위해, 노출부터 유료 콘텐츠 완료까지의 6단계 서열형 퍼널(ordinal funnel)로 모델링된 사용자 참여의 깊이를 예측하도록 보상 모델을 학습시킨다. 이 모델은 노출 편향을 교정하기 위해 자기 정규화 역확률 가중치(Self-Normalized Inverse Propensity Scoring, SNIPS)를 사용하는 **노출 성향 헤드(impression propensity head)**를 포함한다.

2. 1단계: 선형 프로빙 (Linear Probing, LP)

목표: 사전 학습된 백본을 손상시키지 않으면서 태스크별 구성 요소의 통합을 안정화한다.
과정: FM 백본을 **동결(frozen)**한다. 다운스트림 모듈과 예측 헤드만을 최적화한다.
목적: 다운스트림 구성 요소의 시맨틱 공간을 동결된 FM 표현과 정렬하기 위해 정책(클릭 예측), 보상(퍼널 깊이), 성향(노출)의 결합 손실을 최소 최소화한다.

3. 2단계: 전체 미세 조정 (Full Fine-Tuning, FFT)

목표: 1단계에서 얻은 안정성을 유지하면서, 타겟 태스크를 위해 전체 모델을 공동으로 전문화한다.
과정: FM 백본의 **잠금을 해제(unfrozen)**한다. 모든 파라미터가 업데이트된다.
전략: **차등 학습률 전략(discriminative learning-rate strategy)**을 적용하여, FM 백본은 다운스트림 모듈보다 학습률을 한 차수(one order of magnitude) 작게 설정하여 업데이트한다. 이를 통해 태스크별 구성 요소는 빠르게 적응시키면서, 백본은 파괴적 망실을 방지하기 위해 보수적으로 공동 적응하도록 한다.

4. 3단계: 강화 학습 미세 조정 (Reinforcement Fine-Tuning, RFT)

목표: 희소한 레이블에 직접 최적화하는 대신, 학습된 보상 모델을 신호로 사용하여 안정화된 서빙 정책을 장기적인 비즈니스 목표에 정렬시킨다.
과정: FFT 종료 시점의 모델 스냅샷이 고정된 참조 정책( $\pi_{ref}$ ) 역할을 한다. 정책 헤드와 FM 백본은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 또는 **직접 선호도 최적화(Direct Preference Optimization, DPO)**를 사용하여 최적화된다.
메커니즘:
- GRPO: 주어진 사용자 상태에 대해, 정책은 후보 액션 그룹을 샘플링한다. 보상 모델은 밀집된 스칼라 피드백을 제공한다. 어드밴티지는 그룹 내에서 보상을 정규화하여 계산되며, 정책은 $\pi_{ref}$ 에 대한 KL 정규화를 유지하며 클리핑된 대리 목적 함수를 최대화하도록 업데이트된다.
- DPO: 보상 모델의 점수(또는 관찰된 퍼널 결과)를 기반으로 선호 쌍(preference pairs)을 구성하며, 업데이트 단계에서 명시적인 보상 모델링 없이 선호도가 높은 아이템을 선호하도록 정책을 최적화한다.
핵심 차이점: 보상 모델은 서빙 정책으로 직접 배포되지 않는다. 대신, 밀집 피드백으로 학습된 정책을 비즈니스 목표 방향으로 유도하기 위한 정렬 신호로서 작동한다.

주요 기여

점진적 적응 프레임워크: 본 논문은 다운스트림 헤드의 안정화와 전체 모델의 전문화를 분리함으로써 파괴적 망실을 완화하는 구조화된 LP-FFT-RFT 파이프라인을 도입한다.
디커플링된 정렬 전략: 밀집된 암묵적 피드백은 서빙 정책의 랭킹 능력을 학습시키고, 희소한 비즈니스 지표는 정렬 신호로만 사용되는 보상 모델을 학습시킨다는 새로운 역할 분리를 제안한다. 이는 직접적인 희소 레이블 최적화에서 발생하는 일반화 문제를 피한다.
보상 기반 정렬 vs 직접 서빙: 보상 모델을 랭킹 정책으로 직접 배포하는 것보다, 학습된 보상 모델을 정렬 신호(RFT)로 사용하는 것이 더 우수한 성능을 낸다는 것을 입증한다.
실증적 검증: 본 프레임워크는 오프라인 절제 연구와 실제 웹툰 플랫폼에서의 대규모 온라인 A/B 테스트를 통해 검증되었다.

결과

오프라인 평가

LP-FFT의 우월성: 차등 학습률을 사용한 2단계 SFT(LP $\to$ FFT)는 Rank NDCG(전체 카탈로그 클릭 랭킹)와 Funnel NDCG(참여 깊이에 따른 타이틀 랭킹) 모두에서 단일 단계 베이스라인(LP 전용 또는 FFT 전용)보다 우수한 성능을 보였다.
RFT의 효과: 안정화된 SFT 정책에 RFT를 적용하면 두 지표 모두 추가로 향상된다.
정렬 vs 직접 서빙:
- 보상 모델에 대해 직접 학습된 정책은 높은 Funnel NDCG를 달리는 반면 낮은 Rank NDCG를 기록했는데, 이는 전체 카탈로그 랭킹을 위한 변별력이 부족함을 나타낸다.
- 보상 모델링을 결론으로 하는 GRPO는 직접 보상 모델의 Funnel NDCG와 일치하면서도 훨씬 높은 Rank NDCG를 유지하며 최적의 종합 성능을 달성했다.
- DPO는 혼재된 결과를 보였다. 관찰된 퍼널 선호도를 사용한 DPO는 좋은 성능을 보였으나, 보상 모델 유도 선호도를 사용한 DPO는 성능이 저하되었는데, 이는 스칼라 보상을 이진 쌍으로 변환하는 과정에서 유용한 상대적 정보가 손실될 수 있음을 시사한다.

온라인 A/B 테스트

베이스라인 개선: 2단계 SFT 파운데이션 모델 베이스라인은 모든 인세션(in-session) 지표(클릭, 열람 참여, 유료 전환)에서 기존의 비-파운데이션 프로덕션 모델(CTRL)을 일관되게 능가했다.
정렬 효과: RFT로 정렬된 변형 모델들은 SFT 베이스라인 대비 추가적인 이득을 제공했다.
- RM을 포함한 GRPO: 중-심층 참여 지표(예: 마지막 무료 회차 도달, 마지막 유료 회차 도달)에서 가장 강력한 개선을 보여, 장기적인 비즈니스 목표로의 효과적인 유도를 입증했다.
- RM 없는 DPO: 즉각적인 상호작용 지표(클릭/노출)에서 가장 큰 이득을 보였으며, 이는 직접 관찰된 선호도를 사용할 때 상단 퍼널 랭킹에 매우 효과적임을 시사한다.
안정성: 모든 파운데이션 모델 변형은 초기 과도기를 거친 후 안정적인 상승을 보였으며, 특히 GRPO w/ RM이 심층 참여 결과에서 가장 지속적인 이득을 보였다.

의의 및 주장

본 논문은 **점진적 사후 학습(progressive post-training)**이 산업용 추천 시스템에 파운데이션 모델을 배포하는 데 있어 실질적이고 효과적인 접근 방식임을 주장한다. 주요 의의는 다음과 같다:

안정성: 태스크별 지식 적응(LP 및 FFT를 통해)과 보상 기반 정렬을 명시적으로 분리함으로써, 직접적인 전체 파라미터 최적화와 관련된 불안정성과 파괴적 망실을 방지한다.
간극 해소: 밀집된 암묵적 피드백(강력한 랭킹 변별력 제공)과 희소한 비즈니스 지표(실제 가치 정의) 사이의 간극을, 후자를 서빙 정책의 직접적인 학습 목적이 아닌 정렬을 위한 보상 신호로 사용함으로써 성공적으로 메운다.
프로덕션 실행 가능성: 대규모 온라인 결과를 통해 이 다단계 접근 방식이 기존 베이스라인보다 프로덕션 추천 품질을 개선함을 확인하였으며, 이는 지도 학습 기반의 적응과 보상 기반의 정렬을 분리하는 것이 최적화 안정성과 다운스트림 서빙 성능을 모두 향상시킨다는 것을 입증한다.