💬 NLP

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

본 논문은 의사 레이블링(pseudo-labeling) 적응 전략이 선호도 튜닝된 언어 모델에서 도메인 변화로 인한 성능 저하를 효과적으로 완화하는 한편, 동시에 모드 붕괴(mode collapse)를 유발함으로써 일반화와 다양성 사이의 근본적인 트레이드오프를 드러낸다는 것을 입증하는 체계적인 실증 연구를 제시한다.

원저자: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

언어를 읽고 쓰는 현대의 컴퓨터들은 태어날 때부터부터 도움이 되거나, 안전하거나, 예의 바르게 행동하는 법을 알고 태어나지 않는다. 이들은 문장에서 다음 단어를 예측할 수는 있지만, 인간이 실제로 무엇을 원하는지에 대한 감각은 결여된 채 방대한 텍스트 도서관 상태로 시작한다. 이를 해결하기 위해 연구자들은 이러한 기계들이 인간의 가치에 부합하도록 가르친다. 그들은 컴퓨터에게 좋은 답변과 나쁜 답변의 쌍을 보여주고, 사람들이 어떤 것을 더 선호하는지 학습하게 함으로써 이 작업을 수행한다. 흔-히 '선호도 튜닝(preference tuning)'이라 불리는 이 과정은 가공되지 않은 언어 모델을 유능한 조수로 만드는 표준적인 방법이다. 그러나 한 가지 지속적인 문제가 나타났다. 모델이 특정한 유형의 대화에 맞춰 훈련되면, 주제나 스타일이 바뀔 때 제대로 수행하는 데 어려움을 겪는 경우가 많다는 것이다. 일상적인 인터넷 게시물을 요약하도록 훈련된 모델은, 요약이라는 과업 자체는 동일함에도 불구하고 격식 있는 뉴스 기사를 요약하라는 요청을 받으면 처참하게 실패할 수 있다.

셰필드 대학교의 연구팀은 정확히 왜 이런 현상이 발생하는지, 그리고 어떻게 이를 해결할 수 있는지 이해하기 위해 연구에 착수했다. 그들은 이 문제를 적응력 테스트처럼 다루었다. 그들은 컴퓨터에게 인간의 선호도를 맞추도록 가르치는 몇 가지 서로 다른 방법들을 가져와 세 가지 뚜렷한 도전 과제에 걸쳐 테스트했다. 첫째, 모델을 비격식적인 인터넷 댓글 요약에서 격식 있는 뉴스 이야기 요약으로 이동시켰다. 둘째, 공학 질문에 답하는 모델을 요리 질문에 답하는 모델로 이동시켰다. 셋째, 사이버 범죄에 대한 요청을 거부하도록 훈련된 모델이 물리적 폭력에 대한 요청도 거부할 수 있는지 테스트했다. 연구진은 사용된 구체적인 수학적 훈련 방법이 더 중요한지, 아니면 새로운 주제를 위해 데이터를 준비하는 방식이 결정적인 요소인지를 확인하고자 했다.

연구 결과 놀라운 진실이 밝혀졌다: 새로운 주제를 위해 데이터를 준비하는 방법이 선택된 특정 학습 알고리즘보다 훨씬 더 중요하다는 사실이다. 연구진이 단순히 기존 데이터로 모델을 가르친 뒤 새로운 과업을 수행하도록 요청했을 때, 결과는 종종 좋지 않았다. 모델은 알고 있던 것을 잊어버리거나 새로운 맥락을 이해하지 못했다. 그러나 '의사 라벨링(pseudo-labeling)'이라 불리는 기술을 사용했을 때 결과는 극적으로 변했다. 이 접근 방식에서는 훨씬 더 크고 똑똑한 컴퓨터 모델이 새로운 영역에서 좋은 답변이 어떤 모습인지에 대한 예시를 생성했다. 그다음 더 작은 모델이 이 합성된 예시들로부터 학습했다. 이 전략은 모델의 성능을 크게 끌어올렸다. 예를 들어, 뉴스 요약 작업에서 이 방법을 사용한 모델은 83% 이상의 성공률을 달alog 달성한 반면, 이 도움 없이는 40%조차 도달하기 힘들어했다. 연구진은 이러한 향상이 매우 강력해서, 다섯 가지의 서로 다른 정렬 알고리즘 중 어떤 것을 사용하느냐는 중요하지 않을 정도였다. 즉, 합성 데이터의 품질이 지배적인 요인이었다.

하지만 이러한 성공에는 숨겨진 비용이 따랐다. 연구진은 이러한 모델들이 정답을 얻는 데는 탁월해졌지만, 다양성을 유지하는 능력은 상실했다는 것을 발견했다. 모델이 합성된 예시로부터 학습하면서, 모델은 동일한 패턴을 반복해서 생성하기 시작했다. 뉴스 요약 작업에서, 모델은 내용이 음식, 여행, 스포츠 중 무엇이든 상관없이 항상 "이 기사는 ~에 대해 논한다"로 시작하는 엄격한 템플릿을 따르며 모든 요약을 똑같은 구조로 만들어냈다. '모드 붕괴(mode collapse)'라고 알려진 이 현상은 모델을 신뢰할 수 있지만 단조로운 기계로 만들었다. 모델은 뉴스 기사를 완벽하게 요약할 수는 있었지만, 인간 작가가 가져올 수 있는 고유한 목소리와 다양성을 잃어버렸다. 연구는 이 방식으로 훈련된 모델들이 매우 일관적이지만 언어적으로는 평면적이며, 효과적으로 창의성을 신뢰성과 맞바꿨음을 보여주었다.

또한 연구진은 과업의 유형에 따라 모델이 얼마나 다양성 상실을 겪는지에 차이가 있다는 것을 발견했다. 위험한 요청을 거부하는 것이 목표인 안전 과업의 경우, 합성 훈련은 명백한 승리였다. 모델은 사이버 범죄든 물리적 폭력이든 관계없이 위험한 요청을 거의 완벽한 정확도로 거부하는 법을 배웠다. 여기서 다양성의 상실은 문제가 되지 않았다. 목표는 단순히 안전하고 일관되게 행동하는 것이었기 때문이다. 그러나 질의응답 과업에서는 미묘한 문제가 관찰되었다. 공학 질문에 대해 훈련된 모델은 때때로 요리 질문에 대해 엔지니어 특유의 딱딱하고 기술적인 스타일로 답변했다. 표준적인 컴퓨터 판정관은 논리가 타당하기 때문에 이를 도움이 된다고 평가할 수도 있겠지만, 인간 독자는 이를 부적절하다고 느낄 것이다. 모델은 사실은 배웠으나, 새로운 커뮤니티의 문화적 뉘앙스는 놓친 것이다.

궁극적으로 이 연구는 언어 모델을 적응시키는 단 하나의 완벽한 방법은 없다는 점을 시사한다. 만약 목표가 안전 애플리케이션이나 엄격한 요약과 같이 높은 신뢰성을 확보하는 것이라면, 더 강력한 모델이 생성한 합성 데이터를 사용하는 것이 가장 효과적인 경로이다. 비록 그것이 출력을 반복적으로 만들지라도 말이다. 만약 목표가 창의적인 글쓰기와 같이 풍부한 다양한 목소리를 유지하는 것이라면, 기존 데이터와 새로운 데이터를 혼합하는 것이 더 낫지만, 동일한 최고 성능에는 도달하지 못할 수도 있다. 연구진은 선택하는 전략이 사용자가 무엇을 더 가치 있게 여기느냐에 전적으로 달려 있다고 결론지었다. 즉, 정답의 확실성을 원하는지, 아니면 표현의 다양성을 원하는지에 달린 것이다. 그들은 합성 데이터에 너무 과하게 의존하는 것이 모든 기계 생성 콘텐츠가 똑같이 들리게 하여 디지털 세계를 균질화하는 미래로 이어질 수 있다고 경고했다. 그들이 제안하는 앞으로의 길은 모델이 유용하면서도 인간처럼 다양할 수 있도록 하는 균형점을 찾는 것이다.

기술 요약: 도메인 변화 하에서의 선호도 튜닝 일반화 및 다양성에 관한 경험적 연구

문제 제기
대규모 언어 모델(LLM)은 품질, 유용성, 안전성에 대한 인간의 판단에 정렬하기 위해 사후 학습 단계의 선호도 최적화(예: RLHF, DPO)에 의존한다. 이러한 방식은 훈련된 도메인 내에서는 효과적이지만, 기존 연구에 따르면 이 모델들이 외부 도메인(OOD) 작업에 적용될 때 성능 저하와 유용성 감소를 겪는 경우가 많다. 그러나 특정 적응 전략이 이러한 "도메인 변화(domain shift)"를 완화하는 데 어느 정도 기여할 수 있는지는 아직 탐구되지 않았다. 또한, 기존 문헌에는 다양한 정렬 목적 함수(온라인 및 오프라인 모두 포함)와 도메인 적응 기술 간의 상호작작용, 특히 일반화 성능과 출력 다양성 사이의 트레이드오프에 대한 체계적인 비교가 부족하다.

방법론
저자들은 도메인 변화 하에서의 선호도 최적화를 **정렬 전략(Alignment Strategy)**과 **적응 전략(Adaptation Strategy)**이라는 두 가지 축으로 분해하여 종합적인 경험적 연구를 수행한다.

정렬 목적 함수: 본 연구는 다섯 가지의 서로 다른 선호도 최적화 방법과 표준 지도 미세 조정(SFT)을 함께 평가한다:
- 온라인 RL: 근사 정책 최적화(PPO) 및 그룹 상대 정책 최적화(GRPO)를 이용한 RLHF.
- 오프라인/RL-free: 직접 선호도 최적화(DPO), 카네만-트버스키 최적화(KTO), 그리고 오즈 비율 선호도 최적화(ORPO).
적응 전략: 본 연구는 모델이 다음과 같은 방식을 통해 소스 도메인( $D_S$ )에서 타겟 도메인( $D_T$ )으로 어떻게 적응하는지 테스트한다:
- Source-only SFT: 라벨링된 소스 데이터로만 학습.
- Target SFT: 라벨링되지 않은 타겟 데이터로 학습.
- Mix SFT: 소스와 타겟 데이터의 혼합물로 학습.
- 의사 라벨링(Pseudo-Labeling): 더 강력한 "교사(teacher)" 모델(Llama-3.3-70B)을 사용하여 타겟 도메인에 대한 합성 선호도 데이터셋( $D^{synth}_T$ )을 생성하여 지식을 증류(distill)하고, 이를 SFT 또는 선호도 최적화에 사용.
테스트베드: 실험은 도메인 변화를 포함하는 세 가지 뚜렷한 작업에 걸쳐 수행된다:
- 요약(Summarization): 비형식적인 Reddit TL;DR 포스트(소스)에서 형식적인 CNN/DailyMail 뉴스 기사(타겟)로의 변화.
- QA 유용성(QA Helpfulness): 엔지니어링 중심의 AskEngineers에서 요리 중심의 AskCulinary(Stanford Human Preferences 데이터셋)로의 변화.
- 안전성(Safety): 사이버 범죄 거부(Cybercrime refusal)에서 폭력/신체적 위해 거부(Violence/Physical Harm refusal)로의 안전 정렬 전이(PKU-SafeRLHF).
평가:
- 일반화(Generalization): LLM-as-a-judge 승률(적응된 모델을 인간 참조 모델과 비교) 및 안전성 점수(OpenAI Moderation API 활용)를 통해 측정.
- 다양성(Diversity): 구문적(EAD n-grams), 의미적(SBERT 코사인 유사도), 논리적(NLI) 다양성 지표를 사용하여 정량화.

주요 결과

적응 전략의 우위: 적응 전략의 선택은 정렬 목적 함수의 선택보다 종종 더 결정적이다. **의사 라벨링(Pseudo-labeling)**은 모든 작업에서 비합성(non-synthetic) 방식보다 성능이 월등히 높으며, 타겟 도메인 승률과 안전성 점수에서 일관되게 가장 높은 결과를 보여주었다. 예를 들어, 요약 작업에서 의사 라벨링 SFT는 타겟 도메인에서 약 36~58%의 승률을 보인 다른 방법들과 달리 83.37%의 승률을 달성했다.
오프라인 vs. 온라인 일반화: 소스 데이터로만 학습된 오프라인 방식(DPO, ORPO, KTO)은 심각한 과적합(over-specialization)을 보이며 큰 일반화 격차를 나타낸다(예: 요약 작업에서 Llama-3.1-8B에 대한 DPO의 격차는 31.78%). 반면, 온라인 방식(GRPO, PPO)은 더 높은 강건성을 보여주며, 동일한 설정에서 GRPO는 3.79%의 낮은 일반화 격차를 유지했다.
일반화-다양성 트레이드오프: 핵심적인 발견은 의사 라벨링이 성능을 극대화하지만, **모드 붕괴(mode collapse)**를 유발한다는 점이다. 의사 라벨링된 데이터로 학습된 모델은 거의 제로에 가까운 의미적 다양성과 현저히 감소된 구문적 다양성을 보인다. 이 모델들은 교사 모델의 반복되는 템플릿(예: 요약에서의 고정된 "The article discusses..." 구조)에 과적합되어, SFT 전용 베이스라인에서 보이는 창의적 변동성을 희생한다.
작업별 민감도:
- 요약: 도메인 변화에 매우 민감함; 높은 성능을 위해 의사 라벨링이 필수적이지만 구조적 붕괴를 초래함.
- QA 유용성: 적응 없이도 일반화 격차가 거의 나타나지 않는데, 이는 도메인에 무관한 유용성 신호 덕분인 것으로 보인다. 그러나 질적 분석 결과 "인식론적 표류(epistemic drift)"가 관찰되었다. 즉, 소스 데이터로 학습된 모델이 요리 질문에 대해 엔지니어링 스타일의 엄격함으로 답변하며, 표준 판정기들은 이를 실용적 불일치에도 불구하고 유용하다고 평가한다.
- 안전성: 의사 라벨링은 모든 위해 카테고리에 대해 95% 이상의 높은 안전성 점수를 달-성하며 안전한 사전 지식(safety priors)을 효과적으로 전이한다. 그러나 특정 모델 구성에서 의사 라벨링된 SFT 위에 DPO를 적용하면 이러한 안전성 이득이 일부 삭제될 수 있는 반면, KTO와 ORPO는 강건함을 유지한다.

의의 및 주장
본 논문은 도메인 변화 하에서의 선호도 최적화 일반화에 대한 최초의 체계적인 특성화를 제공한다고 주장한다. 주요 기여는 다음과 같다:

경험적 증거: 높은 타겟 도메인 성능을 달성하는 데 있어 특정 정렬 목적 함수보다 적응 전략(특히 의사 라벨링)이 더 중요하다는 것을 입증하였다.
트레이드오프 식별: 합성 감독(의사 라벨링)이 신뢰성과 승률을 극대화하지만, 출력 다양성을 심각하게 저해하여 "구조적 모드 붕괴"를 일으킨다는 근본적인 긴장 관계를 밝혀냈다.
배포 가이드라인: 저자들은 사실적 일관성이 중요한 고제약 작업(예: 뉴스 요약)의 경우 의사 라벨링과 오프라인 방식을 사용하는 것이 최적이라고 제안한다. 반대로, 창의적이거나 개방적인 작업의 경우, 타겟 데이터를 혼합(Mix-SFT)하거나 GRPO와 같은 온라인 목적 함수를 사용하는 것이 일반화와 다양성 사이의 더 나은 균형을 제공한다.

본 연구는 의사 감독(synthetic supervision)이 도메인 적응을 위한 강력한 도구이지만, 모델 출력의 균질화를 초래할 위험이 있는 "양날의 검"임을 결론짓는다. 향-후 연구로는 단일 모드 분포로의 붕괴를 방지하기 위해 다양성을 명시적으로 고려하는 하이브리드 데이터 혼합 및 최적화 목적 함수를 탐구할 것을 제안한다.

유사한 논문