💬 NLP

Value Drifts: Tracing Value Alignment During LLM Post-Training

이 논문은 LLM 사후 학습 과정에서의 가치 정렬 역학을 조사하여, 지도 미세 조정(Supervised Fine-Tuning)이 주로 모델의 가치를 확립하는 반면 이후의 선호도 최적화는 이를 거의 재정렬하지 못하며, 서로 다른 알고리즘이 동일한 데이터셋에서도 뚜렷하게 다른 결과를 도출한다는 점을 밝혀낸다.

원저자: Mehar Bhatia, Shravan Nayak, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Vered Shwartz, Siva Reddy

게시일 2026-07-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehar Bhatia, Shravan Nayak, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Vered Shwartz, Siva Reddy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 인터넷 정보를 읽어서 사실을 알고, 시를 쓸 수도 있고, 수학 문제도 풀 수 있는 아주 똑똑하고 새로운 로봇이 있다고 상상해 보세요. 하지만 지금 이 로봇은 '의견'에 있어서는 백지 상태와 같습니다. 만약 당신이 "지구를 구하는 것이 나은가, 아니면 돈을 빨리 버는 것이 나은가?"라고 묻는다면, 로봇은 편을 들지 않고 그저 사실만을 나열할 것입니다. 이 로봇을 인간에게 유익하고 안전하게 만들기 위해서는, 이 로봇에게 이러한 까다로운 질문들에 대해 어떻게 생각해야 하는지를 가르쳐야 합니다. 이 과정을 "얼라인먼트(alignment, 정렬)"라고 부릅니다.

얼라인먼트를 강아지 훈련에 비유해 봅시다. 먼저, 당신은 강아지에게 "앉아"나 "기다려" 같은 기본적인 명령어를 가르칩니다 (이것을 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라고 합니다). 당신은 좋은 행동의 예시들을 보여주며 규칙을 배우게 합니다. 그다음에는 강아지를 강아지 공원에 데려가 다른 개들과 놀게 하며 사회적 신호를 배우게 하고, 착하게 놀면 보상을 주고 물려고 하면 꾸짖습니다 (이것을 **선호도 최 optimization(Preference Optimization)**이라고 합니다). 과학자들이 던진 큰 질문은 이것입니다: 강아지는 실제로 언제 자신의 성격을 배우는가? 기초 훈련 단계에서 핵심 가치를 배우는 것일까요, 아니면 강아지 공원에서 성격을 갖게 되는 것일까요? 우리가 로봇의 가치가 어디에서 오는지 모른다면, 자신도 모르는 사이에 로봇에게 무례하거나 편향되거나 위험한 것을 가르치게 될 수도 있기 때문에 이를 이해하는 것은 매우 중요합니다.

"Value Drifts"라는 제목의 이 논문은 이 훈련 과정의 막전후를 파헤치며, 대규모 언어 모델(LLM)이 정확히 언제 그리고 어떻게 자신의 가치를 학습하는지 관찰합니다. 연구진은 훈련 과정을 타임랩스 영상처럼 취급하여, 단순히 완성된 결과물만 보는 것이 아니라 훈련의 매 단계마다 로봇의 "의견"을 점검했습니다.

연구 결과는 다음과 같으며, 이는 당신을 놀라게 할 수도 있습니다:

1. 첫 번째 수업이 가장 중요하다
연구는 "지도 미세 조정(SFT)" 단계가 로봇이 실제로 성격을 갖게 되는 지점이라는 것을 발견했습니다. 이것은 강아지가 '앉아'를 배우는 순간과 같습니다. 일단 그것이 완료되면, 핵심 행동은 결정됩니다. 연구진은 모델이 지시 데이터셋으로 훈련을 시작하자마자, 이민이나 기후 변화와 같은 큰 주제에 대한 입장이 급격하고 빠르게 변한다는 것을 발견했습니다. 만약 훈련 데이터가 중립적인 "잘 모르겠습니다"라는 답변들로 가득 차 있다면, 로봇은 중립적이 되었습니다. 만약 데이터가 지지하는 "네, 그렇게 합시다!"라는 답변들로 가득 차 있었다면, 로봇은 지지적이 되었습니다. 이 "가치 각인(value imprinting)"은 훈련의 매우 초기 단계, 종종 처음 몇 백 번의 스텝 이내에 발생했습니다.

2. 강아지 공원은 큰 변화를 주지 못한다
초기 훈련 이후, 모델은 인간이 선호하는 답변의 쌍을 보여주고 어떤 것이 더 나은지 알려주는 "선호도 최적화(Preference Optimization, 강아지 공원 단계)" 과정을 거칩니다. 연구진은 이 단계가 로봇의 가치를 미세하게 조정하여, 예를 들어 조금 더 예의 바르게 만들거나 더 도움이 되게 만들 것이라고 예상했습니다. 하지만 연구진은 이 단계가 첫 번째 단계에서 확립된 가치를 바꾸는 데 있어서는 대부분 아무런 역할도 하지 못했다는 것을 발견했습니다. 로봇의 의견은 첫 번째 훈련 단계에 의해 남겨진 그대로 유지되었습니다.

3. 왜 강아지 공계가 실패했는가 (그리고 어떻게 고칠 것인가)
왜 두 번째 단계가 아무것도 바꾸지 못했을까요? 연구팀은 "훈련용 간식(선호도 데이터셋)"들이 너무 비슷했기 때문이라는 것을 깨달았습니다. 표준적으로 사용되는 데이터셋에서는 "좋은" 답변과 "나쁜" 답변이 종종 스타일(하나는 길고, 하나는 짧음)만 다를 뿐, 정확히 같은 의견을 가지고 있었습니다. 이것은 마치 개에게 두 개의 똑같은 막대기를 보여주며 "더 나은 막대기를 골라봐"라고 말하며 공 가져오기 훈련을 시키는 것과 같습니다. 옵션이 동일하다면 개는 새로운 기술을 배울 수 없습니다.

하지만 연구진은 만약 당신이 로봇에게 명확한 선택지를 준다면, 즉 하나의 가치를 지지하는 답변과 그에 강력히 반대하는 답변을 보여준다면, 로봇이 마음을 바꿀 수 있다는 것을 증명했습니다. 그러나 어떻게 마음을 바꾸느냐는 사용하는 특정 알고리즘에 따라 달라집니다. DPO와 같은 일부 알고리즘은 로봇이 이미 믿고 있는 것을 강화하기만 하는 고집 센 선생님과 같고, SIMPO와 같은 다른 알고리즘은 더 신중하고 더 작고 느리게 변화를 만듭니다.

결론
이 논문은 만약 우리가 AI가 특정한 가치를 갖기를 원한다면, 마지막 "선호도" 단계를 통해 이를 해결할 수 없다고 제안합니다. 본격적인 작업은 초기 지시 훈련 중에 일어납니다. 만약 우리가 민감한 주제에 대해 중립적인 AI를 원한다면, 초기 훈련 데이터를 중립적으로 만들어야 합니다. 만약 지지하는 AI를 원한다면, 초기 데이터가 지지적이어야 합니다. 마지막 다듬기 단계는 주로 스타일을 위한 것이지, 로봇의 영혼을 바꾸기 위한 것이 아닙니다. 이것은 매우 중요한 통찰입니다. 왜냐하면 안전한 AI를 만드는 데 있어 가장 결정적인 부분은 단순히 마지막 피드백 라운드를 조절하는 것이 아니라, 우리가 보여주는 아주 첫 번째의 예시들을 엄선하는 것이라는 점을 알려주기 때문입니다.

기술 요약: 가치 표류(Value Drifts): LLM 사후 학습 과정 중 가치 정렬의 추적

문제 정의

대규모 언어 모델(LLM)이 사회적 담론의 핵심 요소로 자리 잡으면서, 인간의 가치와 모델을 정렬하는 것이 매우 중요해졌습니다. 표준적인 정렬 파이프라인은 지도 미세 조정(SFT)에 이어 선호도 최적화(예: RLHF, DPO)를 거치지만, 이러한 사후 학습 단계에서 모델이 특정 가치를 구체적으로 '어떻게' 그리고 '언제' 습득하는지에 대한 역학은 여전히 불투명합니다. 기존 연구들은 주로 완전히 훈련된 모델에 대한 사후 평가에 집중되어 있어, 학습 알고리즘과 데이터셋의 구체적인 기여도를 분리하거나 가치 습득의 시간적 진화를 추적하는 데 실패했습니다. 이러한 세밀함의 부족은 모델을 원하는 인간 가치 체계에 효과적으로 정렬시키기 위한 데이터를 큐레이션하고 알고리즘을 선택하는 데 걸림돌이 됩니다.

방법론

저자들은 모델의 표현된 가치가 훈련 과정 중에 어떻게 변화하는지 추적하는 "가치 표류(value drifts)" 프레임워크를 소개합니다.

1. 가치 및 입장(Stance)의 조작적 정의:

가치(Values): 가치 함축적인 프롬프트(규범적 판단)에 대한 응답 이면에 존재하는 잠재적이고 주관적인 위치로 정의됩니다.
입장(Stances): 가치의 구체적인 발현으로, 주어진 주제에 대해 지지(support), 중립(neutral), 또는 반대(oppose)로 분류됩니다.
측정: 저자들은 11개의 의미론적 범주(예: 이민, 낙태, 기후 변화)에 걸친 550개의 가치 탐사 프롬프트로 구성된 큐레이션된 평가 세트인 V-PRISM을 활용합니다. 각 모델 체크포인트에 대해 응답을 생성하고, 이를 LLM(GPT-4o)으로 분류하여 입장 분포를 결정합니다.

2. 지표:

표류 크기(Drift Magnitude): 두 체크포인트(훈련 단계의 시작과 끝) 사이의 기대 입장 확률 변화량입니다.
표류 시간(Drift Time): 한 훈련 단계 내에서 입장 확률이 최종 극점(정점 또는 최저점)에 도달하는 데 필요한 훈련 단계의 비율입니다.

3. 실험 설정:

모델: Llama-3 (3B, 8B) 및 Qwen-3 (4B, 8B).
SFT 데이터셋: WildChat (실제 인간-LLM 대화) 및 Alpaca (합성 지시 이행 데이터).
선호도 최적화 데이터셋: UltraFeedback 및 HH-RLHF.
알고리즘: PPO, DPO, SIMPO.
합성 제어(Synthetic Control): 알고리즘의 효과를 데이터셋의 특성과 분리하기 위해, 저자들은 통제되고 명시적인 "가치 격차(value gap)"를 가진 합성 선호도 데이터셋(한 응답은 특정 가치를 강력히 지지하고 다른 응답은 강력히 반대하는 쌍)을 구축했습니다.

주요 결과

1. SFT는 가치 정렬의 지배적인 동인이다

가치 정렬은 SFT 단계 동안, 종종 처음 수백 단계 이내에 빠르게 발생합니다.
선택된 SFT 데이터셋은 모델에 뚜렷한 가치 프로파일을 각인시킵니다. 예를 들어, WildChat(GPT-3.5 상호작용에서 유래)으로 훈련된 모델은 주로 중립적인 입장을 보이는 반면(종종 거절 패턴 때문), Alpaca로 훈련된 모델은 지지적인 편향을 보입니다.
이러한 "가치 각인"은 후속 훈련 단계에서도 지속되는 강력한 사전 지식(prior)을 형성합니다.

2. 표준 선호도 최적화는 최소한의 가치 표류만을 유도한다

표준 데이터셋(UltraFeedback, HH-RLHF)을 사용할 때, PPO, DPO, SIMPO는 SFT 단계에서 확립된 가치 프로파일에 미미한 변화만을 일으킵니다.
원인: 저자들은 표준 선호도 데이터셋에 "낮은 가치 격차"가 있음을 확인했습니다. 데이터셋의 "선택된(chosen)" 응답과 "거부된(rejected)" 응답은 근본적인 입장이나 가치보다는 주로 스타일적 차원(어조, 장황함)에서 차이가 납니다. 결과적으로 최적화 신호가 너무 약하여 모델의 가치 사전 지식을 재형성하기에 부족합니다.

3. 통제된 가치 격차가 존재할 때 알고리즘 간의 차이가 나타난다

명확한 가치 격차를 포함하는 합성 데이터셋을 제공했을 때, 선호도 최적화 알고리즘은 가치를 변화시킬 수 있지만 서로 다르게 작동합니다:
- PPO: 참조 모델에 정책을 고정하는 KL-다이버전스 페널티로 인해 SFT가 유도한 가치를 주로 보존합니다. KL 계수를 크게 줄이지 않는 한 표류 크기는 작습니다.
- DPO: SFT 사전 지식과 일치하는 입장을 증폭시킵니다. 만약 SFT 사전 지식이 특정 가치에 반대한다면, DPO는 입장을 완전히 뒤집는 데 어려움을 겪으며 부분적인 변화만을 초래합니다. 이는 $\beta$ 하이퍼파라미터에 민감합니다.
- SIMPO: 완만한 가치 표류를 생성하며 수렴 속도가 느립니다. 마진 기반 목적 함수(고정된 보상 격차를 요구함)로 인해, 마진이 충족되면 최적화 신호가 감소하여 업데이트가 억제됩니다.

의의 및 주장

본 논문은 사후 학습 중 가치 습득의 시간적 역학에 대한 최초의 체계적인 관점을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

가치 형성의 재정의: SFT가 특정 가치 입장을 심어주는 주된 메커니즘임을 입증했습니다.
정렬 한계의 진단: 표준 선호도 최적화에서 가치 표류가 적은 것은 알고리즘(PPO/DPO/SIMPO) 자체의 결함이 아니라, 널리 사용되는 선호도 데이터셋의 "낮은 가치 격차" 때문임을 식별했습니다.
실행 가능한 통찰:
- 데이터 큐레이션: 모델의 가치를 변경하려면 SFT 데이터셋을 원하는 가치 분포에 맞춰 큐레이션해야 합니다. 이후 단계에서는 이러한 사전 지식을 변경하는 경우가 드뭅니다.
- 선호 데이터 설계: 효과적인 선호도 최적화를 위해서는 선택된 응답과 거부된 응답 사이에 명시적이고 높은 수준의 가치 격차가 있는 데이터셋이 필요합니다.
- 알고리즘 선택: 선호도 알고리즘(PPO vs. DPO vs. SIMPO)의 선택은 강한 신호가 있을 때 가치 변화의 정도와 방향에 상당한 영향을 미치며, 특히 SFT 사전 지식과 어떻게 상호작용하는지에 따라 달라집니다.

저자들은 모델 정렬을 개선하기 위해서는 표준 파이프라인이 SFT 이후의 가치를 교정하거나 정교화하기를 기다리기보다, SFT 데이터의 큐레이션과 가치 수준의 대조를 명시적으로 인코딩하는 선호도 데이터셋을 구축하는 데 초점을 맞춰야 한다고 결론짓습니다.

기술 요약: 가치 표류(Value Drifts): LLM 사후 학습 과정 중 가치 정렬의 추적

문제 정의

방법론

주요 결과

의의 및 주장

유사한 논문