💬 NLP

From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models

이 논문은 비디오 확산 모델의 정렬 튜닝(alignment tuning) 과정에서 인간의 선호도가 사회적 편향을 어떻게 강화하고 고착화시키는지 분석하기 위해, 편향을 체계적으로 진단하는 프레임워크인 'VideoBiasEval'을 제안하고 그 위험성을 규명하였습니다.

원저자: Zefan Cai, Haoyi Qiu, Haozhe Zhao, Ke Wan, Jiachen Li, Jiuxiang Gu, Wen Xiao, Nanyun Peng, Junjie Hu

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zefan Cai, Haoyi Qiu, Haozhe Zhao, Ke Wan, Jiachen Li, Jiuxiang Gu, Wen Xiao, Nanyun Peng, Junjie Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 비유: "편견을 배운 요리사 AI"

상상해 보세요. 여러분은 아주 뛰어난 **'비디오 요리사 AI'**를 키우고 싶어 합니다.

기초 단계 (Base Model): 처음에는 요리사가 요리법만 겨우 아는 상태입니다. 가끔 재료를 잘못 쓰기도 하지만, 아직 특별한 취향은 없죠.
교육 단계 (Alignment Tuning): 요리사를 더 완벽하게 만들기 위해, 사람들에게 **"어떤 요리가 더 맛있어 보여?"**라고 물어보고 그 답변을 바탕으로 교육을 시킵니다. (이게 논문에서 말하는 '정렬 튜닝'입니다.)
문제 발생 (The Problem): 그런데 문제가 생겼습니다. 질문을 받은 사람들이 무의식중에 **"음, 역시 스테이크가 제일 맛있어 보여!"**라고 답하거나, "요리는 여성이 하는 게 더 예뻐 보여" 같은 편견 섞인 대답을 한 것이죠.
결과 (The Result): 요리사는 이 대답을 '정답'으로 믿고 공부합니다. 이제 이 요리사는 스테이크만 만들려고 하고, 요리하는 모습은 무조건 여성의 모습으로만 그려내기 시작합니다. 단순히 실력이 좋아진 게 아니라, 편견이 아주 '세련되고 깔끔하게' 고착화된 것이죠.

🔍 논문의 핵심 내용 (3단계 요약)

이 논문은 AI가 비디오를 만들 때 어떻게 편견이 생기고, 어떻게 더 단단해지는지를 세 단계로 추적했습니다.

1. 사람의 편견이 데이터에 숨어 있다 (Human Preference)

사람들이 "이 비디오가 더 좋아!"라고 선택한 데이터를 분석해 보니, 특정 인종(주로 백인)이나 특정 성별(주로 남성)을 더 선호하는 경향이 이미 데이터 속에 녹아 있었습니다.

2. AI가 그 편견을 '정답'으로 학습한다 (Reward Model)

사람의 취향을 점수로 매기는 '채점관 AI(Reward Model)'를 만들었더니, 이 채점관 역시 사람의 편견을 그대로 배워버렸습니다. "남성이 등장하는 영상에 더 높은 점수를 줘야지!"라고 판단하게 된 것입니다.

3. 편견이 '고화질'로 굳어진다 (Alignment Tuning)

가장 무서운 지점입니다. 이 채점관 AI를 이용해 비디오 생성 AI를 교육했더니, 비디오의 화질과 움직임은 훨씬 자연스러워졌습니다. 하지만 편견도 함께 자연스러워졌습니다. 예전에는 편견이 섞인 영상이 어설펐다면, 이제는 아주 매끄럽고 완벽한 영상 속에 "남성은 운동하고, 여성은 요리한다" 같은 고정관념이 아주 세련된 모습으로 담기게 된 것입니다.

💡 이 연구가 왜 중요한가요? (결론)

우리는 보통 AI가 똑똑해지고 영상이 매끄러워지면 "와, 기술이 좋아졌다!"라고만 생각합니다. 하지만 이 논문은 경고합니다.

"영상이 매끄러워질수록, 그 안에 숨은 편견은 더 눈에 띄지 않게, 그리고 더 강력하게 우리 사회에 스며들 수 있습니다."

연구진은 단순히 기술을 발전시키는 것을 넘어, AI를 교육할 때 사용하는 '사람의 취향 데이터'가 얼마나 공정하고 다양한지를 반드시 점검해야 한다고 강조합니다.

🌟 한 줄 요약

"AI가 사람의 취향을 배우는 과정에서, 사람의 편견까지 '고화질'로 학습하여 사회적 고정관념을 더 세련되게 강화하고 있다!"

[기술 요약] 선호도에서 편견으로: 비디오 확산 모델의 사회적 편향 형성에 있어 정렬 튜닝(Alignment Tuning)의 역할

1. 문제 정의 (Problem Statement)

최근 비디오 확산 모델(Video Diffusion Models)은 인간의 선호도를 학습하는 정렬 튜닝(Alignment Tuning) 기술을 통해 시각적 품질과 일관성을 크게 향상시켰습니다. 그러나 이러한 정렬 과정은 인간의 주관적인 '선호도'를 기반으로 하며, 이 선호도 데이터셋에 내재된 사회적 편향(성별, 인종 등)이 보상 모델(Reward Model)을 거쳐 최종 생성 모델로 전이 및 증폭될 위험이 있습니다.

기존의 평가 프레임워크는 정적인 이미지에 치중되어 있거나, 비디오의 동적인 맥락(동사, 상황)과 사회적 정체성(성별, 인종) 간의 상호작용을 제대로 포착하지 못한다는 한계가 있습니다. 본 논문은 정렬 튜닝 과정이 사회적 편향을 어떻게 전이, 증폭, 그리고 고착화(Stabilization)시키는지를 규명하고자 합니다.

2. 방법론 (Methodology)

A. VideoBiasEval 프레임워크

사회적 편향을 체계적으로 진단하기 위해 새로운 평가 프레임워크인 VideoBiasEval을 제안합니다.

이벤트 기반 프롬프팅 (Event-based Prompting): 사회적 정체성(성별, 인종)과 의미적 콘텐츠(동사, 맥락)를 분리합니다. 예를 들어, [인종] [성별]인 사람이 [동사]를 하고 있다 [맥락] 형태의 템플릿을 사용하여 특정 정체성이 특정 행동과 결합되는 양상을 통제된 환경에서 분석합니다.
다중 입도 메트릭 (Multi-granular Metrics):
1. 인종 편향 (Ethnicity Bias): 인종별 표현의 불균형을 측정 (RDSe, SDI 지표 사용).
2. 인종별 성별 편향 (Ethnicity-aware Gender Bias): 특정 인종 내에서 성별이 어떻게 치우쳐 나타나는지 측정 (PBSG 지표 사용).
3. 시간적 속성 안정성 (Temporal Attribute Stability, TAS): 비디오 프레임 전반에 걸쳐 정체성 묘사가 일관되게 유지되는지 측정.

B. 엔드투엔드 분석 파이프라인

편향의 흐름을 추적하기 위해 다음의 단계를 거칩니다.

인간 선호 데이터셋 분석: HPDv2, Pick-a-Pic 데이터셋 내의 인종/성별 편향 측정.
보상 모델 분석: 위 데이터로 학습된 보상 모델(HPSv2.0, PickScore 등)이 편향을 상속하는지 확인.
정렬 튜닝 실험: 보상 모델을 사용하여 비디오 확산 모델을 미세 조정(Fine-tuning)한 후, 정렬 전후의 편향 변화를 비교.

C. 제어 가능한 선호도 모델링 (Controllable Preference Modeling)

편향을 완화하거나 의도적으로 조절할 수 있는지 확인하기 위해, 성별 구성이 조절된 데이터셋으로 보상 모델을 학습시키고 이를 통해 비디오 모델의 성별 분포를 제어하는 실험을 수행합니다.

3. 주요 기여 (Key Contributions)

VideoBiasEval 제안: 비디오 생성 모델의 사회적 편향을 정밀하게 측정할 수 있는 이벤트 중심의 포괄적인 진단 프레임워크를 구축했습니다.
편향 전이 경로 규명: 인간의 선호 $\rightarrow$ 보상 모델의 편향 $\rightarrow$ 비디오 모델의 생성 편향으로 이어지는 엔드투엔드 경로를 최초로 분석했습니다.
편향의 안정화(Stabilization) 발견: 정렬 튜닝이 비디오의 품질(일관성)을 높이는 동시에, 편향된 묘사를 더욱 매끄럽고 지속적으로 만들어 편향을 고착화시킨다는 사실을 밝혀냈습니다.
제어 가능성 입증: 데이터 구성을 통해 보상 모델과 생성 모델의 사회적 속성을 의도적으로 조절할 수 있음을 보여주었습니다.

4. 연구 결과 (Results)

편향의 증폭: 정렬 튜닝은 모델의 시각적 품질을 개선하지만, 성별 불균형(남성 선호 경향)과 특정 인종(백인)에 대한 과잉 표현을 심화시킵니다.
보상 모델의 영향력: 정렬 결과는 사용된 보상 모델의 편향 프로필을 그대로 따릅니다. 예를 들어, 여성 선호 경향이 있는 보상 모델(HPSv2.1)로 튜닝하면 남성 편향이 완화되는 효과가 나타났습니다.
편향의 고착화 (Temporal Stabilization): TAS 분석 결과, 정렬된 모델은 비디오 내에서 정체성 묘사가 매우 안정적(High TAS)이었으나, 이는 곧 **"편향된 묘사가 시각적으로 더 자연스럽고 흔들림 없이 나타남"**을 의미하며, 편향을 더 강력하게 고착시킵니다.
행동별 민감도: 특정 행동(예: 'sleep', 'stretch', 'read')은 정렬 과정에서 성별 편향에 매우 민감하게 반응하여, 사회적으로 중립적인 행동조차 정렬 후에는 강한 성별 고정관념을 띠게 됩니다.

5. 의의 및 시사점 (Significance)

본 연구는 비디오 생성 AI의 발전 과정에서 '품질 향상(Alignment)'과 '사회적 공정성(Fairness)'이 상충할 수 있음을 경고합니다. 단순히 시각적 품질을 높이는 정렬 기술이 사회적 편견을 "더 매끄럽고 설득력 있게" 포장하여 전달할 위험이 있음을 시사합니다. 따라서 향후 비디오 생성 모델 개발 시, 미적 선호도뿐만 아니라 사회적 다양성을 고려한 데이터 구성 및 편향 인지형(Bias-aware) 정렬 전략이 필수적임을 강조합니다.