Unsupervised Elicitation of Moral Values from Language Models

기술 요약: 언어 모델로부터 도덕적 가치의 비지도 학습 추출

문제 정의
AI 시스템이 고위험 영역(예: 채용, 의료, 자율 주행 차량)에서 보편화됨에 따라, 이들의 행동을 인간의 가치와 정렬하는 것이 매우 중요해졌습니다. 현재의 접근 방식은 인간이 주석을 달은 데이터를 활용한 지도 미세 조정(Supervised Fine-tuning)을 통해 언어 모델(LM)에 도덕성을 "가르치는" 방식에 크게 의존하고 있습니다. 그러나 이러한 패러다임은 심각한 병목 현상에 직면해 있습니다: 고품질의 도덕적 레이블 부족, 주석 작성자 간의 보편적인 의견 불일치, 그리고 다양한 문화와 체계에 걸친 도덕의 비단일적 특성 등이 그것입니다. 또한, 기존의 정렬 방법들은 사회적 편향을 완화하는 데 실패하거나 다양한 도덕적 프레임워크 전반에 걸쳐 일반화하는 데 어려움을 겪는 경우가 많습니다. 본 연구가 다루는 핵심 질문은 사전 학습된(Base) 언어 모델이 인간의 감독 없이도 표출될 수 있는 내재적인 도덕적 추론 능력을 이미 보유하고 있는지, 그리하여 희소하고 잠재적으로 편향된 인간의 레이블에 대한 의존도를 줄일 수 있는지 여부입니다.

방법론
본 연구는 지도적 도덕 정렬의 대안으로서 **내적 일관성 극대화(Internal Coherence Maximization, ICM)**라는 비지도 학습 추출 알고리즘을 조사합니다.

• 핵심 메커니즘: ICM은 상호 예측 가능성(입력값 및 다른 잠정적 레이블에 대한 레이블의 합산 로그 확률)과 논리적 일관성(모순되는 할당에 페널티 부여)을 결합한 점수 함수를 극대화하는 레이블 할당을 탐색합니다. 이는 시뮬레이티드 어닐링(Simulated-annealing) 스타일의 탐색을 사용하여 레이블을 반복적으로 제안하고 해결하며, 외부의 인간 주석 대신 모델 스스로 생성한 레이블을 바탕으로 모델을 미세 조정합니다.
• 실험 설정: 저자들은 사전 학습된 가중치(RLHF 또는 인스트럭션 튜닝이 없는 상태)를 사용하여 네 가지 오픈 웨이트 모델(Llama-3.1-8B, Llama-3.1-70B, Mistral-7B-v0.3, OLMo2-13B)을 평가했습니다.
• 벤치마크:
  1. Norm Bank: 일상적인 윤리를 다루는 약 170만 개의 크라우드소싱된 도덕적 판단 코퍼스(2,024개 지점으로 샘플링됨).
  2. ETHICS: 정의(Justice), 의무론(Deontology), 덕 윤리(Virtue Ethics), 공리주의(Utilitarianism), 상식적 도덕성(Commonsense Morality)의 5가지 규범적 영역을 아우르는 130,000개의 시나리오(4,096개 지점으로 샘플링됨).
  3. UDHR (세계 인권 선언): 12가지 인구통계학적 정체성(예: 인종, 사회경제적 지위, 성별)에 대한 권리 옹호 여부를 테스트하는 편향 평가 세트(8,094개 문장).
• 베이스라인: Zero-shot (Base), Zero-shot (Chat), Many-shot (Prompt-Human), 그리고 인간 레이블 데이터 기반 미세 조정(FT-Human)과 비교를 수행했습니다.

주요 기여

1. 잠재적 도덕 추론의 입증: 본 논문은 상당한 수준의 도덕적 추론 능력이 사전 학습된 베이스 모델에 내재되어 있으며, 명시적인 인간의 감독 없이도 이를 활성화할 수 있다는 증거를 제시합니다。
2. 비지도 학습의 효능: ICM이 생성한 레이블을 사용하여 모델을 미세 조정함으로써, 인간이 주석을 단 데이터로 학습된 모델과 대등하거나 이를 능가하는 성능을 달성하는 확장 가능한 파이프라인을 소개합니다.
3. 편향 완화: 비지도 추출이 제로샷(Zero-shot) 및 챗(Chat) 정렬 베이스라인에 비해 도덕적 추론에서의 사회적 편향 오류를 유의미하게 감소시킨다는 것을 입증했습니다.
4. 확장 가능한 정렬: 저자들은 ICM을 통해 비지도 보상 모델(Reward Model)과 강화 학습(RL) 정책을 훈련시키는 데 성공하였으며, 이는 ICM이 RLHF와 같은 환경에서 인간 선호 데이터 데이터를 대체할 수 있음을 보여줍니다.

결과

• Norm Bank 성능: ICM은 테스트된 모든 모델에서 최소 81%의 정확도를 달축성하며 제로샷 및 매니샷 챗봇 베이스라인을 넘어섰습니다. ICM 생성 레이블로 미세 조정한 모델(FT-Unsupervised)은 특히 OLMo2-13B, Mistral-V03, Llama-3.1-70B에서 FT-Human과 대등하거나 이를 능가하는 성능을 보였습니다.
• ETHICS 프레임워크: ICM은 다섯 가지 도덕적 프레임워크 모두에서 제로샷 및 챗 베이스라인을 일관되게 앞질렀습니다. 가장 큰 상대적 이득은 상식(Commonsense) 및 정의(Justice) 영역에서 관찰되었습니다. **공리주의(Utilitarianism)**는 여전히 가장 까다로운 차원으로 남았으나, ICM은 여전히 베이스라인보다 개선된 성능을 보였습니다. Llama 제품군 내에서 스케일링 효과(70B > 8B)가 관찰되었으나, OLMo2-13B와 같은 작은 모델도 가장 큰 Llama 변체와 대등한 성능을 보였습니다.
• 사회적 편향 감소: UDHR 벤치마크에서 ICM은 도덕적 추론 오류율을 4.1%로 낮추었으며, 이는 사전 학습된 모델(11.97%)의 약 1/3, 챗 모델(9.85%)의 절반 수준입니다. 가장 유의미한 개선은 인종, 사회경제적 지위, 외모와 관련된 범주에서 나타났습니다.
• 보상 모델링 및 RL: ICM을 통해 훈련된 비지도 보상 모델은 71.3~75.4%의 정확도를 달성하여 인간 감독 베이스라인과 밀접하게 일치했습니다. 이 비지도 보상 모델에 의해 유도된 RL 정책은 인간 감독 베이스라인과의 쌍별 비교(Pairwise comparison)에서 71.7%의 승률을 기록하며, 완전한 비지도 정렬 파이프라인의 실행 가능성을 입증했습니다.

의의 및 주장
본 논문은 도덕적 추론이 반드시 감독 데이터(Supervised data)를 통해 모델에게 명시적으로 "가르쳐져야" 한다는 기존의 가정이 불완전하다고 주장합니다. 대신, 사전 학습된 모델은 ICM과 같은 비지도 학습 방법을 통해 신뢰성 있게 추출될 수 있는 잠재적 도덕 추론 능력을 보유하고 있습니다. 이는 비용이 많이 들고 편향되며 문화적으로 제한적인 인간의 주석에 대한 의존도를 줄이는 확장 가능한 AI 정렬 경로를 제공합니다.

저자들은 이러한 연구 결과의 범위에 대해 다음과 같이 신중한 입장을 유지합니다:

• ICM은 대상 개념(도덕적 가치)이 사전 학습된 모델의 내부 표현에 이미 두드러지게 나타나 있을 때 가장 효과적입니다.
• ICM은 성능을 유의미하게 향상시키지만, 모든 도덕적 추론 과제(예: 공리주의의 어려움)를 보편적으로 해결하지는 못합니다.
• 모델의 내부 일관성이 복잡하고 진화하는 사회적 규범과 일치하지 않을 수 있는 경우, 사후 검증 및 맥락 민감형 평가를 위한 인간의 감독은 여전히 필수적입니다.
• 본 연구는 비지도 추출이 인간 참여형(Human-in-the-loop) 시스템을 완전히 대체하는 것이 아니라, 보다 견고하고 문화적으로 인식 능력이 높은 AI 정렬의 토대를 제공하는 보완적 메커니즘임을 시사합니다.