Coherence Maximization Improves Pluralistic Alignment

기술 요약: 일관성 극대화를 통한 다원적 정렬 개선

문제 정의
AI 시스템을 다양한 인간의 가치에 맞추는 것(다원적 정렬)은 여전히 핵심적인 과제로 남아 있다. "도움이 되는 성질(helpfulness)"과 같은 고수준의 원칙들은 방향성을 제공하지만, 구체적인 사례에 적용될 때 발생하는 필연적인 긴장 관계로 인해 특정 인구 집단에 대한 실무적인 적용에는 실패하는 경우가 많다. 현재의 접근 방식들은 "명세 격차(specification gap)" 문제에 직면해 있다. 추상적인 원칙만으로는 불충분하며, 그렇다고 다양한 페르소나(예: 특정 국적, 정치적 성향, 또는 상호작용 스타일)를 위한 구체적인 가치 사례를 생성하는 것은 대개 광범한 인간의 감독을 필요로 한다. 또한, 표준적인 정렬 절차는 사전 학습 코퍼스에 존재하는 잠재적 가치 다양성을 지워버릴 수 있는 사후 학습 데이터를 사용하거나 단일한 관점을 선택함으로써, 다양한 인구 집단을 지원하는 데 필요한 분포적 다원성을 붕괴시킬 위험이 있다.

방법론
저자들은 인간의 감독 없이 페르소나별 가치 사례를 생성하기 위해 **내부 일관성 극대화(Internal Coherence Maximization, ICM)**를 제안한다. 이 방법론은 코히어런트(coherent)한 가치 체계가 통계적 규칙성을 보인다는 직관에 기반한다. 즉, 만약 어떤 페르소나가 한 가지 이슈에 대해 특정 입장을 취한다면, 이는 관련 이슈들에 대한 그들의 예상되는 입장에도 제약을 가한다는 것이다.

파이프라인은 세 단계로 구성된다:

1. 페르소나 추출 및 항목 선택: 타겟 쿼리로부터 거친 수준의 페르소나 특징(예: 국적, 정치적 성향)을 추출한다. 관련 항목(설문 문항, 응답 쌍, 또는 질문-답변 쌍)을 식별한다.
2. ICM 기반 레이블 추론: 베이스 언어 모델을 사용하여, 모델 하에서의 레이블 간 상호 예측 가능성으로 정의되는 일관성 점수를 극대화함으로써 이러한 항목들에 대한 레이블을 추론한다. 알고리즘은 레이블 할당에 대해 탐색(시뮬레이티드 어닐링 사용)을 수행하여 내부 일관성을 극대화하는 구성을 찾아낸다. 이 과정은 외부 감독 없이 모델의 사전 지식 내에 존재하는 잠재적 가치 구조를 복구한다.
3. 인컨텍스트 조건화(In-Context Conditioning): 추론된 항목-레이블 쌍은 다운스트림 추론 중에 모델을 유도하기 위한 퓨샷(few-shot) 예시로 사용된다. 이는 세 가지 태스크 형식에 적용된다: 이산 레이블 예측(분류), 쌍체 선호도 선택, 그리고 유도된 개방형 생성.

인간의 감독 없이는 무감독 추론이 신뢰할 수 없는 인구 집단(사전 학습 데이터에서 과소 대표된 경우)을 위해, 저자들은 **협력적 일관성 도출(Collaborative Coherence Elicitation)**을 도입한다. 이 반복적인 과정은 모델의 추론된 가치가 낮은 신뢰도(높은 불확정성)를 보이는 질문들을 식별하고, 오직 이 특정 항목들에 대해서만 인간 주석가에게 질의한다. 이렇게 얻은 인간의 레이블은 하드 제약 조건으로 고정되며, 이후 ICM을 재실행하여 나머지 레이블을 재생성함으로써 새로운 제약 조건과의 일관성을 확보한다.

주요 기여

1. 정확도보다 일관성: 본 논문은 인컨텍스트 예시 세트의 내부 일관성이 개별 레이블의 정확도보다 다운스트림 일반화 성능을 더 잘 예측한다는 것을 입증한다. 레이블 정확도가 일정하게 유지될 때, 높은 상호 예측 가능성을 가진 예시들이 비일관적인 예시들보다 실질적으로 더 나은 일반화 성능을 보인다.
2. 골드 레이블과의 무감독 동등성: 인간의 감독 없이 생성된 ICM 추론 예시들은 네 가지 벤치마크(GlobalOpinionQA, OpinionQA, Persona-Tailoring, OvertonBench)와 세 가지 태스크 형식에 걸쳐 골드 감독(인간이 주석을 단) 예시와 대등한 성능을 보인다. 이는 여러 모델 제품군(Llama-3.1, Qwen-3, OLMo-3)과 규모에 걸쳐 유효하다.
3. 표적화된 인간 피드백 효율성: 과소 대표된 페르소나의 경우, 불확실성이 높은 질문에 인간의 피드백을 수집하는 것이 임의의 질문에 동일한 수의 레이블을 사용하는 것보다 훨씬 더 나은 일반화 성능을 제공한다. 이 접근 방식은 모델의 추론된 가치 구조에 있는 체계적 오류를 수정하면서 주석 부담을 최소화한다.

결과

• 성능: 모든 데이터셋에 걸쳐, ICM 추론 레이블은 골드 감독 레이블과 유사한 정렬 성능을 달ach했다. 예를 들어, GlobalOpinionQA에서 ICM은 71.7%의 정확도를 기록한 반-해 71.2%를 기록한 골드 감독 방식과 대등했다. OpinionQA에서는 81.9% 대 81.0%를 기록했다. 두 방식 모두 제로샷 베이스라인을 크게 상회했다.
• 일관성의 역할: 레이블을 무작위로 변형하여 ICM의 정확도는 유지하되 일관성은 낮춘 "정확도 매칭(Accuracy-Matched)" 베이스라인은 훨씬 낮은 성능(종종 제로샷 수준까지 하락)을 보였다. 이는 일관성이 단순한 레이블의 정답 여부가 아니라, 일반화의 주요 동력임을 분리하여 보여준다.
• 강건성: 일관성 효과는 모델 크기(7B에서 70B 파라미터까지)와 모델 제품군 전반에서 관찰되었다. 더 큰 모델일수록 골드 감독으로부터 얻을 수 있는 잠재적 이득을 더 많이 회복했지만, 충분한 잠재 가치 구조를 보유하고 있다면 작은 모델에서도 ICM의 이점을 누릴 수 있었다.
• 협력적 도출: 과소 대표된 페르소나(예: GlobalOpinionQA의 나이지리아) 실험에서, 가장 신뢰도가 낮은 질문들에 단 4개의 표적화된 인간 레이블을 추가하는 것만으로 테스트 정확도가 30 퍼센트 포인트 이상 향상되었으며, 이는 랜덤 또는 액티브 러닝 베이스라인보다 더 큰 이득을 보였다.

의의 및 주장
본 논문은 일관성이 확장 가능한 가치 명세를 위한 핵심 설계 원칙이라고 주장한다. 사전 학습된 텍스트의 다양한 인간 관점을 활용함으로써, ICM은 광범한 선호도 감독 없이도 효과적인 페르소나별 가치 명세를 구축할 수 있게 한다.

저자들은 이 접근 방식이 다원적 정렬을 위한 실질적인 경로를 제공한다고 주장한다:

• 잘 대표된 인구 집단에 대해서는 인간의 주석 없이도 모델을 타겟 그룹의 가치로 유도하는 페르소나별 예시를 생성할 수 있게 한다.
• 과소 대표된 그룹을 위해 인간의 피드백과 자연스럽게 통합되며, 잠재적 편향을 수정하기 위해 최소한의 표적화된 개입만을 요구한다.
• 개별 레이블의 정확도가 가치 명세의 주요 지표라는 가설에 도전하며, 대신 가치 체계의 상호 일관성이 일반화에 더 결정적임을 시사한다.

본 연구는 이 접근 방식이 인간의 의도에 직접 접근하기보다는 사전 학습된 텍스트의 통계적 패턴에 의존하며, 다른 도메인에 대해 하이퍼파라미터 튜닝이 필요할 수 있다는 점을 인정하며 범위를 겸손하게 설정하고 있다. 그러나 일관성을 극대화하는 것이 전통적인 지도 학습 기반 가치 정렬의 실행 가능한, 확장 가능한 대안을 제공한다는 점을 역설한다.