🤖 AI

Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization

이 논문은 다중 평가자 합의를 통해 온-폴리시(on-policy) 응답 중 소규모의 고합의 하위 집합을 필터링함으로써, 표준적인 방식보다 훨씬 적은 학습 데이터로도 우수한 정렬 성능을 달성하는 데이터 중심 선호도 최적화 방법인 DMAPO를 소개한다.

원저자: Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 약간은 혼란스러운 로봇에게 어떻게 하면 도움이 되는 비서가 될 수 있는지 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이 과정을 '정렬(alignment)'이라고 부릅니다. 오랫동안 과학자들은 로봇에게 어떻게 가르칠 것인가에 집중하며, 방대한 양의 미리 작성된 예시들로부터 로봇이 학습할 수 있도록 다양한 수학적 공식들을 시도해 왔습니다. 하지만 문제가 하나 있습니다. 때때로 그 예시들의 더미는 엉망이고, 모순으로 가득 차 있거나, 그저 혼란스러울 때가 있다는 것입니다. 이는 마치 페이지 절반은 찢겨 나가 있고 나머지 절반에는 서로 충돌하는 지침이 적혀 있는 요리법 책을 읽으며 요리를 배우려는 것과 같습니다.

이 논문은 다른 질문을 던집니다: 만약 문제가 가르치는 방법이 아니라 '재료'라면 어떨까요? 로봇이 거대하고 시끄러운 도서관으로부터 학습하도록 강요하는 대신, 우리가 정말 좋다고 확신하는 아주 작고 완벽한 예시들로부터만 학습하게 한다면 어떨까요? 연구진은 작은 고품질의 '간식'이 거대하고 엉망인 '성찬'보다 더 나을 수 있는지 알아보고 싶었습니다. 그들은 수천 개의 로봇 답변을 맛보고, 모두가 맛있다고 동의하는 답변만을 남기는 매우 엄격한 음식 비평가 역할을 하는 시스템을 구축했습니다. 그 결과는, 로봇을 똑똑하게 만들기 위해 반드시 수백만 개의 예시가 필요한 것이 아니라, 진정으로 확실히 훌륭한 수백 개면 충분할 수도 있다는 점을 시사합니다.

논문의 이야기: DMAPO

이 논문은 DMAPO(Data-centric Multi-evaluator Agreement for Preference Optimization)라고 불리는 새로운 방법을 소개합니다. DMAPO를 단순히 이야기를 읽는 것이 아니라, 스스로 이야기를 생성한 다음, 세 명의 전문 비평가를 고용하여 그 이야기에 점수를 매기고, 마지막으로 모든 이가 걸작 혹은 완전한 재앙이라고 동의하는 이야기만을 출판하는 매우 까다로운 편집자라고 생각해보세요.

마법이 일어나는 단계는 다음과 같습니다:

1. 로봇이 먼저 글을 쓴다
기존의 "좋은" 답변과 "나쁜" 답변 목록을 찾는 대신, 연구진은 로봇(구체적으로는 Mistral-7B라는 모델)이 수천 개의 질문에 대해 스스로 답변을 쓰도록 했습니다. 이는 선생님이 채점하기도 전에 학생에게 연습 시험을 치르게 하는 것과 같습니다. 로봇은 13,559개의 서로 다른 프롬프트에 대해 54,236개의 서로 다른 답변을 생성합니다.

2. 심사위원단
이제 엄격한 단계가 옵了. 연구진은 단 하나의 AI에게만 이 답변들을 채점하도록 요청하지 않았습니다. 그들은 세 명의 특화된 "평가자"(심사역 역할을 하는 AI 모델)를 사용하여 모든 답변에 대해 세 가지 특정 항목을 기준으로 점수를 매겼습니다:

유용성(Helpfulness): 실제로 유용한가?
사실성(Factuality): 진실을 말하고 있는가?
간결성(Conciseness): 너무 장황하지 않은가?

각 심사위원은 1점에서 10점 사이의 점수를 줍니다. 하지만 잠깐, 네 번째 심사위원이 있습니다. 바로 "프로세스 비평가(process critic)"인데, 이 모델은 논리적 오류나 이상한 추론 결함이 있는지 살펴보고 답변이 조잡할 경우 점수를 깎습니다.

3. "합의의 관문 (Consensus Gate)"
이것이 가장 중요한 필터입니다. 시스템은 세 명의 주요 심사위원이 모두 해당 답변이 놀랍거나(7점 이상), 혹은 형편없거나(4점 이하) 둘 중 하나라고 동의할 때만 그 답변을 유지합니다. 만약 심사위원들이 혼란스러워하거나 서로 의견이 갈린다면, 그 답변은 쓰레기통에 버려집니다. 이는 모든 심사위원이 "예" 버튼을 세게 누르거나, 혹은 모든 심사위원이 "아니오" 버튼을 세게 눌러야만 참가자가 살아남는 오디션 프로그램과 같습니다. 만약 심사위원들의 의견이 갈린다면, 그 참가자는 집으로 돌아갑니다.

4. 결과: 더 적은 데이터, 더 나은 정렬
이 엄격한 필터링의 결과는 충격적입니다. 54,236개의 생성된 답변 중, 시스템은 단 1,871개만을 남겼습니다. 이는 단 **3.45%**의 수락률을 보였습니다. 즉, 데이터의 96.55%를 버린 것입니다!

하지만 반전이 있습니다: 이 작은 고품질 데이터셋인 1,871개의 예시로 훈련된 로봇은 다른 방법들을 사용하여 훨씬 더 큰 데이터셋으로 훈련된 로봇들보다 실제로 더 뛰어난 성능을 보였습니다.

MT-Bench 테스트에서 이 새로운 로봇은 7.50점을 기록하며 기존의 최고 방법들을 앞질렀습니다.
길이를 통제했을 때 참조 모델과 비교하여 **95.5%**의 승률을 보였습니다.
또한 엄격한 규칙 준수 여부를 확인하는 IFEval 테스트에서 **57.3%**의 점수를 기록했습니다.

이 논문이 부정하는 것들
저자들은 이 방법이 무엇이 아닌지를 신중하게 밝히고 있습니다.

이 방법은 로봇을 모든 면에서 더 똑똑하게 만드는 마법 지팡이가 아닙니다. 실제로 수학 문제를 테스트했을 때, 점수가 약간 하락했습니다(6.45에서 5.70으로). 엄격한 "간결성" 필터가 수학에 필요한 길고 상세한 단계들을 처벌했을 수 있습니다.
이것은 새로운 지식을 추가하는 방법이 아닙니다. 로봇은 이미 할 수 있는 것들을 더 잘하는 법을 배우는 것일 뿐이며, 단지 그것을 더 신뢰성 있게 수행하는 법을 배우는 것입니다.
이것은 인간 수준의 진실성을 보장하는 방법이 아닙니다. 시스템은 AI 심사위원들에게 의존하며, 만약 그 AI 심사위원들이 편향(예를 들어 간결성에 대해 너무 엄격하거나 문화적 사각지대를 갖는 것)을 가지고 있다면, 로봇도 그 편향을 배우게 될 것입니다.

얼마나 확신하는가?
논문은 이 방법을 물리 법칙과 같은 최종적인 결론이 아니라, 실험에 기반한 강력한 제안으로 제시합니다.

결과는 특정 로봇 모델(Mistral-7B)에 대해 측정되었으며 명확한 개선을 보여주었습니다.
그러나 동일한 방법을 다른 로봇 모델(Llama-3.1-8B)에 적용했을 때, 결과는 "엇갈렸습니다". 새 로봇은 일부 테스트에서는 잘 수행했지만, 주요 벤치마크에서 원래 버전을 이기지는 못했습니다. 이는 이 방법이 특정 유형의 로봇에는 잘 작동하지만, 모든 로봇을 위한 보편적인 해결책은 아닐 수 있음을 시사합니다.
저자들은 이 방법이 효과적이긴 하지만 비용이 따른다는 점을 명시적으로 언급했습니다. 즉, 데이터를 생성하고 필터링하기 위해 훈련 전에 많은 컴퓨터 연산 능력을 소모해야 합니다. 이는 트레이드오프 관계입니다: 훈련 시간은 줄어들지만, "큐레이션(선별)" 시간은 늘어납니다.

핵심 요약
DMAPO는 AI를 더 똑똑하게 만드는 경쟁에서 양보다 질이 더 중요할 수 있음을 시사합니다. 모든 이가 완벽하다고 동의하는 답변(혹은 완벽한 실패작)만을 수용하는 매우 엄격한 편집자처럼 행동함으로써, 연구진은 거대하고 엉망인 데이터 더미로 훈련된 것보다 훨씬 더 높은 신뢰도를 가진 작은 데이터셋으로 훈련된 로봇이 더 뛰어난 성과를 낼 수 있음을 발견했습니다. 이는 때때로 가장 좋은 학습 방법은 소음(noise)을 무시하고 신호(signal)에 집중하는 것임을 상기시켜 줍니다.

기술 요약: DMAPO (데이터 중심 다중 평가자 합의를 통한 선호도 최적화)

문제 정의

현재 대규모 언어 모델(LLM) 정렬(alignment) 연구는 주로 선호도 데이터셋을 고정된 정적 자원으로 취급하며 학습 목적 함수(예: RLHF, DPO, KTO)를 최적화하는 데 집중하고 있습니다. 그러나 데이터셋의 품질—특히 주석가 간의 불일치, 모호한 비교, 레이블 노이즈—은 어떠한 최적화 알고리즘의 효과를 근본적으로 제한할 수 있습니다. 기존 연구들이 정교하게 큐레이션된 작은 규모의 데이터셋이 지시어 튜닝(instruction tuning)에 효과적일 수 있음을 시사해 왔으나, 다음과 같은 핵심적인 질문이 남아 있습니다: 기존의 고정된 데이터셋에 의존하는 대신, 타겟 정책(target policy) 자체의 온-폴리시(on-policy) 응답으로부터 직접 고신뢰도 선호 피드백을 구축할 수 있는가?

방법론: DMAPO

저자들은 표준 선호도 최적화를 적용하기 전에 모델 특화적인 압축 선호도 세트를 구축하는 엔드 투 엔드 파이프라인인 DMAPO(Data-centric Multi-evaluator Agreement for Preference Optimization)를 제안합니다. 이 프로세스는 다음의 7단계로 구성됩니다:

프롬프트 수집: UltraFeedback와 HelpSteer2에서 추출한 14,272개의 다양한 지시어 풀을 구성하며, 이를 학습용(13,559개)과 검증용 세트로 분리합니다.
온-폴리시 생성: 타겟 정책(예: Mistral-7B-Instruct-v0.2)이 뉴클리어스 샘플링(nucleus sampling)을 사용하여 프롬프트당 $k=4$ 개의 후보 응답을 생성합니다. 이는 피드백이 모델의 현재 응답 분포와 연결되도록 보장합니다.
다중 평가자 점수 산정: 세 개의 특화된 Qwen3-8B 평가자 인스턴스가 상호 보완적인 차원인 도움됨(helpfulness), 사실성(factuality), **간결함(conciseness)**에 대해 각 후보를 1~10점 척도로 독립적으로 점수를 매깁니다.
프로세스 크리틱 교정: 네 번째 Qwen3-8B 인스턴스가 프로세스 크리틱(process critic) 역할을 수행하여 추론의 결함, 사실적 불일치, 근거 없는 주장을 식별합니다. 이 인스턴스는 주요 평가자 점수에서 감점(0.05, 0.10 또는 0.15)을 부여합니다.
신뢰도 게이팅(Confidence Gating): 조정된 점수가 세 평가자 모두로부터 다음의 엄격한 공동 기준을 충족하는 경우에만 후보를 유지합니다:
- 바람직함(Desirable): 최소 점수 $\ge 7$ 이고 분산(Variance) $< 2.5$ 인 경우.
- 바람직하지 않음(Undesirable): 최대 점수 $\le 4$ 이고 분산(Variance) $< 2.5$ 인 경우.
- 폐기(Discard): 그 외 모든 경우.
  이 "합의 게이팅(consensus gating)"은 하나의 차원이 다른 차원의 실패를 보완할 수 없도록 보장합니다.
이진 레이블링: 게이트는 유지된 예제들에 대해 이진 레이블(바람직함/바람직하지 않음)을 생성합니다.
정책 학습: 생성된 작은 데이터셋(후보의 약 3.45%)은 이진 레이블 목적 함수인 KTO(Kahneman-Tversky Optimization)를 사용하여 정책을 학습시키는 데 사용됩니다.

주요 기여

파이프라인 구축: 온-폴리시 생성, 루브릭(rubric) 특화 평가, 프로세스 비판, 분산 기반 신뢰도 게이팅을 결합하여 이진 선호 피드백을 생성하는 엔드 투 엔드 프레임워크를 구축했습니다.
통제된 경험적 연구: 두 가지 정책 백본(Mistral-7B 및 Llama-3.1-8B), 7가지 학습 베이스라인(SFT, DPO, ORPO, SimPO, SPPO, REINFORCE++ 포함), 그리고 게이팅 엄격도, 평가자 모델, 루브릭에 대한 광범위한 절제 연구(ablation studies)를 수행했습니다.
트레이드오프 분석: 공격적인 필터링의 비용과 이점에 대한 경험적 설명을 제공하며, 필터링이 학습 데이터와 최적화 시간을 줄여주지만 오프라인 큐레이션 비용을 발생시키고 응답 다양성을 약간 감소시킬 수 있음을 명시했습니다.

결과

주요 결과 (Mistral-7B)

데이터 효율성: 파이프라인은 생성된 54,236개의 후보 중 단 1,871개(수락률 3.45%)만을 수용하지만, 더 우수한 성능을 냅니다.
벤치마크 성능: Mistral-7B에서 DMAPO는 다음을 달성합니다:
- MT-Bench: 7.50 (가장 강력한 베이스라인보다 +0.08 높은 최고치).
- AlpacaEval 스타일(길이 제어 승률): 95.5% (최고 베이스라인보다 +2.0 포인트).
- IFEval: 57.3% 정확도 (+2.4 포인트).
독립적 평가: 홀드아웃(held-out) 및 분포 외(out-of-distribution) 프롬프트에 대해 독립적인 평가자(GPT-4o 및 Claude Opus 4.7)를 사용하여 SimPO, ORPO, REINFORCE++와 쌍체 비교를 수행했을 때, DMAPO는 베이스라인보다 일관되게 23~31% 포인트 더 높은 순 승률(net win rates)을 달성했습니다.
절제 연구 통찰:
- 분산 게이트를 제거하거나 단일 평가자를 사용하는 경우 성능이 크게 저하되어, 다중 평가자 합의의 필요성을 확인했습니다.
- 프로세스 크리틱은 측정 가능한 이득을 제공합니다 (제거 시 MT-Bench가 7.50에서 7.24로 하락).
- 평가자 모델이나 루브릭을 변경하면 선택되는 특정 예제가 달라지지만(중복도 71–85%), 다운스트림 성능에는 미미한 영향을 미쳐 필터링 로직의 견고함을 시사합니다.

부차적 결과 (Llama-3.1-8B)

필터링 동작은 백본에 관계없이 일관적입니다(수락률 3.41%).
성능 향상은 더 완만합니다. DMAPO는 기본 모델의 7.85와 비교하여 MT-Bench에서 7.80을 달성했습니다. 이는 모든 베이스라인을 능가하지는 못하지만, 다른 선호도 최적화 방법들보다 성능 저하가 적으며 큐레이션 신호에 대한 진단적 승률이 가장 높습니다.

의의 및 주장

본 논문은 데이터 구축이 학습 목적 함수만큼이나 중요하다고 주장합니다. DMAPO는 다중 평가자 합의를 통해 큐레이션된 작고 신뢰도 높은 온-폴리시 응답 세트가 일반적인 지시어 정렬을 위한 신뢰할 수 있는 학습 신호로 기능할 수 있음을 입증합니다.

제한적 주장: 저자들은 이 접근 방식이 평가된 일반 지시어 설정에서 합의 필터링을 지원한다고 명시적으로 밝히며, 이것이 "적은 데이터가 항상 더 좋다"는 것을 입증하는 것은 아님을 강조합니다. Llama 결과는 이러한 이득이 모든 백본에서 보편적이지는 않음을 보여줍니다.
한계점: 이 방법은 자동화된 평가자에 크게 의존하며, 이로 인해 발생할 수 있는 편향(사실적, 스타일적, 문화적 편향)을 물려받습니다. 또한, 기본 모델의 행동 지원 범위 내에서 작동하며 새로운 지식이나 능력을 도입하지 않습니다. 계산 비용은 온라인 최적화에서 오프라인 큐레이션으로 전환됩니다.
결론: DMAPO는 큐레이션 비용과 평가자 의존성을 관리할 수 있다면, 데이터의 양보다 학습 신호의 품질과 합의를 우선시함으로써 선호도 최적화를 위한 데이터 효율적인 경로를 제공합니다.