🤖 AI

ComplexConstraints and Beyond: Expert Rubrics for RLVR

이 논문은 전문가가 큐레이션한 데이터셋이자 루브릭 기반 평가를 위한 프레임워크인 ComplexConstraints를 소개하며, 고품질의 원자적(atomic) 루브릭이 복잡한 LLM 행동에 대해 우수한 평가를 제공할 뿐만 아니라 다양한 크기의 모델 전반에서 지시 이행 및 에이전트적 작업 성능을 크게 향상시키는 매우 효과적인 학습 신호로서 기능함을 입증한다.

원저자: Sushant Mehta, Liudas Panavas, Edwin Chen

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sushant Mehta, Liudas Panavas, Edwin Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 약간은 지나치게 문자 그대로만 이해하는 로봇에게 지시를 따르는 법을 가르치고 있다고 상상해 보세요.

오랫동안 우리는 이 로봇들을 간단한 "체크리스트" 시험으로 테스트해 왔습니다. 예를 들어, "알파벳 'e'를 사용하지 않고 이야기를 써라"라고 말하는 식입니다. 만약 로봇이 그렇게 했다면, 로봇은 합격 점수를 받았습니다. 하지만 로봇은 'e'를 피하기 위해서라면 아무리 엉터리 같은 내용을 써도 상관없었으며, 우리는 여전히 그것을 성공이라고 불렀습니다. 이것은 학생이 실제로 수업 내용을 이해했는지는 무시한 채, 단지 빨간색 셔츠를 입었는지만을 확인하여 성적을 매기는 것과 같습니다.

당신이 공유한 논문은 이러한 기존의 방식이 잘못되었다고 주장합니다. 대신, 저자들은 새로운 방법인 **전문가 루브릭(Expert Rubrics)**을 제안합니다. 이것은 단순한 Pass/Fail 체크리스트를 인간 전문가가 작성한 상세하고 미묘한 점수표로 교체하는 것을 의미합니다.

다음은 그들의 접근 방식을 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "알파벳 'E'"의 함정

현재의 테스트(유명한 IFEval 등)는 속임수를 쓰기가 너무 쉽습니다. 로봇은 인간이 진정으로 원했던 것이 무엇인지 이해하지 못한 채, 기계적으로 규칙만 따를 수 있습니다. 이는 요리사가 레시피를 완벽하게 따랐지만 오븐을 켜는 것을 잊어버린 것과 같습니다. 단계는 맞았지만, 결과는 실패인 것입니다.

2. 해결책: "마스터 셰프의 점수표"

저자들은 COMPLEXCONSTRAINTS라는 새로운 데이터셋을 만들었습니다. 단순히 예/아니오를 확인하는 대신, 그들은 인간 전문가를 고용하여 모든 과업에 대해 상세한 "점수표"를 작성하게 했습니다.

비유: 요리 경연 대회를 상상해 보세요. 단순히 "소금을 사용했는가?"를 확인하는 대신, 심사위원의 점수표에는 10~40개의 구체적인 항목이 있습니다: "수프의 간이 적절한가?", "질감이 부드러운가?", "마늘을 태우지는 않았는가?", "올바른 종류의 팬을 사용했는가?"
핵심: 이 점수표는 단순한 문자 그대로의 단어가 아니라, 의도(고객이 실제로 원했던 것)를 포착하기 위해 인간에 의해 작성되었습니다.

3. 좋은 점수표를 작성하기 위한 5가지 규칙

논문은 효과적인 점수표를 만들기 위한 다섯 가지 규칙을 설명합니다.

최대 가용 원자성 (Maximum Viable Atomicity): 너무 잘게 쪼개지 마세요. 만약 "C7 코드"를 요구했다면, 로봇이 "C" 음을 맞췄는지와 "E" 음을 맞췄는지를 각각 따로 확인하는 것은 괜찮지만, 이 음들이 함께 어우러져 올바른 소리를 내야 한다는 점을 무시하고 완전히 별개의 것으로 취급해서는 안 됩니다.
의도 인지 설계 (Intent-Aware Design): 점수표는 이유를 이해해야 합니다. 만약 사용자가 "내 스페인어 실력을 향상시켜 줘"라고 말하면서 이미 경제 기사를 읽고 있다고 언급했다면, 점수표는 기초적인 알파벳 플래시카드를 나열하는 것에 보상을 주어서는 안 됩니다. 대신 고급 경제 중심의 레슨에 보상을 주어야 합니다.
3단계 카테고리 시스템: 점수표는 단순히 동등한 항목들의 목록이 아닙니다. 세 가지 유형이 있습니다:
- 주요 의도 (Primary Intent): 반드시 갖춰야 할 필수 사항 (예: "수프는 뜨거워야 한다").
- 추가 점수 (Extra Credit): 훌륭함을 만드는 "있으면 좋은" 요소 (예: "수프에 신선한 허브를 곁들였다").
- 피해야 할 실수 (Dodged Bullets): 로봇이 피해야 하는 것들 (예: "고객이 금속 알레르기가 있다면 금속 숟가락과 함께 서빙하지 마시오").
교정 (Calibration): 점수표의 문구가 혼란스럽지 않은지 확인하기 위해 AI "심판"을 대상으로 테스트합니다. 만약 AI가 "두운(alliteration)"이라는 단어 때문에 혼란을 겪는다면, 인간은 그 규칙을 더 명확하게 다시 씁니다.
실제 세계의 복잡성 (Real-World Complexity): 과업은 임의로 만든 퍼즐이 아니라 실제 직업(예: 고객 서비스 티켓 관리)을 기반으로 합니다.

4. 마법: 점수표를 사용하여 로봇을 가르치는 법

이 부분이 가장 흥ende로운 부분입니다. 보통 우리는 이 점수표를 로봇을 채점하는 데만 사용합니다. 하지만 저자들은 이 점수표가 훌륭한 교육 도구가 된다는 사실을 발견했습니다.

비유: 코치가 선수에게 피드백을 주는 상황을 상상해 보세요.
- 기존 방식: "너 게임에서 졌어. 다시 해봐." (선수는 무엇을 고쳐야 할지 모릅니다).
- 새로운 방식: "네가 공을 아래로 내려다보는 바람에 3번 놓쳤어. 플레이를 잘못 수행했어. 하지만 발놀림은 아주 훌륭했어." (선수는 무엇을 개선해야 할지 정확히 알게 됩니다).

이 상세한 점수표를 학습 과정 중의 "보상"(강화 학습)으로 사용함으로써, 로봇은 훨씬 더 빠르게 학습합니다.

결과: 저자들은 이 전문가 점수가 매겨진 1,000개의 사례만을 사용하여 더 작은 로봇 모델을 학습시켰습니다.
- 작은 로봇은 지시 이행 능력이 15.5% 향상되었습니다.
- 거대 로봇은 12.2% 향상되었습니다.
- 결정적으로, 로봇은 정답을 암기하는 것이 아니라 복잡한 제약 조건을 따르는 기술을 배웠기 때문에, 도구 사용이나 고객 서비스 채팅처럼 한 번도 본 적 없는 과업에서도 더 뛰어난 성능을 보였습니다.

5. 이것이 왜 중요한가

이 논문은 전문가 루브릭이 두 가지 문제를 동시에 해결한다고 주장합니다.

더 나은 측정: 그들은 똑똑한 로봇과 천재적인 로봇의 진짜 차이를 알려줍니다. 기존의 테스트는 이들을 모두 비슷해 보이게 만들었습니다.
더 나은 학습: 점수표는 고품질의 선생님 역할을 하여, 로봇이 더 적은 데이터로도 복잡한 행동을 배울 수 있도록 돕습니다.

요약하자면, 저자들은 로봇을 단순한 체크리스트로 테스트하는 것을 멈추라고 말합니다. 대신, 로봇을 채점하고 진정으로 도움이 되도록 가르치기 위해 상세한 인간 작성 점수표를 사용하라고 권고합니다.

기술 요약: ComplexConstraints와 그 너머: RLVR를 위한 전문가 루브릭(Expert Rubrics)

문제 정의

대규모 언어 모델(LLM)의 역량이 진보함에 따라, 전통적인 평가 벤치마크는 점차 포화 상태에 이르며 실제 배포 요구사항과 괴리되고 있습니다. IFEval과 같은 기존의 프로그래밍 방식 검증은 스크립트로 확인할 수 있는 협소하고 표면적인 제약 조건에 의존하며, 이는 맥락 의존적인 미묘한 행동을 포착하는 데 실패합니다. 결과적으로, 모델들은 특정 문자를 피하거나 서식 규칙을 준수함으로써 벤치마크를 통과할 수는 있지만, 정작 내용은 일관성 없는 콘텐츠를 생성할 수 있습니다. 또한, 벤치마크 성능과 복잡하고 계층적인 지시사항을 따르는 능력, 장기적인 상호작용 전반에서 행동 제약을 유지하는 능력, 그리고 다단계 전문 워크플로우를 신뢰성 있게 실행하는 능력 사이에는 커지는 간극이 존재합니다. 기존 벤치마크는 프런티어 모델 간의 유의미한 역량 차이를 구별해낼 수 있는 '구성 타당도(construct validity)'가 부족한 경우가 많습니다.

방법론

본 논문은 프로그래밍 방식의 검증에서 전문가가 큐레이션한 루브릭 기반 평가로의 패러다임 전환을 제안합니다. 이 접근 방식은 도메인 전문가가 작업 성공을 명시적 요구사항과 실용적인 사용자 의도를 모두 포착하는 원자적이고 검증 가능한 기준들로 분해하는 과정을 포함합니다.

전문가 루브릭을 위한 설계 원칙

저자들은 루브릭이 평가와 강화 학습으로부터 검증 가능한 보상(RLVR) 모두에 효과적일 수 있도록 다섯 가지 설계 원칙을 제시합니다:

최대 가용 원자성(Maximum Viable Atomicity): 기준은 프롬프트의 가장 작으면서도 의미 있는 단위가 되어야 합니다. 과도한 분해는 표면적인 하위 기준은 만족하지만 근본적으로 잘못된 응답에 보상을 주는 결과를 초래할 수 있습니다.
의도 인지적 기준 설계(Intent-Aware Criterion Design): 기준은 단순히 문자 그대로의 구절이 아니라 사용자의 실용적 의도(the "why")를 반영해야 합니다. 이는 모델이 맥락적 이해보다 표면적인 문구에 치중하도록 학습되는 것을 방지합니다.
3개 범주 기준 분류 체계(Three-Category Criterion Taxonomy): 기준은 보상 신호를 형성하기 위해 다음과 같이 비대칭적으로 분류됩니다:
- 주요 의도(Primary Intent): 직접적인 요구사항이며, 주요 보상의 원천입니다.
- 추가 점수(Extra Credit/Bonus): 경험을 향상시키지만 필수적이지는 않은 요소입니다. 보상은 가산적이며, 누락되었다고 해서 벌점을 받지는 않습니다.
- 피해야 할 함정(Dodged Bullet/Penalty-only): 발생 가능한 오해를 피하는지 확인하는 항목입니다. 위반 시에는 벌점을 받지만, 충족되었다고 해서 보상을 받지는 않습니다.
반복적인 LLM 판사 보정(Iterative LLM-Judge Calibration): 기준은 저자들이 기준을 초안하고, 참조 응답에 대해 테스트하며, LLM 검증기의 불일치를 바탕으로 언어를 정제하여 모호성을 제거하고 보상 해킹(reward hacking)을 방지하는 반복적인 과정을 거칩니다.
도메인 기반 작업 복잡도(Domain-Grounded Task Complexity): 에이전트 작업의 경우, 루브릭은 완결성, 정확성, 제약 사항 준수, 형식 준수와 같은 차원에 걸쳐 성공을 분해하여 밀도 높은 기준 수준의 피드백을 제공합니다.

COMPLEXCONSTRAINTS 데이터셋

이러한 원칙들을 구현하기 위해, 저자들은 약 1,000개의 단일 턴 프롬프트로 구성된 새로운 데이터셋인 COMPLEXCONSTRAINTS를 도입합니다. 각 프롬프트는 도메인 전문가가 작성한 10~40개의 원자적 루브릭 기준으로 쌍을 이룹니다. 이 데이터셋은 가장 강력한 프런티어 모델조차 완벽한 작업 완료율이 17% 미만인 역량의 최전선(capability frontier)을 차지하도록 설계되었습니다.

훈련 파이프라인

본 연구는 전문가 루브릭을 보상 신호로 사용하는 RLVR(Reinforcement Learning from Verifiable Rewards)을 채택합니다.

보상 함수: 보상은 충족된 '주요 의도' 기준의 가중 합계에 '추가 점수' 기준에 대한 스케일링된 보너스를 더하고, 위반된 '피해야 할 함정' 기준에 대한 스케일링된 페널티를 뺀 값으로 계산됩니다.
지시 이행(Instruction Following): 모델(Qwen3-4B 및 Qwen3-235B)은 COMPLEXCONSTRAINTS의 약 900개 예시를 사용하여 LoRA 파인튜닝을 통해 학습되었습니다.
에이전트 작업: GLM 4.6 모델은 그룹 상대 정책 최적화(GRPO)와 루브릭 기반 보상을 사용하여 CoreCraft 엔터프라이즈 시뮬레이션에서 학습되었습니다.

주요 기여

설계 원칙: 구성 타당도를 높이고 효과적인 RL 훈련 신호로 기능할 수 있는 고품질 전문가 루브릭 구축을 위한 다섯 가지 구체적인 설계 원칙을 명시했습니다.
COMPLEXCONSTRAINTS 데이터셋: 평가와 훈련 모두를 위해 설계된, 높은 제약 밀도(프롬프트당 10~40개 기준)를 가진 전문가 큐레이션 지시 이행 데이터셋을 소개했습니다.
실증적 검증: 전문가 루브릭이 매우 효과적인 훈련 신호로 작동하여, 지시 이행과 에이전트 작업 실행 모두에서 상당하고 전이 가능한 개선을 만들어낸다는 점을 입증했습니다.

결과

지시 이행 (Instruction Following)

약 1,000개의 전문가 큐레이션 예시로 학습한 결과 유의미한 개선이 나타났습니다:

Qwen3-4B: 평균 기준 통과율(mean per-criterion pass rate)에서 15.5 퍼센티지 포인트(pp) 개선.
Qwen3-235B: 12.2 pp 개선.
AdvancedIF로의 전이: 단일 턴 작업으로만 학습했음에도 불구하고, 독립적인 AdvancedIF 벤치마크에서 멀티 턴 컨텍스트(+7.1 pp, Qwen3-4B) 및 시스템 제어 가능성(+12.4 pp)을 포함한 상당한 성과를 보였습니다.

에이전트 작업 실행 (Agentic Task Execution)

GLM 4.6을 CoreCraft 엔터프라이즈 환경에서 단 1 에포크(epoch) 동안 학습시킨 결과:

학습 데이터 내(In-Distribution): 홀드아웃(held-out) CoreCraft 작업에서 +11.4 pp 개선.
학습 데이터 외 전이(Out-of-Distribution Transfer): 모델이 한 번도 학습하지 않은 벤치마크에서 유의미한 성과를 거두었습니다:
- BFCL (병렬 함수 호출): +4.5 pp.
- $\tau$ 2-Bench (리테일 고객 서비스): +7.4 pp.
- Toolathlon (장기 도구 사용): +6.8 pp.
신뢰성: Toolathlon에서 모델의 Pass@3(세 번의 실행 중 모든 작업을 해결하는 비율)가 9.3%에서 17.6%로 거의 두 배 가까이 증가했습니다.

의의 및 주장

본 논문은 전문가가 작성한 루브릭이 두 가지 목적을 수행한다고 주장합니다: 하나는 더 높은 구성 타당성을 제공하고 프런티어 모델의 역량을 더 잘 구별하는 우수한 평가 도구로서의 역할이며, 다른 하나는 강화 학습을 위한 매우 효과적인 훈련 신호로서의 역할입니다.

의의에 관한 주요 주장은 다음과 같습니다:

데이터 효율성: 고품질의 전문가 큐레이션은 합성 루브릭에 의존하는 방식보다 적은 양의 데이터(~1,000개 예시)로도 상당한 역량 향상을 가능하게 합니다.
일반화: 루브릭 밀도가 높은 훈련을 통해 습득된 역량(제약 추적, 워크플로우 분해, 품질 표준)은 형식(단일 턴에서 멀티 턴으로)과 도메인(지시 이행에서 에이전트 작업으로)을 가리지 않고 일반화됩니다.
최적의 난이도: 전문가 루브릭은 학습 신호가 가장 유익한 "생산적 중간 지점(productive middle ground)"으로 작업 난이도를 조정할 수 있게 하여, 쉬운 벤치마크의 포화나 불가능한 작업의 노이즈를 피할 수 있게 합니다.
측정 vs 개발: 본 연구는 평가를 위한 표현력(풍부한 루브릭)에 투자하는 것이 프런티어 모델을 효과적으로 훈련하는 데 필요한 풍부하고 밀도 높은 보상 신호를 제공함으로써 "두 번째 배당금(second dividend)"을 가져다준다는 점을 확립했습니다.

저자들은 전문가 루브릭 제작에 인프라 투자가 필요하지만, 측정 품질과 훈련 효율성 모두에서의 수익이 이러한 접근 방식을 정당화하며, 이는 차세대 LLM 역량을 개발하고 평가하기 위한 경로를 제시한다고 결론짓습니다.