💬 NLP

SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning

SERPO는 답변 투표를 대신하여 응답 아카이브, 쿼리별 루브릭, 그리고 정책 파라미터를 공동 최적화함으로써 신뢰할 수 있는 보상 신호를 생성하고 도메인 내 및 도메인 외 벤치마크 전반에서 상당한 성능 향상을 달나성하는 개방형 테스트 시간 강화 학습을 위한 자기 진화형 프레임워크를 도입한다.

원저자: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 완벽한 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 하지만 아주 이상한 규칙이 하나 있습니다. 결코 '정답'인 결말을 보여주어서는 안 되며, 로봇의 결과물을 채점할 인간 교사를 고용할 수도 없습니다. 이것이 바로 **테스트 시간 강화 학습(Test-Time Reinforcement Learning, TRL)**의 과제입니다. 보통 컴퓨터가 학습할 때는 수학 문제의 단일 해답처럼 명확한 '정답'이 주어집니다. 하지만 의료 조언을 하거나 복잡한 과학을 설명하는 것과 같이 정답이 열려 있는 모호한 세상의 글쓰기에서는 단 하나의 '정답'이란 존재하지 않습니다. 서로 완전히 달라 보이는 두 개의 완벽한 이야기가 존재할 수 있기 때문입니다.

이를 해결하기 위해 과학자들은 **투표(voting)**라는 기술을 시도해 왔습니다. 로봇에게 열 가지 버전의 이야기를 쓰게 한 뒤, 나머지 버전들과 가장 많이 일치하는 것을 선택하게 하는 방식입니다. 이는 마치 군중에게 수수께끼의 답을 추측하게 하는 것과 같습니다. 만약 대부분의 사람이 "사과"라고 답했다면, 로봇은 "사과"가 정답이라고 가정합니다. 하지만 이 방법은 답변이 창의적이거나 미묘한 차이가 있을 때 무너집니다. 만약 열 명의 사람이 각각 다르게, 하지만 똑같이 훌륭한 의료 조언을 내놓는다면, 로봇은 혼란에 빠지거나 더 나아가, 누군가 중요한 안전 경고를 빠뜨렸음에도 불구하고 단순히 '인기 있는' 답변을 선택할 수도 있습니다. 즉, 모두가 언급하는 것을 잊었다는 이유로 "사과"를 선택하게 되는 것이죠. 우리가 살펴볼 논문은 단순히 투표수를 세는 대신, 품질을 판단하는 더 똑똑한 방법이 필요하다고 제안합니다.

문제점: "가장 인기 있는 것"이 "최고"는 아니다

당신이 재능 경연 대회의 심사위원이라고 상상해 보세요. 참가자들은 모두 아픈 사람에게 줄 최선의 조언을 하려고 노력하고 있습니다. 기존의 방식(투표 방식)에서는 심사위원이 모든 조언을 살펴보고, 어떤 내용이 가장 많이 언급되었는지를 보고 "좋아, 저게 우승이야!"라고 말합니다.

하지만 여기 함정이 있습니다. 만약 가장 인기 있는 조언이 "물 마시고 휴식하세요"였다면 어떨까요? 그것도 좋은 조언이지만, 만약 환자가 즉시 의사를 만나야 하는 심각한 상태라면 어떻게 될까요? 만약 모든 참가자가 의사를 만나야 한다는 말을 빠뜨렸다면, "투표" 시스템은 여전히 "물 마시고 휴식하세요"를 우승작으로 뽑을 것입니다. 왜냐하면 그것이 가장 흔한 답변이었기 때문입니다. 로봇은 '인기 있는' 법을 배울 뿐, '안전'하거나 '정확'해지는 법을 배우지 못합니다. 이는 마치 시험에서 가장 흔한 답을 암기하지만 근본적인 논리는 이해하지 못해, 실생활에서 위험한 실수를 저지르는 학생과 같습니다.

해결책: SERPO, 스스로 진화하는 루브릭(평가 기준)

SERPO(Self-Evolving Rubric Policy Optimization)를 만나보세요. SERPO를 단순히 투표수를 세는 심사위기가 아니라, 게임이 진행되는 동안 스스로 써 내려가는 동적인 규칙서라고 생각하십시오.

SERPO는 "대부분의 사람이 동의하는 답이 무엇인가?"라고 묻는 대신, "어떤 구체적인 규칙이 하나의 답을 다른 답보다 더 낫게 만드는가?"라고 묻습니다. SERPO는 다음 세 가지 요소가 끊임없이 서로를 업그레이드하는 폐쇄 루프를 생성함으로써 이를 수행합니다.

증거 아카이브 (좋은 것, 보통인 것, 나쁜 것):
로봇이 질문에 답하려고 할 때마다, SERPO는 세 가지 특정 사례를 저장합니다. 하나는 좋은(Good) 사례, 하나는 보통인(Normal) 사례, 그리고 하나는 나쁜(Bad) 사례입니다. 단순히 '최고'의 것만 저장하는 것이 아니라, 전체 스펙트럼을 저장합니다. 이는 코치가 선수의 최고의 골 장면, 평범한 패스, 그리고 끔찍한 실수 장면을 나란히 모아둔 비디오 테이프를 보관하는 것과 같습니다.
루브릭 (규칙서):
SERPO는 '좋은', '보통', '나쁜' 사례들 사이의 차이점을 분석하며 다음과 같이 묻습니다. "무엇이 '좋은' 사례를 더 낫게 만들었는가?" 아마도 '좋은' 사례는 '나쁜' 사례가 놓친 특정 경고 신호를 언급했을 것입니다. SERPO는 그 차이를 잡아내기 위해 새로운 규칙(기준)을 작성합니다. 이는 마치 교사가 학생들이 출처 인용을 계속 잊어버린다는 것을 깨닫고, 채점표에 "최소 한 개 이상의 출처를 포함할 것"이라는 새로운 규칙을 추가하는 것과 같습니다.
결정적으로, 이 규칙서는 고정되어 있지 않습니다. 로봇이 점점 더 나아짐에 따라 기존의 규칙은 너무 쉬워질 수 있습니다. SERPO는 약한 규칙을 버리고, 로봇에게 계속 도전 과제를 주기 위해 더 어렵고 새로운 규칙을 만들어냅니다.
정책 (로봇의 뇌):
로봇은 이 새로운 규칙들을 사용하여 자신의 미래 시도들을 채점합니다. 만약 새로운 "출처 인용" 규칙을 따른다면 높은 점수를 받고, 이를 잊으면 낮은 점수를 받습니다. 그러면 로봇은 다음번에 더 잘하기 위해 자신의 뇌를 업데이트합니다.

작동 방식: "좋음-보통-나쁨"의 댄스

마법은 루프 속에서 일어납니다.

1단계: 로봇이 여러 답변을 생성합니다.
2단계: SERPO는 이 답변들을 "좋은 것", "보통인 것", "나쁜 것" 더미로 분류합니다.
3단계: 시스템은 "좋은 것" 더미와 "나쁜 것" 더미를 비교하며 묻습니다. "정확한 차이점이 무엇인가?"
4단계: 그 차이를 식별하기 위한 구체적인 규칙을 만듭니다. 예를 들어, "좋은" 의료 조언은 혈압 체크를 언급했지만 "나쁜" 조언은 그렇지 않았다면, 새로운 규칙은 "임신 중 두통의 경우 혈압 체크를 반드시 언급할 것"이 됩니다.
5단계: 로봇은 이 새로운 규칙을 따랐을 때 보상을 받습니다.
6단계: 로봇은 다시 시도하고, 이 순환이 반복됩니다.

이는 투표와 다릅니다. 투표는 사람들이 얼마나 동의하는지에 관심을 두지만, SERPO는 답변이 얼마나 안전하고 완전한지에 관심을 둡니다. 설령 열 명의 로봇 중 단 한 명만이 혈압 체크를 언급했더라도, SERPO는 그 차이를 포착하여 규칙을 만들고, 집단 전체가 이를 수행하도록 가르칩니다.

결과: 더 똑똑하고, 더 안전하며, 더 적응력이 뛰어남

연구진은 이 아이디어를 두 가지 유형의 질문, 즉 의료 조언(HealthBench)과 과학 연구 질문(ResearchQA)에 대해 테스트했습니다. 또한 두 가지 크기의 로봇 뇌(40억 및 90억 파라미터)를 사용했습니다.

결과는 매우 인상적이었습니다. 로봇이 SERPO를 통해 학습했을 때:

의료 질문의 경우, 초기 로봇에 비해 점수가 최대 20.63점 향상되었습니다.
과학 질문의 경우, 최대 20.31점 향상되었습니다.
실행한 6가지 테스트 전체에서 평균 점수는 8.06점 상승했습니다.

하지만 가장 멋진 부분은 점수 자체가 아니라 전이(transfer) 능력이었습니다. 연구진이 의료 질문으로 로봇을 훈련시킨 후, 한 번도 본 적 없는 과학 질문을 던졌을 때, SERPO는 기존의 "투표" 방식으로 훈련된 로봇들보다 더 나은 성능을 보였습니다. 이는 SERPO가 단순히 인기 있는 답을 암기하는 것이 아니라, 품질에 대해 생각하는 법을 가르쳤음을 시사합니다.

또한 이 논문은 이 방식이 학습 과정 중에 인간 교사나 외부의 "슈퍼 심사위원" 없이도 작동한다는 것을 보여주었습니다. 로봇은 자신의 "좋은" 시도와 "나쁜" 시도를 비교함으로써 스스로를 가르칩니다.

이것이 왜 중요한가

이 접근 방식은 AI가 복잡하고 열린 과제를 처리하는 방식을 바꾸어 놓습니다. "가장 인기 있는" 답이 정답이기를 기대하는 대신, SERPO는 "좋음"에 대한 정의를 끊임없이 정교화하는 시스템을 구축합니다. 이는 단순히 정답지를 암기하는 것이 아니라, 각 점수의 '이유'를 이해하기 위해 자신만의 채점 기준을 써 내려가는 학생과 같습니다.

저자들은 이 방식이 의료와 같이 단 하나의 세부 사항을 놓치는 것이 심각한 결과를 초래할 수 있는 분야에서 AI 시스템을 더 안전하고 신뢰할 수 있게 만드는 데 도움이 될 수 있다고 제합니다. 스스로 규칙을 진화시킴으로써, AI는 새로운 상황에 적응하고 단순한 투표 시스템이 놓칠 수 있는 미묘한 오류를 잡아낼 수 있습니다. 이는 단순히 대중을 따르는 것이 아니라, 무엇이 좋은 답변을 만드는지를 실제로 이해하는 AI를 향한 한 걸음입니다.

기술 요약: SERPO – 자기 진화형 루브릭 정책 최적화 (Self-Evolving Rubric Policy Optimization)

1. 문제 정의

본 논문은 엄격한 고정된 집합, 레이블이 없는 전이 학습(fixed-set, label-free transductive setting) 환경 하에서의 **개방형 생성(open-ended generation)**을 위한 테스트 시간 강화 학습(Test-Time Reinforcement Learning, TTRL) 문제를 다룹니다. 이 시나리오에서 배포된 언어 모델은 참조 답변, 인간의 피드백, 외부 보상 모델 또는 더 강력한 판사(judge)에 대한 접근 없이, 특정 테스트 프롬프트 세트에 대해 스스로 진화해야 합니다.

기존의 TTRL 방법들은 의사 레이블(pseudo-labels)을 생성하기 위해 답변 투표(예: 다수결 투표 또는 자기 일관성/self-consistency)에 의존합니다. 이러한 방식은 추출 가능한 정답이나 정형화된 답이 존재하는 작업(예: 객관식 또는 기호 추론)에는 효과적이지만, 개방형 생성에는 적합하지 않습니다. 의료 조언이나 과학 연구와 같은 도메인에서는 핵심적인 안전성이나 사실적 원칙을 전달하면서도 표현, 상세함 또는 구조가 크게 다른 유효한 응답들이 존재할 수 있습니다. 반대로, 다수결 투표는 공유된 누락 사항을 강화하거나, 단순히 가장 빈번한 문구와 일치하지 않는다는 이유로 유효한 대안을 거부할 수 있습니다. 핵심 과제는 외부 감독 없이 모델 자신의 출력물로부터 신뢰할 수 있고 정보가 풍부한 보상 신호를 구축하는 것이며, 특히 단일한 "정답"이 존재하지 않는 작업을 대상으로 합니다.

2. 방법론: SERPO

**SERPO (Self-Evolving Rubric Policy Optimization)**는 쿼리별 응답 아카이브(query-specific response archives), 쿼리별 루브릭(query-specific rubrics), 그리고 **공유 액터 정책(shared actor policy)**을 공동 진화시키는 폐쇄 루프 프레임워크를 도입합니다. 고정된 루브릭이나 외부 판사를 사용하는 방법과 달리, SERPO는 전적으로 모델 자신의 진화하는 출력물로부터 보상을 도출합니다.

핵심 구성 요소

Good–Normal–Bad (G-N-B) 응답 진화:
- 각 프롬프트에 대해, SERPO는 Good, Normal, Bad로 분류된 응답의 롤링 아카이브를 유지합니다.
- 단순히 절대적인 최고 또는 최악의 응답만을 선택하는 대신, 세 범주 간의 거리를 최대화하는 분리 점수(separation score)를 기반으로 최대 분리 순서 삼중항(maximally separated ordered triple) $(G, N, B)$ 를 선택합니다. 이는 아카이브가 품질 차이에 대한 뚜렷하고 순서 있는 증거를 포함하도록 보장합니다.
루브릭 진화:
- 초기 모델의 동결된 복사본이 루브릭 생성기(rubric generator) 역할을 합니다. 이 생성기는 G-N-B 아카이브 내의 대비를 분석하여 원자적이고 쿼리 특화된 기준(예: "혈압 체크 여부" vs "휴식 언급 여부")을 제안합니다.
- 유틸리티 기반 선택: 기준들은 G-N-B 아카이브 간의 변별력(점수의 분산 및 $G > N > B$ 순서와의 일치 여부)을 바탕으로 점수가 매겨집니다.
- 동적 유지 관리: 유틸리티가 낮은 기준은 제거되고, 새로운 변별력 있는 기준이 수용됩니다. 이 과정은 루브릭이 현재 정책의 성능에 따른 구체적인 뉘앙스를 포착하도록 진화하게 합니다.
확률적 보상 인터페이스:
- 동결된 **확률적 판사(probabilistic judge)**가 활성화된 루브릭을 기준으로 응답을 평가합니다. 확정적인 이진 판결 대신, 이 모델은 판결 토큰 확률(Pass 또는 Fail의 가능성)을 출력합니다.
- 이 확률들은 지향성 기준 점수(oriented criterion scores)(값이 높을수록 항상 더 좋은 방향임)로 변환됩니다.
- 캘리브레이션(Calibration): 정책이 개선됨에 따라 보상 신호가 민감도를 유지할 수 있도록, Good 및 Bad 아카이브의 평균 성능을 기준으로 점수를 정규화합니다.
정책 최적화:
- 액터(actor)는 **그룹 상대 정책 최적화(Group-Relative Policy Optimization, GRPO)**를 사용하여 업데이트됩니다. 진화하는 루브릭으로부터 도출된 스칼라 보상은 어드밴티지(advantage)를 계산하는 데 사용되며, 쿼리별 기준을 만족시키도록 정책을 최적화합니다.
- 새로운 액터 롤아웃(rollout)은 다시 G-N-B 아카이브를 갱신하고 추가적인 루브릭 진화를 트리거하여 루프를 완성합니다.

3. 주요 기여

레이블이 없는 개방형 TTRL의 공식화: 본 논문은 참조 답변이나 외부 판사 없이 작동하는 TTRL 환경을 정의하여, 개방형 도메인에서 답변 투표 방식의 한계를 해결했습니다.
SERPO 프레임워크: 응답 아카이브, 쿼리별 루브릭, 정책 파라미터를 공동 진화시키는 새로운 폐쇄 루프 시스템을 제시합니다. 이는 포스트-추론(post-reasoning) 불리언 판결 확률과 진화하는 쿼리별 루브릭을 결com하여 정책 최적화에 결합한 최초의 사례입니다.
확률적 보상 인터페이스: 기준 충족 확률을 그룹 상대 보상으로 변환하는 메커니즘을 통해, 점수의 단계적 신뢰도를 보존하고 딱딱한 이진 판결로 인한 보상 동률(reward ties) 문제를 방지합니다.
실증적 검증: SER포가 외부 감독 없이도 인도메인(in-domain) 성능에서 상당한 이득을 얻고, 분포 외(OOD) 벤치마크로 효과적으로 전이됨을 종합적인 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 두 가지 모델 구성(Qwen3-4B 및 Qwen3.5-9B)을 사용하여 여섯 개의 벤치마크(인도메인 2개: HealthBench, ResearchQA / OOD 4개: MedQA, LLMEval-Med, GPQA-Diamond, RaR-Science)에서 SERPO를 평가했습니다.

인도메인 성능: SERPO는 베이스 모델 및 다른 베이스라인(투표 기반 TTRL 및 정적 루브릭 방법 포함)을 크게 상회합니다.
- HealthBench에서 SERPO는 Qwen3.5-9B 베이스 모델을 20.63 포인트 개선했습니다.
- ResearchQA에서 베이스 모델을 20.31 포인트 개선했습니다.
- 여섯 개 벤치마크의 매크로 평균은 베이스 모델 대비 최대 8.06 포인트 상승했습니다.
OOD 전이: HealthBench에서 진화된 정책은 의료 OOD 벤치마크(MedQA, LLMEval-Med)로 효과적으로 전이되었으며, ResearchQA에서 진화된 정책은 과학 OOD 벤치마크로 전이되었습니다. SERPO는 모든 OOD 설정에서 베이스라인을 능가하며, 자가 진화된 기준이 빈도 기반의 합의보다 더 잘 일반화됨을 보여주었습니다.
절제 연구(Ablation Studies):
- 루브릭 진화를 제거하거나 G-N-B 아카이브를 고정했을 때 성능이 크게 하락(~12–13%)하여, 진화하는 정의와 최신 증거 모두의 필요성을 확인했습니다.
- 확률적 판사(소프트 스코어)를 사용하는 것이 매우 중요했습니다. 딱딱한 판결(hard verdicts)은 보상 동률 현상으로 인해 성능을 6% 감소시켰습니다.
- 액터 업데이트가 개선의 가장 큰 동력이었습니다. 루브릭만 진화시키고 액터를 고정했을 때는 미미한 이득만을 얻었습니다.
장기 진화(Long-Horizon Evolution): 45 에포크까지 훈련을 연장해도 지속적인 개선이 나타났으며, 이는 이 방법이 빠르게 포화되지 않음을 시사합니다. 벤치마크 간의 순차적 진화(HealthBench $\to$ ResearchQA)는 SERPO가 이전 성능을 유지하면서 새로운 도메인을 학습할 수 있음을 보여주었습니다.

5. 의의 및 주장

본 논문은 SERPO가 복잡하고 개방적인 도메인에서 언어 모델의 **자율적, 레이블 없는 자기 개선(autonomous, label-free self-improvement)**을 향한 중요한 진전임을 주장합니다.

투표를 넘어: 답변 투표가 개방형 작업에는 불충분하며, **기준 수준의 검증(criterion-level verification)**이 필수적인 대안임을 입증했습니다.
자기 완결성: SERPO는 외부 보상 모델, 인간 피드백, 혹은 특권적인 참조 답변 없이 오직 모델 내부의 진화하는 루브릭을 통한 품질 구별 능력에만 의존하여 강력한 성능을 달출합니다.
일반화: 학습된 기준을 보지 못한 벤치마크로 전이하는 능력은, 이 방법이 특정 프롬프트 패턴에 과적합되는 것이 아니라 품질의 일반적인 원칙(예: 안전성, 완결성)을 학습함을 시사합니다.
미래 방향: 저자들은 SERPO를 지속적인, 레이블 없는 개선을 위한 기초로 설정하며, 순환적 벤치마크 스트림 및 포화와 망각을 관리하는 메커니즘에 대한 향후 연구를 제안합니다.

결론적으로, SERPO는 응답 증거, 변별력 있는 기준, 그리고 정책 최적화 사이의 루프를 닫음으로써, 외부 감독이 없는 상황에서도 모델이 효과적으로 자기 진화할 수 있음을 보여줍니다.