🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

이 논문은 취약한 다수결 투표를 복제자 역학(replicator dynamics)에서 유도된 그래프 기반 합의 보상으로 대체하여, 다양한 모델과 벤치마크 전반에서 정확도와 수렴 속도를 향상시키는 단계적이고 자기 지도적인 신호를 제공하는 테스트 타임 강화 학습 방법인 CoRE를 소개한다.

원저자: Ambuj Mehrish, Sebastiano Vascon

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ambuj Mehrish, Sebastiano Vascon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

초지능형 로봇이 까다로운 퍼즐을 푸는 법을 배우려 하지만, 정답을 맞혔는지 알려줄 사람이 아무도 없는 세상을 상상해 보세요. 이것이 현대의 AI 모델들이 라벨이 없는 새로운 질문에 직면했을 때 겪는 일상입니다. 학습을 위해 이 모델들은 보통 "잘했어!" 또는 "다시 해봐!"라고 말해주는 선생님(정답지)이 필요합니다. 하지만 정답지가 없다면 어떻게 될까요? 여기서 **테스트 타임 강화 학습(Test-Time Reinforcement Learning)**이라는 분야가 등장합니다. 이것은 AI가 동일한 문제에 대해 여러 가지 다양한 시도(이를 "롤아웃(roll-outs)"이라 부름)를 생성하고, 자신의 작업물을 스스로 검토하여 무엇을 믿을지 결정함으로써 스스로를 가르치는 영리한 기법입니다.

이 방식의 표준적인 방법은 마치 교실에서의 투표와 같습니다. 만약 AI가 64개의 서로 다른 답을 생성했다면, 단순히 그 개수를 세는 것입니다. 만약 35개가 "42"라고 하고 29개가 "17"이라고 한다면, AI는 가장 많은 표를 얻은 "42"를 진실이라고 가정합니다. 그런 다음 "42"라고 말한 모든 시도에 보상을 주고 나머지는 벌칙을 줍니다. 이 방식은 대부분의 경우 잘 작동하지만, 치명적인 결함이 있습니다. 바로 운 좋게 맞힌 추측과 논리적으로 잘 짜인 훌륭한 해결책을 동일하게 취급하며, "다수"가 자신 있게 틀릴 가능성을 무시한다는 점입니다. 만약 똑똑하고 확신에 찬 소수의 시도가 "17"이라고 말하고 있다면, 혼란에 빠진 다수가 "42"라고 외치고 있다면, 투표 시스템은 그 똑똑한 소수를 짓밟아 버릴 것입니다. 이 논문은 질문을 던집니다. 단순히 얼마나 많이 동의하는가가 아니라, 어떻게 답들이 동의하는지를 가치 있게 여기는, AI가 스스로의 목소리에 더 똑똑하게 귀를 기울일 수 있는 방법을 만들 수 있을까?

투표함의 문제점

탐정들이 범죄를 해결하려는 상황을 상상해 보세요. 기존 방식("다수결" 방식)에서는 그저 손을 들어 표를 결정합니다. 만약 60명의 탐정이 집사라고 지목하고 40명이 정원사라고 지목한다면, 집사가 유죄가 됩니다. 하지만 만약 집사를 지목한 60명이 모두 혼란에 빠져 있는 상태이고, 정원사를 지목한 40명이 실제로 단서들을 정확하게 읽은 유일한 사람들이라면 어떨까요? 투표 시스템은 똑똑한 탐정들을 처벌하고 혼란스러운 탐정들을 보상하게 될 것입니다. 이는 팀 전체를 시간이 갈수록 더 멍청하게 만듭니다.

이것이 바로 표준적인 테스트 타임 강화 학습을 사용하는 AI 모델들에게 일어나는 일입니다. 그들은 여러 답을 생성하고, 승자를 세고, 그 승자가 옳다고 가정합니다. 만약 AI가 대중적이지만 체계적인 실수를 저지른다면, 그 실수를 강화하게 됩니다. 이는 마치 가장 큰 목소리가 이기는 잘못된 민주주의와 같으며, 그 목소리가 헛소리를 하고 있더라도 마찬가지입니다.

CoRE: 탐정들의 원탁 회의

이 논문의 저자인 암부즈 메리쉬(Ambuj Mehrish)와 세바스티아노 바스콘(Sebastiano Vascon)은 CoRE(Consensus Rewards via Equilibrium, 평형을 통한 합의 보상)라고 불리는 새로운 방법을 제안합니다. 단순히 머릿수를 세는 대신, CoRE는 AI의 시도들을 복잡한 관계의 망으로 취급합니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다:
AI의 64개 시도를 방 안에 앉아 있는 사람들이라고 상상해 보세요.

그래프(The Graph): 단순히 답을 외치는 대신, 이 사람들은 거대한 연결망을 형성합니다. 두 사람이 같은 답을 냈다면 서로 연결됩니다. 하지만 이 연결은 단순한 "예/아니오"가 아닙니다. 이는 그들의 추론이 얼마나 유사했는지(동일한 논리를 사용했는가?)와 얼마나 확신에 차 있었는지(확신을 가지고 말했는가?)에 따라 가중치가 부여됩니다.
평형(The Equilibrium): 그다음 시스템은 "레플리케이터 역학(replicator dynamics)"이라는 수학적 시뮬레이션을 실행합니다. 이것은 마치 의자 뺏기 게임과 같습니다. 자신감 있고 논리적인 이웃들로부터 가장 많은 지지를 받는 사람들이 일어나서 단단하고 강력한 원을 형성하기 시작합니다. "지배 집단(dominant set)"은 가장 많은 상호 지원을 보유한 그룹입니다.
보상(The Reward): 단순히 승자에게 "통과" 또는 "실패"를 주는 대신, CoRE는 등급이 매겨진 점수를 부여합니다. 만약 당신의 답이 단단하고 자신감 있으며 논리적인 원의 일부였다면, 높은 보상을 받습니다. 만약 당신이 약하고 혼란스러운 그룹의 일부였다면, 낮은 보상을 받습니다. 설령 당신이 소수파였더라도, 당신의 그룹이 가장 일관되고 자신감이 넘쳤다면 CoRE는 실제로 당신을 승자로 선택할 수도 있습니다.

연구 결과

연구진은 이 새로운 "CoRE" 방식을 기존의 "다수결" 방식과 비교하여 7개의 서로 다른 AI 모델과 5개의 수학 및 과학 벤치마크를 대상으로 테스트했습니다. 결과의 실효성을 확인하기 위해 세 가지 서로 다른 랜덤 시드(기본적으로 세 가지 다른 시작 조건)를 사용하여 실험을 진행했습니다.

결과는 매우 유망했습니다:

더 높은 점수: 평균적으로 CoRE를 사용하는 모델은 학습 전의 시작 시점보다 정확도가 21.7포인트 향상되었습니다. 기존의 투표 방식는 20.4포인트 향상되었습니다.
경합 상황에서의 승리: 진짜 마법은 답이 갈렸을 때 일어났습니다. AI가 확신하지 못하고 "투표"가 팽팽했던 상황에서, CoRE는 투표 방식보다 최대 7.5포인트 더 높은 성과를 보였습니다. CoRE는 투표 시스템이 무시했을 "똑똑한 소수"를 성공적으로 구출해 냈습니다.
더 빠른 학습: CoRE는 단순히 더 좋아질 뿐만 아니라, 더 빠르게 도달했습니다. CoRE는 투표 방식과 동일한 최종 정확도 수준에 도로 54%에서 70% 적은 단계만으로 도달했습니다. 이는 CoRE의 등급이 매겨진 미묘한 보상이 AI에게 더 명확하고 도움이 되는 신호를 제공한다는 것을 시사합니다.

"회복 구역(The Recovery Zone)"

논문은 또한 이 방식이 언제 가장 잘 작동하는지도 설명합니다. 만약 AI가 문제를 전혀 풀 수 없을 정도로 형편없거나, 혹은 모두가 완벽하게 동의할 정도로 우수하다면, CoRE는 기존의 투표 방식과 똑같이 작동합니다(이는 괜찮습니다). 하지만 혼란스러운 중간 지대, 즉 소수의 정답을 가진 자신감 있는 그룹이 다수의 오답을 가진 자신감 있는 그룹과 싸우고 있는 상황에서는 CoRE가 빛을 발합니다.

저자들은 수학적으로 만약 정답이 오답보다 조금이라도 더 자신감이 있다면, CoRE가 판을 뒤집어 소수임에도 불구하고 정답을 선택할 수 있음을 보여주었습니다. 이는 40명의 탐정이 확실한 알리바이를 가지고 있다면, 그들이 60명의 탐정보다 더 신뢰할 수 있다고 판단하는 현명한 판사와 같습니다.

결론

이 논문은 우리가 투표 시스템을 완전히 버릴 필요는 없으며, CoRE가 사실 투표를 하나의 특수한 사례로 포함하고 있다는 점을 시사합니다. 하지만 "사회적 지능"—답들이 서로를 어떻게 지지하는지, 그리고 얼마나 자신감이 있는지—을 추가함으로써, 우리는 깨지기 쉬운 '전부 아니면 전무' 식의 투표를 똑똑하고 정교한 보상 시스템으로 바꿀 수 있습니다.

저자들은 이것이 모든 것을 해결하는 마법 지팡이가 아님을 주의 깊게 언급합니다. 만약 AI가 완전히 길을 잃은 상태(역량의 하한선)라면, CoRE가 무에서 유를 창조할 수는 없습니다. 하지만 AI가 거의 정답에 근접했으나 군중의 목소리에 혼란을 느끼는 까다로운 문제들에 있어서, CoRE는 단순히 가장 큰 목소리를 따르는 것이 아니라 조용하고 자신감 있는 이성의 목소리에 귀를 기울이는 방법을 제시합니다. 이는 단순한 인원 파악을 정교한 대화로 바꾸어, AI 모델이 자신의 실수로부터 더 빠르고 똑똑하게 배울 수 있도록 돕습니다.

기술 요약: CoRE – 테스트 타임 강화 학습을 위한 평형 기반 합의 보상 (Consensus Rewards via Equilibrium)

문제 정의

테스트 타임 강화 학습(Test-time Reinforcement Learning, TTRL)은 모델 자신의 롤아웃(roll-out)으로부터 감독 신호를 도출하여, 레이블이 없는 테스트 데이터에 대한 언어 모델의 추론 능력을 향상시키는 것을 목표로 한다. 표준적인 접근 방식인 **다수결 투표(Majority Voting)**는 $N$ 개의 샘플링된 답변 집합을 하나의 투표함처럼 취급한다. 즉, 가장 빈도가 높은 답변을 의사 레이블(pseudo-label)로 식별하고, 해당 레이블과 일치하는 궤적(trajectory)에 이진 보상(1 또는 0)을 할당한다.

이 방식은 세 가지 결정적인 한계를 갖는다:

취약한 집계(Brittle Aggregation): 내부적으로 일관성이 있더라도 소수파를 형성하고 있다면 정답을 버린다. 반대로, 잘못된 다수 클러스터가 존재할 경우 이를 보상함으로써 체계적인 오류를 증폭시킬 위험이 있다.
이진 보상(Binary Rewards): 잘 뒷받침된 유도 과정과 운 좋게 맞춘 정답을 구분하지 못하고 동일한 보상을 부여한다.
균등한 질문 가중치(Uniform Question Weighting): 롤아웃들이 일관된 합의를 이루고 있는지, 아니면 서로 호환되지 않는 해결책들로 파편화되어 있는지와 관계없이 모든 질문을 동일하게 취급한다.

핵째 과제는 단순히 투표수를 세는 것이 아니라, 추론 경로 간의 **관계적 구조(relational structure)**와 **상호 지원(mutual support)**을 포착할 수 있는 보상 신호를 레이블이 없는 롤아웃으로부터 구축하는 것이다.

방법론: CoRE

저자들은 다수결 투표를 그래프 기반의 평형 접근법으로 대체하는 **CoRE (Consensus Rewards via Equilibrium)**를 제안한다. CoRE는 표준 TTRL과 동일한 $N$ 개의 롤아웃을 사용하지만, 이를 다르게 처리하여 정교한 신호를 생성한다.

1. 롤아웃 그래프 구축

CoRE는 $N$ 개의 롤아웃을 노드로 하는 가중치 그래프 $G=(V, E, \omega)$ 를 구축한다. 에지는 세 가지 신호를 결합한 어피니티 행렬(affinity matrix) $A'$ 에 의해 정의된다:

정답 일치(Answer Agreement): 하드 커널 $K_{ans}$ 를 사용하여 동일한 추출된 정답을 가진 롤아웃 사이에만 에지가 존재하도록 보장한다.
추론 유사성(Reasoning Similarity): TF-IDF $n$ -gram 벡터의 코사인 유사도를 기반으로 한 소프트 커널 $K_{rsn}$ 을 통해 동일한 정답 클래스 내의 연결을 강화한다.
신뢰도 교정(Confidence Calibration): 노드 가중치 $w_i$ 는 생성 신뢰도(평균 토큰 로그 확률)로부터 도출된다. 에지는 양 끝점의 신뢰도의 기하 평균( $\sqrt{w_i w_j}$ )에 의해 스케일링되며, 이를 통해 고신뢰도 궤적이 서로를 더 강력하게 강화하도록 한다.

최종 어피니티 행렬 $A'$ 는 블록 대각 행렬(block-diagonal) 형태를 띠며, 각 블록은 고유한 정답 클래스에 대응한다.

2. 복제자 역학(Replicator Dynamics)을 통한 지배 집합 추출

단순히 투표수를 세는 대신, CoRE는 진화 게임 이론적 최적화 과정인 **복제자 역학(Replicator Dynamics, RD)**을 사용하여 그래프에서 **지배 집합(Dominant Set, DS)**을 추출한다.

초기화: 시스템은 심플렉스의 무게 중심(barycenter)에서 시작하며, 각 정답 클래스의 크기에 비례하여 초기 질량을 할당한다(이는 사실상 다수결 투표에서 시작하는 것과 같다).
역학(Dynamics): 시스템은 이차 형식(quadratic form) $x^\top A' x$ 를 기반으로 질량 분포 $x$ 를 반복적으로 업데이트한다. 이 과정은 질량이 가장 상호 지원적인 궤적들의 부분 집합에 집중되는 안정적인 지점 $x^*$ 에 수렴한다.
결과: $x^*$ 의 서포트(mass가 임계값 이상인 노드들)가 합의(consensus)를 정의한다.

3. 보상 생성

평형 상태 $x^*$ 로부터 CoRE는 세 가지 별개의 신호를 도출한다:

정교화된 의사 레이블 ( $y^*$ ): 가장 높은 평형 질량을 가진 정답 클래스이다. 이는 소수의 매우 일관된 집단이 지배적인 역할을 하게 될 경우, 단순 다수 득표와 다를 수 있다.
등급화된 보상 ( $R_i$ ): 각 롤아웃은 이진 0/1이 아닌, 합의에 대한 어피니티에 비례하는 연속적인 보상을 받는다.
응집도 게이트 ( $w_q$ ): 합의의 전반적인 일관성을 측정하는 질문 수준의 스칼라 값이다. 이 게이트는 정책 업데이트(GRPO) 시 손실 함수를 스케일링하여, 신뢰할 수 있는 합의가 존재하지 않는 질문을 필터링한다.

주요 기여

1. 방법론적 혁신

CoRE는 지배 집합 추출을 사용하여 보상을 구축하는 최초의 테스트 타임 RL 방법론이다. 이는 롤아웃 그룹을 "투표함"에서 "그래프"로 변환하여, 숫자는 적더라도 일관되고 자신감 있는 정답 소수 집단을 복구할 수 있게 한다. 또한 추가적인 모델이나 추가 롤아웃 없이 GRPO에 직접 통합된다.

2. 이론적 분석

본 논문은 다음과 같은 엄격한 이론적 프레임워크를 제공한다:

일반화: 추론 유사성을 무시하고 신뢰도가 균일할 때, 다수결 투표는 CoRE의 특수한 사례임을 증명한다.
복구 임계값(Recovery Threshold): 올바른 소수가 잘못된 다수파를 뒤엎을 수 있는 정확한 임계값을 블록 값 분석(block-value analysis)을 통해 도출한다. 이 임계값은 클러스터 크기의 비율과 내부 일관성에 따라 달라진다.
신뢰도 곱셈 효과(Confidence Multiplication): 신뢰도 교정이 복구 임계값을 곱셈적으로 낮춘다는 것을 증명한다. 구체적으로, 정답 궤적이 오답 궤적보다 더 높은 신뢰도를 가질 경우, 소수가 승리하기 위해 필요한 일관성의 수준은 신뢰도 격차에 따라 지수적으로 감소한다.

3. 실증적 증거

7개의 백본(Qwen, DeepSeek, Llama, Mistral)과 5개의 벤치마크(AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond)에 걸쳐 42개의 모델-벤치마크 구성으로 평가되었다:

성능: CoRE는 42개 모델-벤치마크 셀 전체에서 훈련되지 않은 베이스 모델 대비 평균 +21.7 포인트의 정확도 향상을 보였으며, 이는 다수결 투표 기반 TTRL(+20.4 포인트)을 상회하는 수치이다. 특히 수학 특화 모델의 경우 평균 +25.0 포인트의 향상을 기록했다.
경합하는 합의(Contested Consensus): 합의가 경합하는 시나리오(예: MATH-L4/L5 서브셋)에서 투표 방식 대비 최대 +7.5 포인트의 이득을 얻었다.
샘플 효율성: CoRE는 투표 베이스라인의 최종 정확도 정점에 도달하는 데 54~70% 적은 최적화 단계만을 필요로 했다.
절제 실험(Ablation): 그래프 구조나 신뢰도 교정 중 하나라도 제거하면 성능이 다수결 투표 수준으로 근접하게 하락하며, 이는 구조적 일관성과 신뢰도 사이의 시너지가 필수적임을 확인시켜 준다.

의의 및 주장

본 논문은 합의란 단순히 수를 세는 것이 아님을 주장한다. 추론 경로 간의 상호 지원을 모델링함으로써, CoRE는 취약한 투표 메커니즘을 정교하게 교정된 등급화된 자기 지도 보상 신호로 변환한다.

메커니즘: 이 방법은 투표수로는 놓칠 수 있는 "작지만 일관되고 자신감 있는 정답 그룹"으로부터 감독 신호를 복구함으로써 성공한다.
운영 영역(Operating Regimes): 이득은 코러스(correct) 소수가 다수파는 아니지만 일관된 상태로 존재하는 "중간 영역"에 집중된다. "포화" 영역(거의 만장일치의 정답)이나 "역량 하한" 영역(무작위 추측)에서는 CoRE가 자연스럽게 다수결 투표와 유사하게 동작하거나 퇴화하여 노이즈에 대한 과적합을 방지한다.
자기 지도 학습: 롤아웃을 독립적인 샘플이 아닌 그래프로 취급하는 것이 더 밀도 높은 훈련 신호를 제공하여, 의사 레이블의 품질과 정책 업데이트의 효율성을 모두 개선함을 보여준다.

저자들은 CoRE가 자기 지도 RL의 실질적인 구성 요소로서, 외부 감독 없이도 테스트 타임 적응 시 발생하는 불일치 문제를 다루는 원칙적인 방법을 제시한다고 결론짓는다.