기술 요약: ARCO (Adaptive Rubric CO-evolution)

문제 정의

멀티홉 질의응답(QA) 등에 사용되는 멀티스텝 대규모 언어 모델(LLM) 에이전트를 위한 강화 학습(RL)은 일반적으로 스칼라 보상에 의존합니다. 이러한 보상은 대개 결과 기반(궤적 수준의 이진 성공/실패)이거나 과정 기반(단계별로 불투명한 스칼라 점수)입니다.

• 결과 보상은 세밀한 크레딧 할당(credit assignment)을 제공하지 못하여, 운 좋게 맞춘 것인지 체계적인 탐색 과정을 거친 것인지 구분하기 어렵게 만듭니다.
• 과정 보상은 세밀함은 개선되지만, 여전히 "블랙박스"로 남아 특정 단계가 왜 좋았는지 혹은 나빴는지에 대한 설명을 제공하지 못합니다.
• 기존의 루브릭(rubric) 기반 방법들은 자연어 기준을 사용하여 해석 가능성을 높이려 시도합니다. 그러나 이들은 두 가지 결정적인 한계점을 가집니다:
  1. 궤적 수준의 스코어링: 전체 롤아웃(rollout)에 단일 점수를 부여하므로, 단계별 크레딧 할당 문제를 해결하지 못합니다.
  2. 정적인 판사(Static judges): 고정된 폐쇄형 LLM(예: GPT-4)을 외부 판사로 사용합니다. 루브릭 텍스트는 업데이트될 수 있지만, 판사의 파라미터는 정적이기 때문에 스코어링 함수가 에이전트의 진화하는 실패 모드에 맞춰 적응하는 것을 방지합니다.

방법론: ARCO

저자들은 평가 기준(루브릭)과 스코어링 함수가 동일한 규모의 오픈 소스 모델을 사용하여 파라미터 수준에서 정책과 함께 공동 진화(co-evolve)하는 프레임워크인 **ARCO (Adaptive Rubric CO-evolution)**를 제안합니다.

1. 계층적 루브릭 모델 ($\mu$)

ARCO는 정책 $\pi$와 백본 $f_\theta$를 공유하는 단일 학습 가능 모델 $\mu$ 내에 루브릭 생성과 스코어링을 모두 구현합니다. 이 모델은 두 개의 경량 헤드를 갖습니다:

• 생성 헤드 (High-level): 궤적 접두사(prefix) $h_t$와 액션 $a_t$가 주어지면, 순서가 있는 $K$개의 자연어 기준 집합 $r_t = (c_{t,1}, \dots, c_{t,K})$를 생성합니다. 이 기준들은 작업의 단계(예: 초기 검색 시의 엔티티 타겟팅 vs 최종 단계의 답변 근거 제시)에 따라 적응하는 문맥 특이적(context-specific) 형태를 띱니다.
• 스코어 헤드 (Low-level): 동일한 상태-액션 문맥과 생성된 기준 $r_t$를 입력으로 받습니다. 이는 $K$ 차원의 차원별 점수 $d_t \in [-1, 1]^K$를 생성하며, 이들의 평균을 통해 단계별 보상 $s_t$를 형성합니다.

2. 공동 진화 학습 (Co-Evolutionary Training)

이 프레임워크는 온-폴리시(on-policy) 데이터 상에서 작동하며, 정책 $\pi$와 루브릭 모델 $\mu$를 공동으로 업데이트합니다:

• 지도 학습 웜업 (Supervised Warmup): RL 이전에, 폐쇄형 텍거가 궤적에 루브릭과 점수를 주석(annotation)합니다. 정책은 성공적인 궤적에 대한 지도 미세 조정(SFT)을 통해 초기화되며, $\mu$는 궤적 분해 제약 조건을 만족하는 기준을 생성하고 점수를 예측하도록 초기화됩니다.
• RL 루프:
  • 정책 업데이트 ($\pi$): 정책은 현재 $\mu$가 예측한 단계별 점수 $s_t$로부터 유도된 reward-to-go advantage를 사용하여 업데이트됩니다. 분산을 줄이기 위해 포지션 버킷 기반 베이스라인(position-bucketed baseline)이 사용됩니다.
  • 루브릭 모델 업데이트 ($\mu$): 모델은 궤적 분해 제약 조건을 사용하여 업데이트됩니다. 예측된 단계별 점수의 합은 최종 이진 결과인 $R(\tau)$와 같아야 합니다:
    $$\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$$
    이를 통해 $\mu$는 골드 단계 레이블 없이도 궤적 분해 제약을 통해 단계별 크레딧 할당을 학습할 수 있으며, KL 항은 생성된 루브릭이 웜업 분포와 일관성을 유지하도록 합니다.

3. 주요 설계 선택 사항

• 공유 백본 (Shared Backbone): 생성 및 스코어링 헤드는 파라미터를 공유합니다. 이는 기준들이 스코어링에 사용되는 것과 동일한 표현 공간(representation space)에서 작성되도록 보장하며, 분해 목적 함수로부터의 그래디언트가 두 단계 모두의 특징을 형성하도록 합니다.
• 동일 규모 오픈 소스 (Same-Scale Open Source): ARCO는 에이전트와 평가자 모두에 동일한 규모의 오픈 소스 모델(예: Qwen3-4B, Llama-3.2-3B)을 사용하여 외부 폐쇄형 판사에 대한 의존성을 제거합니다.

핵심 기여

1. 적응형, 단계별 루브릭 프레임워크: ARCO는 루브릭 텍스트와 스코어링 함수가 파라미터 수준에서 정책과 함께 공동 진화하는 프로세스 보상 프레임워크를 도입하여, 고정된 폐쇄형 판사의 필요성을 제거합니다.
2. 분해를 포함한 계층적 모델: 저자들은 문맥 특이적 기준을 생성하고 그 기준에 따라 액션을 스코어링하는 모델을 설계했습니다. 궤적 분해 제약을 강제함으로써, 모델은 오직 최종 결과만을 바탕으로 개별 단계에 대한 크레딧을 할당하는 법을 배웁니다.
3. 실증적 검증: 멀티홉 QA 벤치마크에 대한 광범적인 실험을 통해 ARCO가 강력한 베이스라인들을 능가함을 입증하였으며, 분석을 통해 생성된 루브릭이 단계별로 특화되어 있고, 견고하며, 에이전트 행동을 진단하는 데 유용함을 확인했습니다.

실험 결과

저자들은 두 가지 오픈 소스 백본(Qwen3-4B 및 Llama-3.2-3B)을 사용하여 세 가지 멀티홉 QA 벤치마크(HotpotQA, 2WikiMultiHopQA, MuSiQue)에서 ARCO를 평가했습니다.

• 성능: ARCO는 모든 6가지 구성(데이터셋, 백본)에서 가장 높은 Exact Match(EM) 점수를 달고 기록했으며, 6개 중 5개 구성에서 최고의 F1 점수를 기록했습니다. ARCO는 다음 모델들을 지속적으로 능가했습니다:
  • 결과 보상 모델 (ORMs): 이진 보상 방식(Search-R1, R1-Searcher) 및 고정된 판사를 사용하는 루브릭 기반 ORM(RaR, CARMO, RLER)을 포함합니다.
  • 과정 보상 모델 (PRMs): 불투명한 스칼라 단계 값을 사용하는 AgentPRM을 포함합니다.
• 절제 연구 (Ablation Studies):
  • 루브릭 텍스트 생성을 제거했을 때("w/o Rubric") 성능이 크게 하락하여, 루브릭이 단순한 장식이 아니라 필수적인 의미적 구조를 제공함을 확인했습니다.
  • 고정된 데이터셋 수준의 기준을 사용했을 때("w/o Adaptive") 적응형 생성보다 성능이 낮게 나타나, 고정된 기준은 진화하는 실패 모드를 추적할 수 없음을 보여주었습니다.
  • 궤적 접두사 없이 질문/액션에만 루브릭을 조건화했을 때("w/o Prefix") 정답률이 감소하여, 전체 문맥의 중요성을 보여주었습니다.
• 루브릭 품질: 진단 테스트 결과, ARCO의 루브릭은 매우 높은 액션 결합성(특정 액션을 식별하는 정확도가 42~55%로 우연 확률보다 훨씬 높음)을 보였으며, 특이성(specificity) 측면에서도 높은 평가(약 4.0/5.0)를 받았습니다.
• 민감도: 기준의 개수($K$)에 민-감한 것으로 나타났습니다. $K=3$일 때 최적의 성능을 보였으며, $K$ 값이 더 높아지면 점수 향상 없이 중복성만 발생했습니다.

의의 및 주장

본 논문은 ARCO가 정적이고 불투명한 보상 모델링에서 적응형, 해석 가능하며, 공동 진화하는 보상 시스템으로의 전환을 나타낸다고 주장합니다.

• 해석 가능성: 매 단계마다 자연어 기준을 생성함으로써, ARCO는 액션에 보상을 주거나 벌칙을 주는 이유를 설명하는 "읽을 수 있는" 신호를 제공하여 에이전트 행동의 진단을 돕습니다.
• 적응성: 고정된 판사를 사용하는 방법들과 달리, ARCO의 평가자는 정책과 함께 진화합니다. 에이전트가 특정 오류를 피하는 법을 배우면, 루브릭 모델도 더 미세한 실패 모드(예: 잘못된 엔티티 타겟팅 또는 중복된 검색)를 식별하도록 적응합니다.
• 효율성 및 접근성: 에이전트와 평가자에 동일한 규모의 오픈 소스 모델을 사용함으로써, ARCO는 높은 성능을 유지하면서도 폐쇄형 API에 대한 비용과 의존성을 피합니다.

저자들은 ARCO가 언어 에이전트를 위한 해석 가능한 프로세스 보상 학습 시스템을 구축하는 기초를 제공하며, 외부 판사 없이도 희소한 결과 보상을 조밀하고 단계 인지적인 신호로 바꿀 수 있다고 결론짓습니다.