기술 요약: Crayotter 및 그룹 상대적 선호도 역전파 (GRPB)

1. 문제 정의

장기 호흡(long-horizon) 비디오 편집 에이전트는 피드백으로부터 학습하는 데 있어 근본적인 과제에 직면해 있습니다: 최종 결과물의 품질은 주관적이며, 여러 가지 유효한 솔루션을 허용하고, 일련의 상호 의존적인 결정(소스 분석, 클립 검색, 타임라인 구축, 렌더링, 수정) 후에만 관찰 가능하기 때문입니다.

기존 방식들은 두 가지 주요 문제로 인해 어려움을 겪습니다:

1. 모호한 글로벌 목적 함수: 전역 스칼라 보상은 편집 작업에 부적합합니다. 왜냐하면 품질 차원(서사적 연속성, 페이싱, 스타일적 충실도)은 작업과 심사위원에 따라 달라지기 때문입니다. 절대적인 점수는 제품의 품질, 작업 난이도, 심사위원의 척도 변화를 뒤섞어 놓아, 작업 간 교정(cross-task calibration)을 무의미하게 만듭니다.
2. 지연되고 분산된 크레딧 할당: 실행 궤적(execution traces)은 도구 완료 및 아티팩트 유효성에 대한 검증 가능한 피드백을 제공하지만, 의미론적 선택이나 서사적 품질은 포착하지 못합니다. 이러한 품질은 렌더링 후에만 관찰될 수 있습니다. 표준 강화 학습(RL) 방법은 노이즈나 편향을 도입하지 않고, 최종 제품 판단으로부터 특정 초기 단계의 편집 결정으로 크레딧을 할당하는 데 어려움을 겪습니다.

기존 방법들은 외부적으로 검증 가능한 종단 조건(편집에는 이러한 조건이 없음)에 의존하거나, 단일 궤적 수준의 어드밴티지를 모든 행동에 방송(broadcast)하여, 결과의 원인이 된 특정 의미론적 세그먼트에 크레딧을 국지화하는 데 실패합니다.

2. 방법론: 그룹 상대적 선호도 역전파 (GRPB)

저자들은 GRPB를 소개합니다. 이는 주관적이고 지연된 결과를 구조화된 작업 국지적 선호도 학습으로 변환하는 프레임워크입니다. 이 방법은 분절된 궤적, 렌더링된 결과물, 프로세스 진단을 제공하는 Crayotter 편집 환경 내에서 작동합니다.

핵심 메커니즘

GRPB는 학습 문제를 세 가지 별개의 단계로 분해합니다:

A. 작업 국지적 선호도 구축 (Task-Local Preference Construction)
전역 품질 점수를 회귀하는 대신, GRPB는 동일한 요청, 재료, 목표 지속 시간 및 제약 조건을 가진 롤아웃의 그룹($G_q$)을 샘플링합니다. 멀티모달 심사위원이 이 최종 비디오들을 순위 매깁니다($J_k$).

• 제로섬 순위 어드밴티지 (Zero-Sum Rank Advantage): 심사위원 점수는 그룹 내에서의 쌍체 승/패 어드밴티지($A^{rank}_k$)로 변환됩니다. 이 통계량은 제로섬($\sum A^{rank}_k = 0$)이며 $[-1, 1]$ 범위에 존재하므로, 점수 오프셋, 스케일 변화 및 작업 간 교정으로부터 불변합니다.

B. 지연된 세그먼트 할당 (Lagged Segment Allocation)
핵 핵심 혁신은 궤적 수준의 선호도를 특정 편집 세그먼트(편집 단계 레이블을 공유하는 연속된 이벤트)로 매핑하는 것입니다.

• 희소 브래들리-테리 할당기 (Sparse Bradley-Terry Allocator): 희소 선형 모델이 롤아웃의 유틸리티를 세그먼트 특징 벡터의 평균($\hat{z}_k = w^\top \bar{f}_k$)을 기반으로 예측합니다. 가중치 $w$는 그룹 내 순위에 대한 브래들리-테리 손실을 최소화하도록 훈련됩니다.
• 지연 업데이트 (Lagged Update): 결정적으로, 할당기는 현재 배치를 관찰하기 전에 동결된 가중치($w^-$)를 사용합니다. 정책 크레딧은 $w^-$를 사용하여 계산되며, 그 후에 $w$가 업데이트됩니다. 이는 모델이 현재 레이블을 암기하고 이를 동일한 배치에 대한 크레딧으로 즉시 반환하는 것을 방지합니다.
• 신뢰성 게이팅 (Reliability Gating): 초기 할당기 추정치는 웜업 관찰 및 정확도에 기반한 신뢰성 계수에 의해 게이팅됩니다. 할당기가 충분한 예측 정확도를 입증할 때까지 크레딧 할당은 비활성화됩니다.

C. 유계 크레딧 재분배 (Bounded Credit Redistribution)
제로섬 순위 어드밴티지는 엄격한 제약 조건이 있는 "워터 필링(water-filling)" 알고리즘을 사용하여 세그먼트에 재분배됩니다:

• 부호가 있는 캡 적용 할당 (Signed Capped Allocation): 양(+)의 예산은 높은 점수를 받은 세그먼트를 우대하고, 음(-)의 예산은 낮은 점수를 받은 세그먼트를 벌칙을 부여합니다. 세그먼트당 절대 캡($C$)을 설정하여 단일 세그먼트가 전체 예산을 흡수하는 것을 방지합니다.
• 정확한 보존 (Exact Conservation): 할당된 크레딧의 합은 롤아웃의 순위 어드밴티지 예산과 정확히 일치합니다 ($\sum c_{k,m} = b_k$).
• 의미론적 배치 (Semantic Placement): 크레딧은 토큰 수에 따라 분배되는 것이 아니라, 의미론적 세그먼트의 최종 훈련 가능 위치에 할당됩니다. 이를 통해 긴 언어 구간이 불균형하게 많은 선호도 질량을 받는 것을 방지합니다.

D. 정책 최적화 (Policy Optimization)
할당된 세그민트 크레딧은 세그먼트 엔드포인트의 프로세스 보상에 더해집니다. 정책은 학습된 가치 베이스라인을 활용하여 GAE(Generalized Advantage Estimation)와 함께 PPO를 사용하여 최적화됩니다. 모든 행동에 궤적 수준의 스칼라를 공유하는 GRPO와 달리, GRPB는 그룹을 오직 예산을 구성하기 위해서만 사용하며, 크리틱(critic)과 GAE는 국지화된 세그먼트 보상에서 파생된 단계별 어드밴티지를 처리합니다.

3. 주요 기여

1. 정식화: 본 논문은 장기 호흡 비디오 편집을 작업 국지적 아티팩트 선호도 크레딧 할당 문제로 정식화하여, 검증 가능한 프로세스 피드백과 주관적인 최종 제품 평가를 분리합니다.
2. 알고리즘 (GRPB): 제로섬 작업 내 순위 어드밴티지와 지연되고 신뢰성 게이팅이 적용된 캡형 세그먼트 할당기를 결합한 새로운 방법을 제시합니다. 이는 정확한 리턴 보존을 보장하고 현재의 판단이 동일한 롤아웃 그룹을 직접 형성하는 것을 방지합니다.
3. 데이터셋 및 평가: 저자들은 데이터 누수를 방지하기 위해 프로젝트가 분리된(project-disjoint), 호흡 단계별로 층화된(horizon-stratified) 70개의 현실적인 편집 작업(일반 12개, 중간 12개, 장기 호흡 46개) 세트를 수동으로 구축했습니다.

4. 실험 결과

저자들은 GRPB로 훈련된 **9B 파라미터 모델(Crayotter)**을 여러 베이스라인 및 외부 벤치마크와 비교 평가했습니다.

• 매칭된 베이스라인 (AgenticVBench):
  • GRPB는 AgenticVBench에서 가장 높은 평균 점수(15.7%)를 기록하며, Process-PPO(13.7%)와 Terminal Rank PPO(12.0%)를 능가했습니다.
  • 특히, GRPB는 편집 작업과 매우 밀접하게 연관된 지표인 "Repurpose" 축에서 뛰어난 성능(23.0%)을 보였습니다.
  • 절제 연구(Ablation studies) 결과, 지연 메커니즘이나 신뢰성 안전장치를 제거하면 성능이 Process-PPO 미만으로 떨어졌으며, 이는 보호된 차별적 크레딧의 필요성을 확인시켜 줍니다.
• 크레딧 국지화 (Credit Localization):
  • 단일 세그먼트가 저하된 통제된 개입 실험에서, GRPB는 **20.8%**의 Top-1 국지화(저하된 세그먼트 식별) 및 **85.7%**의 쌍체 정확도(순서 결정)를 달 기록하여, 균등 할당(11.9%) 및 종단 방송(1.8%)을 크게 압도했습니다.
• 외부 벤치마킹:
  • 전체 AgenticVBench(100개의 분리된 작업)에서 Crayotter-9B는 나열된 시스템 중 3위를 차지했으며, 몇몇 독점적 대안들을 능가하고 Repurpose 작업에서는 Gemini 3.1 Pro와 대등한 수준을 보였습니다.
• 인간 평가:
  • 블라인드 인간 선호도 테스트에서 GRPB는 베이스 모델 대비 **34.2%**의 순 승률, Process-PPO 대비 **8.0%**의 순 승률을 기록하며 모든 상대 모델에 대해 양(+)의 순 승률을 달성했습니다.

5. 의의 및 주장

본 논문은 GRPB가 다단계 생산 작업에서 주관적이고 지연된 결과로부터 학습하는 실용적인 접근법을 제공한다고 주장합니다. 모호한 글로벌 점수를 제어된 작업 내 서열 비교로 변환하고, 지연된 할당기를 통해 크레딧을 국지화함으로써, 이 방법은 작업 간 점수 교정 없이도 에이전트가 편집 동작과 렌더링된 제품 품질 모두를 개선할 수 있게 합니다.

저자들은 이 연구가 다른 주관적, 다중 솔루션, 다단계 생산 작업의 토대가 될 수 있다고 위치시키며, 작업 국지적 비교와 보수적인 크레딧 할당이 최종 아티팩트 판단과 중간 정책 최적화 사이의 간극을 효과적으로 메울 수 있음을 입증했습니다. 결과물인 Crayotter 모델은 오픈 소스 에이전트가 복잡한 비디오 편집 영역에서 독점적 시스템과 경쟁하거나 때로는 능가할 수 있음을 보여줍니다.