기술 요약: 자동 루브릭을 보상으로 활용 (ARR)

문제 제기

다중 모달 생성 모델을 인간의 선호도와 정렬시키는 작업은 현재 주류인 인간 피드백 기반 강화학습 (RLHF) 접근법의 한계로 인해 방해받고 있습니다. 기존 방법들은 인간 판단의 풍부하고 다차원적인 구조 (미적 요소, 의미론적 충실도, 맥락 등을 포괄) 를 불투명한 스칼라 점수나 쌍별 레이블로 축소하는 경향이 있습니다. 이러한 환원주의적 접근법은 인간 기준의 해석 가능성을 폐기하여, 보상 해킹과 체계적인 평가 편향 (예: 순서에 따라 품질이 아닌 순서 자체를 선호하는 위치 편향) 에 취약한 '얽힌' 표현을 생성합니다.

최근 '보상으로서의 루브릭 (Rubrics-as-Reward, RaR)' 방법들은 명시적 기준을 통해 구조를 재도입하려 시도하지만, 종종 고정된, 감독된, 또는 수동으로 제작된 루브릭에 의존합니다. 이는 특히 복잡한 다중 모달 생성 설정으로 확장될 때 확장성, 프롬프트 특이성, 데이터 효율성을 제한합니다. 본 논문은 다중 모달 정렬의 핵심 병목 현상이 대규모 비전 - 언어 모델 (VLM) 내의 선호도 지식 부족이 아니라, 그 지식을 적용할 안정적이고 분해된 인터페이스의 부재라고 주장합니다.

방법론

저자들은 자동 루브릭을 보상으로 활용 (ARR) 프레임워크와 이를 생성 정렬에 활용하는 훈련 알고리즘인 **루브릭 정책 최적화 (RPO)**를 제안합니다. ARR 은 암묵적 선호도 지식을 명시적이고 인스턴스 조건부인 루브릭으로 외부화하며, RPO 는 이러한 루브릭을 활용합니다.

1. 자동 루브릭을 보상으로 활용 (ARR)

ARR 은 암묵적 가중치 최적화에서 명시적, 기준 기반 분해로 보상 모델링을 재정의합니다. 훈련이 불필요한 생성 - 검증 - 정제 파이프라인을 통해 작동합니다:

• 루브릭 생성: 선호도 쌍 (프롬프트 $x$, 선호 이미지 $y^+$, 비선호 이미지 $y^-$) 이 주어지면, VLM 이 $y^+$가 선호되는 이유를 설명하는 자연어 루브릭 $r_i$를 생성합니다.
• 검증 및 정제: 별도의 검증 단계에서 생성된 루브릭이 원래 선호도 레이블을 일관되게 지지하는지 확인합니다. 검증이 실패하면 루브릭은 최대 시도 횟수 ($T_{max}$) 까지 반복적으로 정제됩니다. 정제 후에도 실패하는 루브릭은 폐기됩니다.
• 계층적 구조화: 검증된 인스턴스별 루브릭은 LLM 에 의해 단일의 계층적으로 조직화된 루브릭 ($R_{structured}$) 으로 통합됩니다. 이 구조화된 루브릭은 구성, 조명, 질감 등 의미론적 세분성별로 기준을 그룹화하며, 심사자의 시스템 프롬프트로 기능합니다.
• 보상 신호: 스칼라 회귀 대신, VLM 심사자는 $R_{structured}$를 사용하여 이진 선호도 결정을 내립니다. 선호된 출력은 양의 상수 보상 ($+\lambda$) 을 받고, 비선호된 출력은 음의 상수 ($-\gamma$) 를 받습니다.

2. 루브릭 정책 최적화 (RPO)

RPO 는 ARR 의 구조화된 평가를 생성 훈련 루프에 직접 통합하도록 설계된 온라인 정책 최적화 알고리즘입니다.

• 메커니즘: 각 프롬프트에 대해 현재 정책 $\pi_\theta$는 두 개의 후보 궤적을 생성합니다. 구조화된 루브릭에 조건부인 고정된 ARR 심사자가 이를 평가하여 이진 선호도를 생성합니다.
• 목적: 승리한 궤적에는 $+\lambda$의 이득이, 패배한 궤적에는 $-\gamma$의 이득이 할당됩니다. 이 이득은 모든 생성 시간 단계에 걸쳐 균일하게 분배됩니다.
• 최적화: 정책은 KL 정규화가 포함된 PPO 스타일 목적 함수를 사용하여 업데이트됩니다. 루브릭을 보조 필터로 취급하는 이전 방법들과 달리, RPO 는 최적화 목적 함수를 루브릭 기반 이진 결정에 직접 조건부화하여 정책 기울기를 안정화하고 업데이트를 해석 가능한 품질 차원과 정렬시킵니다.

주요 기여

1. 자동 루브릭을 보상으로 활용 (ARR): 암묵적 인간 선호도를 인스턴스 조건부 해석 가능 루브릭으로 외부화하는 훈련 불필요 프레임워크입니다. 이는 소수의 주석 샘플만 필요로 하고 심사자 모델의 매개변수 업데이트가 없어도 확장 가능한 다중 모달 평가를 가능하게 하여 높은 데이터 효율성을 제공합니다.
2. 루브릭 정책 최적화 (RPO): 불투명한 스칼라 보상 신호를 구조화된, 기준 기반 비교로 대체하는 정책 최적화 프레임워크입니다. 이는 루브릭 조건부 판단을 최적화 목적 함수에 직접 통합하여 별도의 훈련 가능한 보상 모델이 필요 없게 합니다.
3. 인터페이스 병목 현상 진단: 제거 실험을 통해 저자들은 다중 모달 정렬의 주요 병목 현상이 지식 부족이 아니라 분해된 인터페이스의 부재임을 입증합니다. 루브릭의 품질은 기반 VLM 의 정렬 능력에 따라 확장되며, 모델 규모나 데이터 양을 늘리는 것보다 내재적 기준에 대한 깊은 이해가 견고성을 더 효과적으로 주도함을 보여줍니다.

실험 결과

저자들은 텍스트 - 이미지 (T2I) 생성 및 이미지 편집 벤치마크에서 ARR 과 RPO 를 평가했습니다.

• 평가 성능: HPDv3, MM-RewardBench2, EditReward-Bench 를 포함한 벤치마크에서 ARR 조건부 VLM 심사자 (예: Qwen3-VL, GPT-5, Gemini 3.1 Pro) 는 훈련된 스칼라 보상 모델과 직접 VLM 심사자 모두를 능가했습니다. ARR 은 선호도 정확도를 1.7~6.3 퍼센트 포인트 향상시켰습니다. 특히 ARR 은 위치 편향을 크게 감소시켜, 기본 모델에서 약 3034 점에 달하던 순방향 및 역방향 이미지 순서 간의 성능 격차를 인간이 안내하는 루브릭을 사용하면 **8.910.3 점**으로 축소했습니다.
• 생성 성능: RPO 를 통해 모델을 훈련할 때, 심사자의 미세 조정이나 대규모 보상 주석 없이도 상당한 향상을 거두었습니다.
  • 텍스트 - 이미지: GenEval 에서 성능이 0.66 에서 0.80으로 향상되었고, DPG-Bench 에서 83.84 에서 85.76으로 향상되었습니다.
  • 이미지 편집: GEdit-Bench 에서 점수가 7.54 에서 7.85로 향상되었습니다 (Qwen-Image-Edit-2509 기준).
• 일반화: 이 프레임워크는 강력한 제로샷 및 퓨샷 일반화를 보여주었습니다. 교차 모델 루브릭 전이 실험은 한 모델 계열에서 생성된 루브릭이 다른 모델의 심사자를 효과적으로 안내할 수 있음을 보여주었으며, 이는 루브릭 구조 자체가 견고성의 주역임을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 다중 모달 정렬의 '병목 현상'이 VLM 내 선호도 지식의 부족이 아니라 이를 적용할 안정적이고 분해된 인터페이스의 부재라고 주장합니다. 암묵적 선호도를 명시적이고 검증 가능한 루브릭으로 외부화함으로써 ARR-RPO 는 더 신뢰할 수 있고 데이터 효율적인 정렬을 달성합니다.

저자들은 이 접근법이 다음과 같음을 강조합니다:

• 보상 해킹 완화: 학습된 스칼라 대리자가 아닌 명시적이고 검사 가능한 기준에 기반한 감독을 통해 보상 해킹을 완화합니다.
• 해석 가능성 향상: 불투명한 최적화를 기준 정렬 개선으로 대체하여 평가자의 충실도를 생성 품질로 직접 이전할 수 있게 합니다.
• 심사자 미세 조정 불필요: 이 프레임워크는 고정된 VLM 으로 작동하므로 계산 효율적이고 확장 가능합니다.

핵심 통찰은 선호도 적용을 위한 구조화된 분해 인터페이스를 제공하는 것만으로도 평가 신뢰성과 생성 성능 모두에서 상당한 개선을 이끌어낼 수 있다는 점이며, 이는 더 큰 모델이나 더 많은 데이터가 더 나은 정렬을 위한 주요 요구 사항이라는 관념에 도전합니다.