기술 요약: AutoRubric-T2I

문제 정의

텍스트-이미지 (T2I) 생성 모델을 인간의 선호도에 정렬시키는 것은 현재 AI 연구의 핵심 목표입니다. 기존 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 중요한 한계를 지닙니다:

1. 학습된 스칼라 보상 모델: ImageReward, PickScore, HPSv2 와 같은 모델은 브래들리 - 테리 (Bradley-Terry) 목적 함수를 사용하여 대규모 인간 선호도 코퍼스로 학습됩니다. 전역 순위 결정에는 효과적이지만, 다차원적인 인간 선호도를 단일 불투명한 스칼라 점수로 압축합니다. 이러한 해석 불가능성은 "보상 해킹 (reward hacking)"에 취약하게 만듭니다. 즉, T2I 정책이 특정 의미론적 제약이나 프롬프트 세부 사항을 위반하면서 점수를 극대화하기 위해 밝기, 대비, 인간 중심 구성과 같은 피상적인 시각적 특징을 악용하는 경우입니다.
2. 비전 - 언어 모델 (VLM) 심판자: 이러한 모델은 텍스트 프롬프트나 평가 기준 (rubrics) 을 사용하여 이미지를 평가합니다. 세밀한 평가를 제공하지만, 그 기준은 일반적으로 수동으로 설계되거나 휴리스틱하게 생성됩니다. 결과적으로 이러한 판단은 실제 인간 선호도와 신뢰성 있게 상관관계를 맺지 못하며, 때로는 선호도 벤치마크에서 학습된 스칼라 모델보다 훨씬 낮은 성능을 보입니다.

핵심적인 과제는 비싼 밀집 스칼라 보상 모델의 학습 없이 인간 선호도와 정렬된 명시적이고 해석 가능한 평가 규칙 (rubrics) 을 자동으로 유도, 선택, 정제할 수 있는 프레임워크의 부재입니다.

방법론: AutoRubric-T2I

저자들은 오프더셸 (off-the-shelf) VLM 심판자를 안내하기 위해 이미지 선호도 데이터에서 직접 학습된 컴팩트하고 가중치가 부여된 자연어 평가 기준 집합을 제안합니다. 이 방법은 보상 모델을 미세 조정하는 대신, 어떤 평가 기준이 인간 선호도를 가장 잘 예측하는지에 초점을 맞춥니다.

핵심 공식화

이 문제는 무한 차원 공간에서의 **희소 로지스틱 회귀 (sparse logistic regression)**로 공식화됩니다.

• 평가 기준 점수 매기기: 주어진 프롬프트 $x$와 이미지 $y$에 대해 VLM 심판자 (예: Qwen3-VL, Gemini) 는 특정 평가 기준 $r_j$를 평가하여 "예" 응답의 확률을 나타내는 연속적인 스칼라 점수 $s(r_j, x, y)$를 출력합니다.
• 목적: 관찰된 인간 선호도 쌍 $(y_w, y_l)$을 가장 잘 설명하는 가중치 $w$와 $N$개의 평가 기준 집합 $\mathcal{R}$을 찾는 것입니다. 가중치 조합은 $s_{\mathcal{R},w}(x, y) = \sum w_j s(r_j, x, y)$로 정의됩니다.
• 최적화: 저자들은 $\ell_1$ 정규화 페널티를 subject 로 한 로지스틱 손실 함수를 최소화합니다. 이는 희소성을 장려하여 중복되거나 예측력이 약한 평가 기준을 효과적으로 제거하고, Top-$N$개의 가장 구별력 있는 규칙만 선택합니다.

반복적 정제 파이프라인

이 프레임워크는 커리큘럼 기반의 하드 페어 (hard-pair) 마이닝 전략을 갖춘 블록 좌표 하강법을 사용합니다:

1. 시드 생성: 다양성 인식 선택과 사고의 연쇄 (Chain-of-Thought, CoT) 프롬프팅을 사용하여 소규모 시드 데이터셋 (예: 256 개의 선호도 쌍) 에서 초기 후보 평가 기준 집합을 생성합니다. 이를 통해 객관적이고 재사용 가능한 규칙을 추출합니다.
2. 희소 선택: 시스템은 VLM 을 사용하여 훈련 쌍에 대한 모든 후보 평가 기준에 점수를 매깁니다. $\ell_1$ 정규화 로지스틱 회귀를 풀어 가중치를 할당하고 집합을 가지치기하여, 양의 가중치를 가진 Top-$N$개의 평가 기준만 유지합니다.
3. 실패 기반 정제: 시스템은 현재 평가 기준 집합이 잘못 순위 매긴 "하드 페어"를 식별합니다. 이를 다음과 같이 분류합니다:
   • 잘못된 - 작은 마진: 현재 규칙이 놓친 미묘한 차이.
   • 잘못된 - 큰 마진: 규칙이 인간 선호도와 모순되는 심각한 실패.
   • 높은 보상 - 잘못된: 두 이미지 모두 높은 점수를 받지만 순위가 잘못된 경우.
4. 평가 기준 확장: 이러한 하드 페어의 실패 진단에서 구체적으로 새로운 후보 평가 기준을 생성합니다. 이를 작업 집합에 추가하고 최적화 루프를 반복합니다. 이 과정은 $\ell_1$ 정제기가 컴팩트하고 가중치가 부여된 전역 집합을 유지하는 동안 평가 기준 공간을 반복적으로 확장합니다.

주요 기여

1. T2I 를 위한 희소 평가 기준 학습: AutoRubric-T2I 는 이미지 선호도 데이터에서 직접 T2I 보상 모델링을 위한 희소하고 가중치가 부여된 전역 자연어 평가 기준 집합을 학습하는 최초의 프레임워크입니다. 이를 통해 VLM 기반 보상 모델링을 미세 조정 없이 해석 가능하게 만듭니다.
2. 실패 기반 평가 기준 정제: 저자들은 평가 기준 선택을 $\ell_1$ 정규화 로지스틱 회귀 문제로 공식화하고 커리큘럼 버킷화 하드 페어 마이닝 알고리즘을 도입했습니다. 이를 통해 시스템은 특정 실패 모드를 표적으로 삼아 평가 기준 풀을 반복적으로 확장하고, 공간을 통계적으로 가지치기하여 가장 구별력 있는 규칙을 선택할 수 있습니다.
3. 강력한 선호도 예측 및 하류 정렬: 이 프레임워크는 도메인 외 벤치마크 (MMRB2) 에서 강력한 선호도 예측을 달성하며, Flow-GRPO 와 함께 보상 신호로 사용될 때 T2I 작업 (TIIF, UniGenBench++) 에 대한 하류 강화 미세 조정 (RFT) 을 개선합니다.

실험 결과

선호도 벤치마크 평가

• 도메인 외 성능: MMRB2 벤치마크에서 AutoRubric-T2I 는 제로샷 VLM 심판자와 기존 평가 기준 생성 베이스라인 (AutoRule, AutoRubric) 을 크게 능가합니다. 예를 들어, Qwen3-VL-8B 를 사용할 때 AutoRubric-T2I 는 HPSv3 데이터로 학습하여 **62.5%**의 정확도를 달성했습니다. 이는 직접적인 쌍별 VLM 베이스라인 (59.4%) 과 HPSv3(59.4%), UnifiedReward(59.8%) 와 같은 미세 조정된 스칼라 모델을 능가합니다.
• 도메인 내 성능: 도메인 내 테스트 세트 (PickScore, HPSv3) 에서는 해당 분포에 직접 학습된 미세 조정된 스칼라 모델이 여전히 경쟁력을 유지하지만, AutoRubric-T2I 는 VLM 을 업데이트하거나 밀집 보상 모델을 학습하지 않더라도 매우 경쟁력 있는 성능을 보입니다.

하류 T2I 강화 학습

• RL 미세 조정: Flow-GRPO 를 사용하여 SD-3.5-Medium 을 미세 조정하는 보상 신호로 사용할 때, AutoRubric-T2I 는 스칼라 보상 모델 및 일반적 평가 기준 베이스라인보다 일관되게 생성 품질을 향상시킵니다.
• 세부적 개선: TIIF 및 UniGenBench++ 벤치마크에서 이 방법은 추론, 관계 구성, 레이아웃, 텍스트 생성과 같은 세밀한 카테고리에서 더 강력한 개선을 보여줍니다. 이는 불투명한 스칼라 보상보다 명시적인 평가 기준이 더 표적화된 피드백을 제공함을 시사합니다.
• 인간 평가: 30 명의 주석가가 참여한 4-way 인간 평가에서 AutoRubric-T2I 로 최적화된 정책이 생성한 이미지는 **44.8%**의 빈도로 선호되었으며, 무작위 베이스라인 (25%) 및 기타 최적화 방법을 크게 능가했습니다.

효율성 및 비용

• 데이터 효율성: 이 프레임워크는 시드 생성 및 정제를 위해 256 개의 주석 선호도 쌍만 필요로 하며, 이는 표준 보상 모델 학습에 필요한 데이터의 일부 (<0.01%) 에 불과합니다.
• 학습 비용: 경사 기반 보상 모델 학습의 필요성을 제거합니다. 정제 단계는 4 개의 A6000 GPU 에서 약 2~4 시간이 소요됩니다.
• 해석 가능성: 스칼라 모델과 달리, 최종 보상은 학습된 가중치를 가진 명시적이고 인간이 읽을 수 있는 규칙으로 분해되어 감사 가능성과 보상 해킹 진단을 가능하게 합니다.

중요성 및 주장

이 논문은 AutoRubric-T2I 가 견고한 T2I 정렬을 위한 스칼라 보상 모델에 대한 실용적이고 해석 가능한 대안을 제공한다고 주장합니다. 불투명한 스칼라 보상을 인간 선호도에서 유도된 명시적 규칙의 가중 집합으로 대체함으로써, 이 프레임워크는 다음과 같은 이점을 제공합니다:

• 보상 해킹 완화: 특정 의미론적 및 구조적 제약 준수를 강제함으로써 T2I 정책이 피상적인 시각적 프록시를 악용하는 것을 방지합니다.
• 자원 장벽 감소: 보상 모델링과 관련된 데이터 및 계산 비용을 획기적으로 낮춰 대규모 주석 파이프라인 없이도 고품질 선호도 정렬을 가능하게 합니다.
• 투명성 강화: T2I 최적화를 주도하는 기준을 검사하고 감사할 수 있는 메커니즘을 제공하여 편향의 진단 및 수정을 용이하게 합니다.

저자들은 이 작업을 신경망의 매개변수가 아닌 규칙의 선택과 가중치에 지능이 있는 "학습 없는 (training-free)" 보상 모델링을 향한 한 걸음으로 위치시킵니다. 이는 규칙 기반 시스템의 해석 가능성과 학습된 모델의 적응성 사이의 간극을 메우는 역할을 합니다.