기술 요약: DyCoRM: 텍스트-이미지 생성을 위한 동적 기준 인식 보상 모델링

1. 문제 제기

텍스트-이미지 (T2I) 생성 모델은 고품질 이미지를 생성하는 데 크게 진전되었으나, 사용자 요구는 구체적인 작업 관련 요구 사항을 충족하는 출력으로 변화하고 있습니다. 기존 보상 모델 및 평가 프레임워크는 주로 정적이며 사전 정의된 차원이나 집계된 선호 신호에 의존합니다. 이러한 접근 방식은 프롬프트, 이미지 쌍, 의도된 사용 사례 (예: 디자인 작업에서는 텍스트 가독성 우선, 스토리텔링에서는 감정적 톤 우선) 에 따라 평가 기준이 크게 달라지는 사용자 판단의 동적 특성에 적응하지 못합니다.

식별된 핵심 과제는 현재 모델이 평가를 두 가지 명확한 단계로 분해하지 못한다는 점입니다: (1) 프롬프트 - 이미지 컨텍스트에서 작업 관련 기준을 추론하는 단계와 (2) 해당 특정 기준에 조건부 이미지 선호도를 모델링하는 단계입니다. 결과적으로 기존 모델은 서로 다른 작업이 서로 다른 평가 기준을 요구할 때 이미지의 올바른 측면을 우선시하는 데 어려움을 겪습니다.

2. 방법론

2.1 데이터 구축: DyCoDataset-20K 및 DyCoBench-1K

동적이고 기준 인식적인 모델링을 가능하게 하기 위해 저자들은 새로운 데이터셋과 벤치마크를 구축했습니다:

• DyCoDataset-20K: 4,876 개의 프롬프트, 23,378 개의 이미지 쌍, 94,572 개의 세밀한 기준으로 구성된 데이터셋입니다. 구축 파이프라인은 다음과 같습니다:
  • 프롬프트 생성: 복잡성을 변화시키기 위해 6 가지 구성 요소 (주제, 외관, 장면, 동작, 형식, 렌더링) 로 제어된 다양한 프롬프트를 생성하기 위해 GPT-4o 사용.
  • 이미지 획득: 다양한 비교를 보장하기 위해 14 개 모델 (독점 및 오픈 소스 포함) 풀에서 프롬프트당 5~6 개의 이미지를 생성.
  • 인간 주석: 주석자가 먼저 특정 프롬프트 - 이미지 쌍과 관련된 세밀한 기준을 수립한 다음, 각 최종화된 기준 하에서 쌍별 비교를 수행하는 2 단계 프로토콜. 주석자 70% 이상이 동의할 때만 레이블이 유지됩니다.
• DyCoBench-1K: 데이터셋에서 파생된 선별된 벤치마크로, 192 개의 프롬프트와 822 개의 이미지 쌍을 포함합니다. 이는 선택된 기준에 따라 승자가 변하는 선호도 반전 사례를 포함하여 동적 평가 능력을 테스트하도록 설계되었습니다.

2.2 모델 아키텍처: DyCoRM

DyCoRM 은 2 단계 보상 모델링 프레임워크입니다:

• 1 단계: 기준 정합 (Criterion Grounding): 모델은 프롬프트와 이미지 쌍을 입력으로 받아 작업 관련 세밀한 기준 집합 ($C = \{c_1, c_2, ..., c_M\}$) 을 생성합니다. 이는 인간이 주석한 기준에 대한 교차 엔트로피 손실을 사용하여 자기회귀 시퀀스 생성 작업으로 훈련됩니다.
• 2 단계: 기준 조건부 보상 학습: 프롬프트, 이미지 쌍, 그리고 특정 기준 (또는 기준 집합) 이 주어지면 모델은 이미지 간의 선호도를 예측합니다. 저자들은 포인트별 (pointwise) 및 쌍별 (pairwise) 손실 함수를 모두 조사했으며, 쌍별 손실이 일관되게 더 나은 성능을 낸다는 것을 발견했습니다. 모델은 지정된 조건 하에서 어떤 이미지가 선호되는지를 나타내는 확률을 출력하도록 학습합니다.

2.3 적용: DyCoPick

DyCoPick 은 보상 모델링 프레임워크를 생성 선택 단계로 확장합니다. 세 단계로 작동합니다:

1. 후보 생성: 여러 T2I 모델이 주어진 프롬프트에 대한 후보를 생성합니다.
2. 기준 해석: 사용자가 기준을 제공하면 이를 사용하며, 그렇지 않으면 시스템이 프롬프트와 후보에서 작업 관련 기준을 자동으로 도출합니다.
3. 기준별 선택: DyCoRM 은 각 기준 하에서 후보 간 쌍별 비교를 수행하여 개인화된 선호도 정렬을 위한 최상의 출력을 선택합니다.

3. 주요 기여

1. DyCoRM 프레임워크: 평가를 기준 정합과 기준 조건부 선호도 학습으로 명시적으로 분해하여 모델이 다양한 작업 요구 사항에 맞춰 판단을 적응시킬 수 있게 하는 최초의 보상 모델링 프레임워크.
2. DyCoDataset-20K 및 DyCoBench-1K: 동적이고 세밀한 기준을 가진 대규모 데이터셋과 정적 전체 선호도 레이블을 넘어 동적, 기준별 판단 하에서 보상 모델을 평가하도록 특별히 설계된 벤치마크의 구축.
3. DyCoPick: 동적이고 기준 인식적인 보상 모델링이 개인화된 출력 선택을 위해 T2I 생성 파이프라인에 통합될 수 있음을 보여주는 실용적 응용 사례.

4. 실험 결과

저자들은 DyCoBench-1K 와 네 가지 교차 도메인 벤치마크 (ImageReward, Pick-a-Pic, HPDv2, HPDv3) 에서 DyCoRM 을 평가했습니다.

• DyCoBench-1K 성능: DyCoRM 은 단일 기준, 다중 기준, 그리고 전체 선호도 설정에서 전문 T2I 보상 모델 (예: HPSv3, ImageReward) 과 일반 대규모 멀티모달 모델 (LMM) 모두를 크게 능가했습니다. 예를 들어, 전체 선호도 설정에서 DyCoRM 은 다음 최상위 베이스라인 (HPSv3) 의 0.732 에 비해 정확도 0.791(Cohen's Kappa 0.772) 을 달성했습니다.
• 일반화: 교차 도메인 벤치마크에서 DyCoRM 은 경쟁력 있는 성능을 유지하며, 동적 기준에 대한 훈련이 표준 전체 선호도 평가 작업으로 일반화됨을 보여주었습니다.
• 동적 능력: 분석 결과, DyCoRM 의 성능은 다양한 작업 난이도와 기준 수에 걸쳐 견고하게 유지되어 고정된 휴리스틱에 의존하기보다는 변화하는 평가 조건에 적응함을 나타냈습니다.
• 인간 연구 (DyCoPick): 다른 보상 모델을 선택기로 비교하는 인간 연구에서 DyCoPick 은 모든 설정 (전체, 단일 기준, 다중 기준) 에서 선호되었으며, 특히 기준별 평가에서 매우 강력한 우위를 보였습니다.

5. 중요성 및 주장

이 논문은 T2I 생성 분야에서 동적이고 세밀한 평가를 위한 최초의 보상 모델링 프레임워크를 확립했다고 주장합니다. 정적 선호도 예측에서 동적이고 기준 인식적인 평가로 패러다임을 전환함으로써, 이 연구는 특정 사용자 요구 사항에 적응하지 못하는 현재 모델의 한계를 해결합니다. 저자들은 이 접근 방식이 생성된 출력과 사용자 의도 간의 더 정확한 정렬을 가능하게 하여 오프라인 평가와 실제 생성 시간 선택 간의 격차를 해소한다고 봅니다. 이 연구는 동적 기준 수집이 정적 선호도 레이블링보다 비용이 더 많이 들지만, 결과적으로 생성된 데이터셋과 프레임워크가 차세대 개인화 T2I 시스템에 필요한 기초를 제공한다고 강조합니다.