When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On

이 논문은 이상적인 정답이 부재한 가상 의류 입기 (Virtual Try-On) 와 같은 작업에서 참조 기반 평가의 한계를 극복하기 위해, 정답 비교 대신 오류를 계수하고 심각도에 따라 가중치를 부여하는 '암시적 오류 계수 (IEC)' 방식을 제안하여 기존 평가 방법보다 우수한 성능을 입증했습니다.

핵심

이 논문은 "가상 의상 입기 (Virtual Try-On)" 기술을 더 똑똑하게 만들기 위해, 인공지능 (AI) 을 훈련시키는 새로운 방법을 제안한 연구입니다.

핵심 아이디어를 한 문장으로 요약하면 다음과 같습니다.

"완벽한 정답이 없는 세상에서는, '무엇이 잘되었는지'를 따지기보다 '무엇이 잘못되었는지'를 세어주는 것이 더 효과적이다."

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "완벽한 정답"이 없는 난감한 상황

가상 의상 입기 AI 에게 "이 옷을 입혀줘"라고 시켰을 때, AI 가 만들어낸 결과물은 천차만별일 수 있습니다.

• 옷이 몸에 잘 어울릴 수도 있고,
• 주름이 자연스럽게 잡힐 수도 있고,
• 반대로 옷이 비틀리거나, 팔이 사라지거나, 배경이 망가질 수도 있습니다.

기존의 AI 훈련 방식 (Rubrics as Rewards) 은 **선생님이 정한 '완벽한 정답 (Ideal Answer)'**을 기준으로 AI 의 답을 채점하는 방식이었습니다.

• 비유: 시험지 한 장에 '정답'이 딱 하나 있고, 그 정답과 비교해서 점수를 매기는 방식입니다.
• 한계: 하지만 가상 의상 입기는 정답이 하나뿐인 시험이 아닙니다. 옷이 살짝 다르게 드리우더라도 다 '정답'일 수 있습니다. 그런데 정답이 없는데 "이게 정답이다"라고 기준을 잡으려니 AI 가 혼란을 겪거나, 엉뚱한 부분만 맞추려고 하는 문제가 생깁니다.

2. 새로운 해결책: "실수 세기 (Error Counting)"

저자들은 이 문제를 해결하기 위해 **"실수를 찾아서 점수를 깎는 방식"**을 제안했습니다. 이를 **IEC(암시적 실수 세기)**라고 부릅니다.

🧐 비유: "요리 실수 찾기"

가상 의상 입기 AI 를 요리사라고 상상해 보세요.

• 기존 방식 (Rubrics): "이 요리는 정답 레시피와 90% 비슷하니까 A 학점!"이라고 정답 레시피를 대조하며 점수를 줍니다. (하지만 정답 레시피가 여러 개일 수 있으니 혼란스럽습니다.)
• 새로운 방식 (IEC): "이 요리를 먹어보니 소금기가 너무 많고 (실수 1), 채소가 타있고 (실수 2), 접시 가장자리에 기름이 묻었네 (실수 3). 총 3 개의 실수가 있으니 점수를 깎자."라고 실수만 찾아서 점수를 매깁니다.

왜 이게 더 잘될까요?

• 정답은 무한하지만, 실수는 유한합니다. "맛있는 요리"는 수천 가지가 될 수 있지만, "맛없는 요리"의 이유 (소금 과다, 타는 냄새 등) 는 비교적 명확하고 한정적입니다.
• 따라서 **"무엇이 잘못되었는지"**를 세는 것이 "무엇이 잘되었는지"를 찾는 것보다 훨씬 안정적이고 명확한 신호를 줍니다.

3. 핵심 기술: "암시적"으로 계산하는 이유

논문의 가장 중요한 발견 중 하나는 **"실수를 직접 말로 나열하면 안 된다"**는 것입니다.

• 나쁜 방법 (Explicit Error Counting): AI 에게 "소금 1 개, 타는 냄새 1 개"라고 직접 리스트를 작성하게 하면, AI 는 매번 다른 표현을 써서 (예: "소금 많음" vs "짜다") 점수가 들쑥날쑥해집니다. 마치 학생이 시험지마다 답안지 쓰는 스타일이 달라서 채점 기준이 흔들리는 것과 같습니다.
• 좋은 방법 (Implicit Error Counting - IEC): AI 에게 "실수를 직접 말하지 말고, 그 실수들을 머릿속에서 계산해서 최종 점수만 알려줘"라고 시킵니다.
  • 비유: 요리 평가자가 "소금 1 개, 타는 냄새 1 개"라고 말하지 않고, 그냥 **"이 요리는 60 점입니다"**라고만 말합니다. 평가자는 실수를 세어 점수로 변환하는 과정을 내부에서 처리하므로, 결과 점수가 훨씬 안정적입니다.

4. 실험 결과: "옷 입히기"에서 대활약

저자들은 이 방법을 가상 의상 입기 (Virtual Try-On) 에 적용해 보았습니다.

• 결과: 기존 방식 (정답 비교) 이나 단순 점수 매기기 방식보다, **실수를 세어 점수를 깎는 방식 (IEC)**이 훨씬 더 자연스럽고 오류가 적은 옷 입기 이미지를 만들어냈습니다.
• 특히 옷의 패턴이 흐트러지거나, 팔이 잘리는 등의 작은 실수를 잡아내는 데 탁월했습니다.

5. 결론: "완벽함"을 정의할 수 없다면, "불완전함"을 정의하라

이 논문의 교훈은 매우 간단합니다.

"우리가 이상적인 정답을 정의할 수 없는 복잡한 일 (옷 입히기, 로봇 조작, 창의적 글쓰기 등) 을 할 때는, '무엇이 좋은지'를 찾으려 애쓰지 말고, '무엇이 나쁜지'를 찾아서 제거하는 데 집중하세요."

마치 청소를 할 때, "집이 얼마나 깨끗한지"를 측정하는 것보다 "먼지나 쓰레기가 어디에 있는지"를 찾아서 치우는 것이 더 빠르고 확실한 청소 방법이 되는 것과 같은 원리입니다.

이 연구는 AI 가 더 똑똑하고 실수 없는 결과를 내기 위해, 실수를 세는 새로운 언어를 개발했다는 점에서 매우 의미 있습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 강화학습 (RL) 기반 생성 모델 후 학습 (Post-Training) 은 주로 검증 가능한 보상 (Verifiable Rewards) 또는 **기준 (Rubrics) 을 보상 (RaR)**으로 사용하는 방식에 의존합니다.

• 검증 가능한 보상: 수학, 코딩 등 정답이 명확한 분야에서 효과적입니다.
• 기준 (Rubrics) 을 보상 (RaR): 이상적인 참조 답변 (Ideal Reference Answer) 을 기반으로 구체적인 평가 기준을 생성하여 점수를 매기는 방식입니다.

하지만, 가상 의상 착용 (Virtual Try-On, VTO) 과 같은 많은 현실 세계 작업에서는 다음과 같은 한계가 존재합니다:

1. 단일 이상적 정답의 부재: 하나의 프롬프트에 대해 여러 가지 유효한 출력 (예: 다른 드레이핑, 조명, 세부 사항) 이 존재할 수 있어, 기준을 생성할 '이상적인 정답'이 없습니다.
2. 품질의 정의: 출력의 품질은 '특정 참조와 일치하는지'가 아니라 '오류가 없는지' (잘못된 색상, 끊어진 기하학적 구조, 정체성 이탈 등) 로 정의됩니다.
3. RaR 의 실패: 이상적인 참조가 없으면 생성된 기준 (Rubric) 은 너무 일반적이거나 특정 유효한 대안을 잘못 패널티하여 보상 신호가 왜곡됩니다.

이러한 참조 없는 (Reference-Free) 환경에서 안정적이고 효과적인 보상 신호를 어떻게 설계할지가 핵심 문제입니다.

2. 제안 방법론 (Methodology)

저자는 **암시적 오류 카운팅 (Implicit Error Counting, IEC)**이라는 새로운 보상 프레임워크를 제안합니다.

A. 핵심 아이디어: 오류 열거 (Error Enumeration)

"출력이 무엇을 잘했는지"가 아니라 "출력이 무엇을 잘못했는지"를 열거하여 점수를 매기는 방식을 취합니다. 오류의 공간은 유효한 완성 공간보다 작고 구조화되어 있어, 참조 없는 환경에서 더 안정적인 신호를 제공합니다.

B. IEC 의 주요 구성 요소

1. 암시적 점수 방출 (Implicit Score Emission):

   • 명시적 오류 카운팅 (EEC, Explicit Error Counting): 평가자가 오류 목록을 직접 나열하게 하면, 매우 유사한 출력이라도 평가자의 언어적 표현 차이로 인해 오류 개수가 달라지는 높은 분산 (High Variance) 문제가 발생합니다. 이는 RL 학습을 불안정하게 만듭니다.
   • IEC 해결책: 평가자 (Multimodal Judge) 에게 오류를 내부적으로 세게 하고, **보정된 점수 (Calibrated Score)**만 출력하게 합니다. 오류 요약은 해석 가능성 (Interpretability) 을 위해 제공되지만, 보상 계산에는 직접 사용되지 않습니다. 이는 표면적 표현의 변동에 강건합니다.

2. 그룹 보정 (Group Calibration):

   • 프롬프트의 난이도나 평가자의 스케일 차이로 인한 보상 크기의 변동을 줄이기 위해, 그룹 내 (한 번의 학습 스텝에서 생성된 여러 후보) 보상 벡터에 대해 **로버스트 통계 (Robust Statistics, Median, MAD)**를 사용하여 보정합니다. 이는 RL 업데이트 시 불필요한 분산을 제거합니다.

3. 적용 분야 (Virtual Try-On):

   • VTO 작업을 5 가지 평가 축 (의상 전이, 속성 보존, 사실성, 조명 일관성, 소스 무결성) 으로 정의하고, 각 축별로 IEC 점수를 계산하여 합산한 보상을 GRPO(Group Relative Policy Optimization) 에 적용합니다.

C. 평가 지표: 연쇄 오류 카운팅 (Cascaded Error Counting, CEC)

학습 중에는 IEC 를 사용하지만, 평가 시에는 CEC를 도입합니다.

• 여러 후보에 걸쳐 **공유된 오류 어휘 (Shared Error Vocabulary)**를 점진적으로 구축하고, 이를 기준으로 후보들을 재평가하여 오류 누락을 방지하고 일관된 측정치를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 참조 없는 RL 후 학습 프레임워크 제안: 이상적인 정답이 없는 분야에서 '오류 열거'를 보상 신호로 사용하는 IEC 를 처음 제안했습니다.
2. 안정적인 학습을 위한 설계 선택: 명시적 오류 나열 (EEC) 이 학습을 불안정하게 만든다는 것을 증명하고, 암시적 점수 방출과 그룹 보정이 필수적임을 입증했습니다.
3. 새로운 벤치마크 및 지표:
   • MDressBench: 속성 불일치 (예: 짧은 소매 소스와 긴 소매 참조) 가 극단적인 700 개의 쌍으로 구성된 새로운 벤치마크를 구축하여 보상 설계의 한계를 테스트했습니다.
   • CEC: ground truth 없이 일관된 오류 측정이 가능한 새로운 평가 지표를 제안했습니다.
4. 효율성: RaR 은 기준 생성과 평가로 2 번의 평가자 호출이 필요한 반면, IEC 는 1 번으로 2 배 더 효율적입니다.

4. 실험 결과 (Results)

MDressBench (Flat 및 Non-flat 참조) 및 VITON-HD, DressCode 벤치마크에서 평가:

• 성능 비교: IEC 는 RaR 과 직접 점수 매기기 (Direct Scoring) 를 모두 능가했습니다.
  • Non-flat 참조 기준: RaR 대비 CEC(오류 점수) 에서 5.96% 향상, 의상 전이 2.32%, 속성 보존 3.48%, 사실성 4.33% 등 모든 지표에서 우위를 점했습니다.
  • RaR 의 실패: 참조 없는 환경에서 RaR 은 오히려 직접 점수 매기기보다 성능이 떨어지는 경우가 많았으며, 이는 기준 생성의 한계를 보여줍니다.
• 학습 안정성:
  • EEC: 학습 초기에 성능이 퇴보하고 보상 신호가 불안정했습니다.
  • IEC: 매끄럽고 단조 증가하는 보상 향상을 보이며 안정적인 학습을 가능하게 했습니다.
• 일반화 능력: 추가적인 쌍 데이터 (Paired Data) 없이 60 스텝의 RL 후 학습만으로, 대량의 데이터로 학습된 기존 SFT 모델들을 여러 지표 (LPIPS, SSIM, FID 등) 에서 능가하거나 동급의 성능을 달성했습니다.
• 인간 선호도: CEC 지표를 사용한 자동 선택이 인간 어노테이터의 선호도를 60% 정확도로 복원했으며 (Direct/RaR 은 30%), 인간 평가와 높은 상관관계를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성 모델의 후 학습 분야에서 중요한 패러다임 전환을 제시합니다.

• "완벽한 정답" 대신 "잘못된 점" 정의: 이상적인 출력이 존재하지 않는 복잡한 창의적 작업 (디자인, 의상 착용 등) 에서, 무엇을 잘하는지 정의하는 대신 무엇을 피해야 하는지 (오류) 를 정의하고 이를 세는 것이 더 강력한 학습 신호가 될 수 있음을 증명했습니다.
• 실용성: 고비용인 인간 선호도 데이터나 정교한 보상 모델 학습 없이도, VLM(비전 - 언어 모델) 기반의 오류 열거를 통해 고품질의 생성 모델을 효율적으로 학습시킬 수 있는 경로를 제시했습니다.
• 확장성: 의상 착용 외에도 로봇 제어, 오픈 엔드 디자인 등 참조 없는 다양한 도메인에 적용 가능한 방법론을 제시했습니다.

결론적으로, IEC는 참조 없는 환경에서 Rubrics 기반 접근법의 한계를 극복하고, 안정적이고 효율적인 강화학습 후 학습을 가능하게 하는 핵심 기술로 자리 잡았습니다.