💻 computer science

ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning

이 논문은 동적 입도 롤아웃(Dynamic Granularity Rollout) 메커니즘과 일관된 정책 경사 최적화(Consistent Policy Gradient Optimization)를 통해 제한된 탐색 및 궤적 모방 문제를 해결함으로써, 플로우 기반 강화 미세 조정(flow-based reinforcement fine-tuning)에서의 시각적 환각을 완화하는 일반적인 프레임워크인 ConsistentRFT를 소개한다.

원저자: Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

게시일 2026-02-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 당신의 설명에 따라 그림을 아주 잘 그리는 재능 있는 예술가(AI 이미지 생성기)가 있다고 상상해 보세요. 하지만 당신이 "야구 선수가 투구하는 모습"을 그려달라고 요청하면, 그들은 가끔 잔디의 질감이나 공의 스티치에 너무 집착한 나머지, 선수가 실제로 배트를 들고 있다는 사실을 잊어버리거나 실수로 세 번째 팔을 그려 넣기도 합니다. 이것을 **시각적 환각(visual hallucination)**이라고 부릅니다.

이 논문은 이를 해결하기 위한 새로운 훈련 방법인 ConsistentRFT를 소개합니다. 그 작동 원리를 쉽게 설명하면 다음과 같습니다.

문제점: "과하게 최적화된" 예술가

연구진은 현재 이러한 AI 예술가를 가르치는 방식(강화 미세 조정, Reinforcement Fine-Tuning)에 두 가지 주요 결함이 있다는 것을 발견했습니다.

"확대(Zoom-In)"의 함정 (탐색 문제):
AI가 무엇이 "좋은" 그림인지 배우기 위해 많은 변형을 생성한다고 상상해 보세요. 현재의 방식은 마치 사진사가 나무 전체를 보는 대신, 단 하나의 잎사귀가 얼마나 선명한지 확인하기 위해 아주 작은 디테일에만 줌을 당겨 보는 것과 같습니다. 그들은 나무 전체를 무시합니다.

결과: AI는 아주 작은 디테일을 완벽하게 만드는 데 너무 몰두한 나머지, 메인 이미지가 말이 되지 않더라도 높은 점수를 받기 위해 가짜 디테일(예: 격자무늬나 추가적인 꽃)을 만들어내기 시작합니다.

"따라쟁이"의 혼란 (활용 문제):
학습을 위해 AI는 연습 과정에서 자신이 만든 "승리한" 그림들을 복제하려고 시도합니다. 하지만 연습 과정이 다소 무질서(무작위 노이즈)했기 때문에, AI는 좋은 부분과 함께 그 무질서까지 복제하기 시작합니다.

결과: AI는 처음에 생성되었을 때 배웠던 매끄럽고 논리적인 규칙들을 잊어버립니다. AI는 이상한 지름길을 택하기 시작하며, 이는 일관성이 없거나 흐릿한 이미지로 이어집니다.

해결책: ConsistentRFT

저자들은 이러한 문제들을 해결하기 위해 두 가지 전략을 가진 새로운 훈련 코치를 제안합니다.

1. "역동적 줌(Dynamic Zoom)" 전략 (Dynamic Granularity Rollout)

AI에게 작은 디테일에만 집중하거나 혹은 전체 그림만 보라고 하는 대신, 이 새로운 방법은 AI가 적절한 시기에 두 가지 모두를 수행하도록 가르칩니다.

비유: 선생님이 학생에게 "먼저 숲 전체를 보고 나무들이 제 위치에 있는지 확인해라(전역 의미론, Global Semantics). 그다음에는 잎사귀가 사실적인지 확인하기 위해 줌을 당겨라(국소적 디테일, Local Details)"라고 말하는 것과 같습니다.
작동 원리: 시스템은 훈련 중에 "거친 입도(Coarse-Grained, 큰 그림 보기)"와 "세밀한 입도(Fine-Grained, 디테일 보기)" 사이를 전환합니다. 또한, AI가 똑같은 "완벽한" 잎사귀 하나만을 반복해서 암기하지 않도록, 가장 다양한 예시를 선택하는 스마트 필터를 사용합니다.

2. "흔들리지 않는 손" 전략 (Consistent Policy Gradient Optimization)

이 부분은 AI가 혼란스러운 "연습용" 그림들을 복제하는 것을 막고, 이미 알고 있는 논리적인 규칙을 고수하도록 강제합니다.

비유: AI가 자전거 타기를 배우고 있다고 상상해 보세요. 기존 방식은 술 취한 사람이 비틀거리며 간 지그재그 경로를 따라갔더라도, 그 경로가 결승점에 도달했다는 이유만으로 그 경로를 복제하라고 말합니다. 새로운 방식은 "아니, 설령 경로가 조금 다르더라도 숙련된 라이더의 매끄럽고 곧은 경로를 복제하라"고 말합니다.
작동 원리: "10단계에서 그린 것은 반드시 9단계에서 그린 것과 논리적으로 연결되어야 한다"라는 규칙을 추가합니다. 이는 AI가 높은 보상을 받기 위해 이상하고 단절된 디테일을 환각해내는 것을 방지합니다.

결과: 더 나은 예술가

이 논문은 이 새로운 방법을 인기 있는 이미지 생성기인 FLUX1.dev에 테스트했습니다.

환각 감소: "저수준(low-level)" 환각(이상한 질감, 격자무늬 등)은 49% 줄였고, "고수준(high-level)" 환각(잘못된 물체, 누락된 부분 등)은 38% 줄였습니다.
더 나은 일반화 능력: 특정 테스트 질문에는 잘 대응하지만 다른 모든 것에는 서툴러지는 다른 방식들과 달리, 이 방법은 보지 못한 새로운 프롬프트를 이해하는 AI의 능력을 5.1% 향상시켰습니다.
속도: 표준 방식만큼 빠르게 작동하여 실용적인 업그레이드임을 증명했습니다.

요약하자면: ConsistentRFT는 AI가 큰 그림을 보는 것과 디테일을 보는 것 사이의 균형을 맞추도록 가르치며, 논리적으로 유지되도록 강제함으로써, 아름다우면서도 실제로 말이 되는 이미지를 만들어냅니다.

기술 요약: ConsistentRFT

1. 문제 정의

Flow 기반 생성 모델에 대한 강화 학습 미세 조정(Reinforcement Fine-Tuning, RFT)은 이미지 생성을 인간의 선호도에 정렬시키는 데 필수적입니다. 그러나 기존의 flow 기반 RFT 방식(예: DDPO, DPO, GRPO 변형)은 빈번하게 **시각적 환각(Visual Hallucinations)**을 유발합니다. 이는 주로 다음과 같은 세 가지 방식으로 나타납니다:

디테일 과최적화(Detail Over-Optimization): 무관한 디테일 생성, 과도한 샤프닝(over-sharpening), 그리드 아티팩트(grid artifacts) 발생.
의미론적 불일치(Semantic Misalignment): 생성된 이미지와 텍스트 프롬프트 간의 괴리.
단계 간 불일치(Cross-Step Inconsistency): 적은 단계의 샘플링(few-step sampling) 사용 시 발생하는 의미론적 퇴화 및 발산.

저자들은 기존 방법들이 flow 모델에 있어 근본적으로 결함이 있는 탐색(Exploration)(SDE 롤아웃)과 활용(Exploitation)(정책 경사 업데이트)의 통합적 관점에서 작동하고 있다는 점을 지적합니다:

제한된 탐색: 확률 미분 방정식(SDE) 롤아웃은 종종 좁은 탐색 영역을 생성합니다. 동일한 초기 노이즈에 다양한 프로세스 노이즈를 사용할 경우, 모델은 국소적인 디테일만 다를 뿐 매우 유사한 이미지를 생성하게 됩니다. 이는 모델이 전역적인 의미론을 소홀히 한 채 국소적인 질감에만 과도하게 집중하는 **미세 조정(fine-grained optimization)**으로 이어집니다.
궤적 모방 왜곡(Trajectory Imitation Distortion): 정책 경사 방법(GRPO 등)은 보상 가중치가 적용된 궤적 모방으로 재해석됩니다. 이 방식은 모델이 보상을 극대화하기 위해 확률적이고 비선형적인 SDE 궤적을 모방하도록 강제합니다. 이는 일관된 결정론적 속도장(velocity field)을 학습하려는 사전 학습 목적과 충돌하며, 결과적으로 모델의 기초적인 벡터장을 왜곡하고 불안정성을 초래합니다.

2. 방법론: ConsistentRFT

이러한 환각 현상을 완화하기 위해, 저자들은 온라인 RFT(DDPO, DPO, GRPO)와 호환 가능한 일반적인 프레임워크인 ConsistentRFT를 제안합니다. 이는 두 가지 핵심 구성 요소로 이루어져 있습니다:

A. 동적 입도 롤아웃 (Dynamic Granularity Rollout, DGR)

이 메커니즘은 동적 노이즈 스케줄링을 통해 전역적 의미론과 국소적 디테일 사이의 균형을 맞춤으로써 탐색의 한계를 해결합니다.

그룹 간 스케줄 (Inter-Group Schedule): 학습 과정을 미세(fine-grained) 롤아웃과 조粗(coarse-grained) 롤아웃을 모두 포함하는 주기로 나눕니다.
- 미세(Fine-Grained): 점진적인 노이즈 주입(다양한 프로세스 노이즈)을 사용하여 국소적 디테일을 정교화합니다.
- 조粗(Coarse-Grained): 서로 다른 초기 노이즈 소스를 사용하여 전역적인 의미론적 변이를 탐색합니다.
- 이를 통해 모델이 디테일에만 매몰되어 지역 최적점(local optima)에 갇히는 것을 방지합니다.
그룹 내 스케줄 (Intra-Group Schedule): 과도한 계산 없이 미세 그룹 내의 다양성을 높이기 위해, 클러스터링을 결합한 진행 상황 인지 롤아웃(progress-aware rollout with clustering) 방식을 채택합니다.
- 상태를 평가하기 위해 중간 단계의 단일 단계 예측을 수행합니다.
- 잠재 공간(latent space)에서 샘플을 클러스터링하여 대표적인 그룹(디테일 정교화용 하나, 조粗한 인지용 하나)을 선택함으로써, 계산 비용을 줄이면서도 다양성을 확보합니다.

B. 일관된 정책 경사 최적화 (Consistent Policy Gradient Optimization, CPGO)

이 메커니즘은 모델의 고유한 일관성을 보존함으로써 활용 과정의 왜곡을 해결합니다.

핵심 통찰: 순수하게 확률적인 SDE 궤적을 모방하는 대신, CPGO는 ODE 제약 조건을 통해 **단일 단계 예측 충실도(single-step prediction fidelity)**를 강제합니다.
구현: ODE 기반 솔버를 사용하여 현재 모델의 $t$ $t$ 단계 예측을 이전 모델의 $t-1$ $t - 1$ 단계 예측과 정렬합니다.
- 목적 함수에 일관성 항을 추가합니다: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$ .
효과: 이를 통해 최적화가 더 부드럽고 일관된 궤적을 따르도록 제한하며, 사전 학습된 분포에서 보간된 환각 샘플을 모방하는 것을 방지합니다.

C. 시각적 환각 평가기 (Visual Hallucination Evaluator, VH-Evaluator)

저자들은 저수준(low-level) 객관적 지표(예: Laplacian variance, 그리드 패턴 탐지)와 사전 학습된 멀티모달 거대 언어 모델(MLLM)을 통한 고수준 평가를 결합하여, 디테일 과최적화 및 지각적 환각을 구체적으로 정량화하는 새로운 평가 지표를 도입했습니다.

3. 주요 기여

환각 원인 분석: 본 논문은 flow 기반 RFT에서의 시각적 환각을 SDE 롤아웃의 제한된 탐색 영역(디테일 과최적화 유발)과 정책 경사의 궤적 모방으로 인한 벡터장 왜곡이라는 두 가지 특정 설계 선택의 결과로 규명하는 예비 분석을 제공합니다.
동적 입도 롤아웃 (DGR): 전역적 의미론 탐색과 국소적 디테일 정교화 사이의 균형을 동적으로 맞추어, 모델이 미세한 아티팩트에만 집중하는 것을 방지하는 새로운 스케줄링 메커니즘입니다.
일관된 정책 경사 최적화 (CPGO): 시간적 자기 일관성과 안정적인 사전 분포와의 정렬을 강제하여, 확률적 궤적 모방으로 인해 발생하는 불일치를 완화하는 정책 경사 공식입니다.
포괄적 평가: VH-Evaluator의 도입과 함께, 여러 지표에서 환각을 유의미하게 감소시킴을 입증하는 광범적인 실험을 수행했습니다.

4. 실험 결과

FLUX.1-dev 모델을 사용하여 HPDv2 데이터셋과 HPS-v2 벤치마크에 대해 광범한 실험을 진행했습니다.

환각 감소: ConsistentRFT는 베이스라인 방법들과 비교하여 저수준 지각 환각(예: 그리드 패턴, 노이즈)에서 평균 49%, 고수준 지각 환각에서 **38%**의 감소를 달 achieved 했습니다.
도메인 외 일반화 (Out-of-Domain Generalization): 도메인 내 성능 향상을 위해 도메인 외 성능을 희생하는 경우가 많은 베이스라인(예: MixGRPO는 HPS를 개선했지만 CLIP 점수는 10.8% 하락)과 달리, ConsistentRFT는 도메인 외 지표도 개선했습니다. 구체적으로, 베이스라인이 0.4% 하락할 때 ConsistentRFT는 FLUX1.dev에서 종합 점수가 5.1% 향상되었습니다.
SOTA 대비 성능: 인간 선호도 점수(ImageReward, PickScore)와 미적 품질 측면에서 최신 SOTA RFT 베이스라인(DDPO, DPO, GRPO 변형)보다 우수한 성능을 보였으며, 의미론적 정렬 또한 유지했습니다.
효율성: 이 방법은 표준 정책 경사와 호환되며 속도 향상을 제공합니다. 예를 들어, Intra-Group DGS는 성능을 유지하거나 향상시키면서 표준 DanceGRPO 대비 훈련 시간을 약 18.6% 단축했습니다.
적은 단계 샘플링 (Few-Step Sampling): 타 방법들이 일반적으로 성능이 저하되는 적은 단계의 샘플링 시나리오에서도 우수한 안정성을 보여주었습니다.

5. 의의 및 주장

본 논문은 ConsistentRFT가 flow 기반 강화 학습 미세 조정에서 지속되는 시각적 환각 문제에 대한 일반적인 해결책을 제공한다고 주장합니다. DGR을 통해 전역적 의미론과 국소적 디테일의 최적화를 분리하고, CPGO를 통해 벡터장의 일관성을 강제함으로써, 생성된 이미지의 구조적 무결성과 사실성을 희생하지 않으면서 인간의 선호도에 정렬할 수 있게 합니다.

저자들은 이 연구를 flow 모델의 사후 학습 단계에서 발생하는 환각의 구체적인 원인에 대한 예비 조사로 규정합니다. 그들은 자신들의 방법이 강력한 완화 전략을 제공하지만, 시각적 환각 문제는 더 강력하고 확장 가능한 보상 모델을 필요로 하며, 이를 향후 커뮤니티가 발전시켜 나갈 것이라고 강조합니다. 이 연구는 모든 환각 문제를 해결한다고 주장하는 것이 아니라, 선호도 정렬과 시각적 충실도 사이의 균형을 맞추는 데 있어 중요한 진전을 보여주는 것입니다.