기술 요약: Stable-Layers

문제 정의

이미지 레이어 분해 (단일 RGB 이미지를 편집 가능한 소수의 RGBA 레이어 집합으로 분리하여 조립 시 원본을 재구성하는 작업) 는 전문 편집을 위한 근본적인 원시 연산입니다. 이 작업은 개념적으로 단순하지만, 본질적으로 감독 학습이 어렵습니다. 단일 이미지는 여러 가지 타당한 분해 방식을 허용하며, 품질은 단일 정답 (ground-truth) 대상과의 유사성이 아닌 하류 활용도 (의미론적 분리, 깨끗한 알파 매트, 최소한의 중복성, 가려진 콘텐츠의 충실한 처리) 에 의해 결정됩니다.

기존 방법들은 일반적으로 합성 레이어 데이터셋이나 쌍을 이루는 감독 신호 (예: Photoshop PSD 파일) 에 의존합니다. 그러나 이러한 접근 방식은 한계를 부과합니다. 여러 분해 방식이 동등하게 유효할 때, 단일 대상으로의 회귀는 다른 동등하게 타당한 해결책을 처벌합니다. furthermore, 자연 이미지는 레이어 정답 주석이 쌍을 이루지 않아, 실제 세계 데이터에서 견고한 분해 모델을 훈련시키기 위한 감독 신호의 격차가 존재합니다.

방법론

저자들은 Stable-Layers를 제안합니다. 이는 레이블이 없는 이미지와 비전 - 언어 모델 (VLM) 의 피드백만을 사용하여 사전 훈련된 레이어 분해 모델을 미세 조정하는 강화 학습 (RL) 프레임워크로, 쌍을 이루는 감독 신호나 합성 대상의 필요성을 제거합니다.

핵심 프레임워크

이 방법은 Flow-GRPO(Flow Matching 을 위한 그룹 상대 정책 최적화) 와 Qwen-Image-Layered 기본 모델을 기반으로 합니다. 훈련 루프는 세 단계로 운영됩니다:

1. 생성: 주어진 입력 이미지에 대해 정책은 SDE 증강 흐름 매칭을 통해 $G$개의 후보 분해를 샘플링합니다.
2. 점수 매기기: VLM 판정자는 전문화된 2 단계 보상 프로토콜을 사용하여 후보들을 평가합니다.
3. 최적화: 정책은 VLM 점수에서 파생된 그룹 상대 이점을 최적화하기 위해 GRPO 를 사용하여 업데이트됩니다.

주요 기술적 혁신

1. 2 단계 VLM 보상 프로토콜
VLM 을 판정자로 활용하는 피드백 적용의 주요 과제는 VLM 이 개별적으로 샘플을 평가할 때 판단을 좁은 점수 대역으로 압축하는 경향이 있어, 그룹 내 분산이 낮아지고 GRPO 학습 신호가 약화된다는 점입니다. 이를 해결하기 위해 Stable-Layers 는 2 단계 평가 파이프라인을 도입합니다:

• 1 단계 (구조화된 개별 점수 매기기): 각 후보는 0~5 점 척도에서 의미론적 분리, 알파 청결도, 배경 인페인팅, 특징 분포, 콘텐츠 유효성이라는 5 가지 편집 중심 기준에 따라 독립적으로 점수를 매깁니다. 고정된 평가 기준 (rubrics) 은 범주적 실패에 대한 일관된 평가를 보장합니다.
• 2 단계 (상대적 그리드 보정): 분산을 복원하기 위해 모든 $G$개의 후보가 레이블이 지정된 비교 그리드로 타일링됩니다. VLM 은 이 그리드 내에서 후보들을 서로 상대적으로 재평가합니다. 이 단계는 압축된 점수를 분산시켜 GRPO 에서 효과적인 이점 정규화에 필요한 세밀한 상대적 구별력을 제공합니다.

2. 패킹된 잠재 공간 적응 (RatioNorm 재형식화)
기존 GRPO-Guard 는 로그 확률의 중요도 비율을 정규화하여 훈련을 안정화합니다. 그러나 Qwen-Image-Layered 모델은 $N$개의 RGBA 레이어를 단일 고차원 잠재 시퀀스로 패킹하여 유효 차원 $D$를 약 5 배 증가시킵니다. 이로 인해 표준 공간 평균 로그 비율이 0 으로 수렴하여 학습 신호를 억제합니다.
저자들은 합계 및 재조정 수정을 도입합니다: 공간 평균을 취하는 대신 공간 차원에 걸쳐 로그 확률을 합산하고, 단계별 중심화 적용 전에 $\sqrt{D}$로 정규화합니다. 이는 GRPO-Guard 의 분산 안정화 속성을 유지하면서 $O(1)$ 비율 크기를 복원합니다.

3. 데이터 전략
모델은 레이블이 없는 이미지의 미학적 필터링 하위 집합인 Fine-T2I에서만 완전히 훈련됩니다. 레이어 주석, 쌍을 이루는 예시, 또는 합성 분해 대상은 사용되지 않습니다. 훈련 중 출력 레이어 수는 가변적인 분해 복잡도에 모델을 노출시키기 위해 균일하게 샘플링됩니다 (일반적으로 2~5 개).

주요 기여

1. 2 단계 VLM 보상 프로토콜: 구조화된 절대 점수 매기기 및 상대적 그리드 보정을 결합하여 그룹 내 강화 학습에서의 점수 압축을 완화하는 방법으로, 레이어 스택에 대한 풍부한 신용 할당을 가능하게 합니다.
2. RatioNorm 재형식화: 흐름 매칭 RL 에서 패킹된 잠재 표현에 맞춘 수정으로, 동시에 여러 레이어를 생성하는 모델의 안정적인 최적화를 보장합니다.
3. 개선된 분해 품질: VLM 판정자를 이용한 RL 미세 조정이 단일 감독 훈련으로 달성 가능한 것 이상으로 레이어 분리, 아티팩트 감소, 배경 인페인팅 향상을 크게 개선할 수 있음을 입증했습니다.

결과

Crello 데이터셋과 홀드아웃 LAION-Aesthetics이미지에 대한 평가는 기본 Qwen-Image-Layered 모델 대비 상당한 개선을 보여줍니다:

• 정량적 지표: Stable-Layers 는 모든 테스트된 레이어 수 (2, 3, 4 개) 에서 더 낮은 레이어별 RGB L1 재구성 오차를 달성합니다. "나쁜" 레이어 (빈칸 또는 아티팩트가 많은) 의 발생을 분해당 약 1.65 에서 약 0.4 로 크게 줄입니다.
• 정성적 개선:
  • 배경 인페인팅: 기본 모델은 종종 퇴화된 배경 (예: 단색 검정 또는 평면 채움) 을 생성합니다. Stable-Layers 는 전경 객체가 제거된 경우에도 타당한 장면 완성을 생성합니다.
  • 의미론적 분리: 기본 모델은 전경 레이어에 합성 이미지를 반복하는 경향이 있습니다. 미세 조정된 모델은 더 깨끗한 알파 마스크를 가진 별도의 레이어에 distinct 한 의미론적 요소 (예: 사람과 다리 난간 분리) 를 격리합니다.
  • 특징 분포: 콘텐츠가 단일 레이어에 집중되는 대신 레이어 간에 더 고르게 분포됩니다.
• Ablation 연구:
  • 그리드 보정: 2 단계 (그리드 보정) 를 제거하면 레이어 0 의 품질 (인페인팅 타당성) 과 에지 선명도가 낮아져, 상대적 보정이 세밀한 개선을 위해 필수적임을 확인합니다.
  • 텍스트 조건부: 보상 평가 기준을 반영하는 상세한 프롬프트를 사용하는 것이 기본 프롬프트보다 성능을 저하시켰으며, 이는 명시적 프롬프트 조건부 설정이 VLM 판정자의 평가 축과 충돌할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 Stable-Layers 를 정답 대상 대신 판정자 피드백을 사용하여 편집 지향 생성기를 훈련시키는 일반적인 레시피로 위치시킵니다. 저자들은 그들의 접근 방식이 블랙박스 VLM 판단을 레이블이 없는 작업별 보상 훈련이나 인간 주석 없이 레이어 분해 및 콘텐츠 유효성의 세밀한 개선을 이끄는 학습 신호로 성공적으로 변환한다고 주장합니다.

이 연구는 VLM 이 강력한 판정자이지만, 그룹 내 분산이 중요한 RL 설정에서 효과적이려면 (그리드 비교를 통한) 특정 보정이 필요함을 강조합니다. 제안된 방법은 쌍을 이루는 정답 데이터가 없거나 여러 유효한 출력이 존재하는 편집 작업 (스타일 전환, 인페인팅, 장면 재배열 등) 을 위한 생성 모델 개선의 경로를 제공합니다.

한계점: 저자들은 이 방법이 독점 VLM(Gemini-3-flash-preview) 에 의존하여 API 비용과 모델 버전 간 점수 분포 변동을 초래할 수 있음을 지적합니다. 평가는 인간 연구 대신 자동화된 지표와 정성적 검사를 기반으로 합니다. 또한, 컴퓨팅 제약으로 인해 훈련은 샘플당 최대 5 개 레이어로 제한되었으며, 기본 모델이 지원하는 20 개까지의 고 레이어 수 분해에 대한 행동은 평가되지 않았습니다.