기술 요약: RevealLayer

문제 정의

최근 확산 기반 모델들은 이미지 생성을 발전시켰지만, 여전히 주로 단일 레이어 RGB 출력에 맞춰 설계되어 있어 다중 레이어 이미지 모델링은 largely 미개척 상태로 남아 있습니다. 복잡한 자연 이미지를 배경과 여러 개의 투명한 RGBA 전경 레이어로 분해하는 것은 복잡한 가려짐을 처리하고, 객체 계층 구조를 포착하며, 가시 영역 전반에 걸쳐 일관성을 유지하면서 누락된 콘텐츠를 완성해야 하는 필요성으로 인해 매우 어렵습니다.

기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 연쇄 파이프라인: 세분화, 알파 매팅, 인페인팅을 순차적으로 수행하는 방법들은 오류 누적에 시달려, 특히 심하게 가려진 영역에서 누적된 아티팩트와 열화된 레이어 일관성을 초래합니다.
• 엔드 투 엔드 확산 모델: LayerD 와 OmniPSD 와 같은 프레임워크들은 레이어를 공동으로 예측함으로써 오류 누적을 완화하지만, 명시적인 사용자 지침이 부족하여 레이어 의미론과 순서에 대한 제어력이 제한적입니다. 다른 방법들 (예: Qwen-Image-Layered, CLD) 은 모호한 레이어 의미론, 잔류 아티팩트에 시달리거나 복잡한 자연 장면이 아닌 스타일화된 이미지로만 제한됩니다.
• 데이터 부족: 이 분야는 고품질의 대규모 다중 레이어 자연 이미지 데이터셋의 부재로 인해 훈련과 견고한 분해 모델의 평가가 제한받고 있습니다.

방법론

저자들은 사용자 지정 바운딩 박스 지침 하에 입력 RGB 이미지를 여러 개의 RGBA 레이어로 분해하는 확산 기반 프레임워크인 RevealLayer를 제안합니다. 이 프레임워크는 FLUX.1 [dev] 아키텍처 (MM-DiT 를 백본으로 활용) 를 기반으로 구축되었으며, 세 가지 핵심 기술 구성 요소를 통합합니다:

1. 영역 인식 어텐션 (RAA)

표준 자기 어텐션 메커니즘에서 발생하는 레이어 간 특징 간섭 문제를 해결하기 위해 RevealLayer 는 영역 인식 어텐션 모듈을 도입합니다. 이 모듈은 어텐션 마스크를 통해 영역 간 토큰 상호작용에 구조적 제약을 부과합니다.

• 메커니즘: 마스크 $M$은 쿼리 토큰 $q$와 키 토큰 $k$ 간의 상호작용을 통제하여, 텍스트 프롬프트와 글로벌 이미지에서 온 토큰들은 모든 레이어와 상호작용할 수 있도록 하되, 특정 레이어 $L_i$에서 온 토큰들은 주로 자신들의 레이어와 글로벌 이미지의 공간적으로 대응하는 영역 $R_i$에 어텐션하도록 합니다.
• 목표: 이는 영역 일관성 어텐션을 촉진하고, 레이어 간 특징 혼합을 억제하며, 견고한 레이어별 분리를 가능하게 합니다.

2. 가려짐 유도 어댑터 (OGA)

RAA 가 레이어를 분리하지만, 중첩 영역 내에서 시각적으로 일관된 콘텐츠를 생성하는 것은 여전히 어렵습니다. OGA 모듈은 원본 이미지에서 국소화된 정보를 통합함으로써 의미론적 일관성을 향상시킵니다.

• 메커니즘: DoubleAttnBlock 이후, OGA 는 조건부 이미지 특징 ($z_c$) 을 채널 차원을 따라 레이어별 잠재 표현 ($z_t^i$) 과 연결합니다. 그런 다음 레이어별 마스크 $M_i$를 사용하여 자기 어텐션을 적용하여 의미론적 일관성을 강화하고, 업데이트된 잠재 표현을 생성합니다.
• 목표: 가려지고 중첩된 영역의 더 나은 재구성을 위해 문맥 정보를 활용합니다.

3. 복합 손실 함수

뚜렷한 경계를 강제하고 잔류 아티팩트를 억제하기 위해 훈련 목적 함수는 세 가지 손실 항을 결합합니다:

• 흐름 매칭 손실 ($L_{FM}$): 확산 프로세스를 위한 표준 목적 함수입니다.
• 하드 제약 알파 손실 ($L_{\alpha}$): 전경 생성을 정제하고 픽셀 수준의 경계 정밀도를 보장하기 위해 알파 채널에 적용되는 포칼 스타일의 패널티입니다. 이는 더 날카로운 모서리를 장려하기 위해 하드 경계 픽셀에 초점을 맞춥니다.
• 소프트 제약 직교성 손실 ($L_{orth}$): 배경 재구성에서 원치 않는 레이어 간 상호작용과 대상 관련 아티팩트를 억제하도록 설계된 픽셀 공간의 코사인 기반 손실로, 저주파수 구조적 상관 전경 잔류를 억제하는 것을 목표로 합니다.

4. 데이터셋 구축 (RevealLayer-100K 및 RevealLayerBench)

훈련과 평가를 지원하기 위해 저자들은 다음을 구축했습니다:

• RevealLayer-100K: 고품질 RGBA 레이어 주석이 달린 자연 장면 이미지 대규모 데이터셋입니다. 이는 자동화 알고리즘 (Qwen3-VL, Florence-2, SAM-H, Qwen-Image-Edit, ViTMatte) 과 배경 일관성 및 가려짐 복구 충실도를 보장하기 위한 엄격한 인간 주석/수동 검토를 포함한 파이프라인을 통해 생성되었습니다.
• RevealLayerBench: 복잡한 다중 레이어 레이아웃에 대한 체계적 평가를 위한 벤치마크입니다.

주요 기여

1. RevealLayer 프레임워크: 복잡한 가려짐을 처리하고 레이어 일관성을 유지할 수 있는 자연 이미지를 RGBA 레이어로 분해하는 제어 가능한 바운딩 박스 유도 확산 프레임워크입니다.
2. 가려짐 인식 패러다임: 가시 및 숨겨진 콘텐츠를 분리하고 가려진 영역을 효과적으로 복구하기 위해 영역 인식 어텐션, 가려짐 유도 어댑터, 그리고 복합 손실 함수를 통합한 접근 방식입니다.
3. 데이터셋 및 벤치마크: 고품질 다중 레이어 자연 이미지 데이터의 부족을 해결하고 체계적 평가를 위한 표준을 제공하는 RevealLayer-100K 와 RevealLayerBench 의 도입입니다.

실험 결과

광범위한 실험을 통해 RevealLayer 가 여러 작업에서 기존 접근 방식을 능가함이 입증되었습니다:

• 객체 제거: OBER-Test 와 RevealLayerBench 에서 RevealLayer 는 PowerPaint, SmartEraser, OmniPaint 와 같은 방법들과 비교하여 최첨단 배경 재구성 지표 (최고의 PSNR 및 SSIM, 경쟁력 있는 LPIPS 및 FID) 를 달성합니다. 잔류 아티팩트와 환각 영역을 효과적으로 제거합니다.
• 이미지 매팅: AIM-500 과 RefMatte-RW100 에서 이 방법은 일반 세분화 모델 (SAM 변형) 과 전문 매팅 모델 (MAM) 과 비교하여 알파 채널 정확도 (최저 MSE, MAD, SAD) 에서 우수한 성능을 발휘하며, 충실도, 경계 날카로움, 콘텐츠 일관성 사이의 균형을 맞춥니다.
• 다중 레이어 분해: RevealLayerBench 에서 RevealLayer 는 배경 및 전경 분리, 생성 품질, 알파 정확도 측면에서 Qwen-Image-Layered 와 CLD 를 크게 능가합니다. 더 높은 Soft IoU 와 Q-Insight 지표 (일관성, 충실도, 편집 가능성) 에서 우수한 점수를 달성합니다.
• 견고성: 모델은 바운딩 박스 교란 (예: 약간의 오프셋 또는 크기 변화) 에 대해 합리적인 견고성을 보이지만, 심각한 부정확성이 있을 경우 성능이 저하됩니다.

의의

이 논문은 RevealLayer 가 실제 세계 자연 장면을 위한 제어 가능하고 가려짐을 인식하는 레이어 분해에서 중요한 진전을 나타낸다고 주장합니다. 연쇄 파이프라인과 지침 없는 엔드 투 엔드 모델을 넘어선 이 작업은 정밀한 레이어 분리와 신뢰할 수 있는 가려진 콘텐츠 복구를 가능하게 하는 유연하고 견고한 솔루션을 제공합니다. 이 연구는 새로운 벤치마크와 데이터셋을 정립하여 다중 레이어 이미지 모델링 및 객체 제거, 매팅, 인페인팅, 레이어 기반 이미지 편집과 같은 다운스트림 응용 분야에 대한 향후 연구를 촉진합니다. 저자들은 심하게 부정확한 바운딩 박스, 심한 가려짐, 투명한 영역, 그리고 밀집된 반복적인 텍스처의 경우 여전히 과제가 남아 있음을 인정하며, 이를 향후 연구 과제로 식별합니다.