🤖 AI

SIRR-LMM: Single-image Reflection Removal via Large Multimodal Model

이 논문은 물리적으로 정확한 합성 데이터셋 생성 프레임워크와 미세 조정된 거대 멀티모달 모델을 결합하여 최첨단 단일 이미지 반사 제거 및 분리 성능을 달성하는 새로운 접근 방식인 SIRR-LMM을 소개한다.

원저자: Yu Guo, Zhiqiang Lao, Xiyun Song, Yubin Zhou, Heather Yu

게시일 2026-02-06

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yu Guo, Zhiqiang Lao, Xiyun Song, Yubin Zhou, Heather Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제: 창문에 비친 "유령"

당신이 박물관 안에 걸려 있는 아름다운 그림을 사진으로 찍으려고 한다고 상상해 보세요. 하지만 그림 앞의 유리 케이스에 당신 뒤쪽의 사람들과 조명이 반사되어 보입니다. 카메라는 내가 원하는 것(그림)과 원하지 않는 것(반사된 모습)이 뒤섞인 지저분한 장면을 포착하게 됩니다.

컴퓨터 비전의 세계에서는 이를 **단일 이미지 반사 제거(Single-Image Reflection Removal, SIRR)**라고 부릅니다. 이는 카메라가 단 한 장의 사진만을 가지고 작업해야 하기 때문에 매우 까다로운 퍼즐입니다. 마치 두 개의 서로 다른 노래가 동시에 녹음된 하나의 마이크 소리를 분리해내려는 것과 같습니다.

오랫동안 컴퓨터는 다음과 같은 이유로 이 문제를 해결하는 데 어려움을 겪었습니다:

실제 데이터를 구하기 어렵습니다: 컴퓨터에게 이 문제를 해결하는 법을 가르치려면 "정답지"(반사가 없는 그림 사진과 그림이 없는 반사 사진)가 필요합니다. 하지만 현실 세계에서 유리를 옮기거나 그림을 움직이지 않고 이런 사진을 찍는 것은 거의 불가능합니다.
가짜 데이터는 너무 가짜입니다: 이전의 시도들은 단순히 두 사진을 위에 겹쳐 놓는 방식으로 "가짜" 학습 데이터를 만들었습니다. 하지만 실제 유리는 단순히 이미지를 위에 얹어 놓은 것이 아닙니다. 유리는 빛을 굴절시키고, 흐릿한 유령 이미지를 만들며, 각도에 따라 색상을 변화시킵니다. 단순한 레이어 겹치기는 이러한 물리 법칙을 놓치게 됩니다.

해결책: "물리적으로 완벽한" 시뮬레이터

저자들은 초정밀 비디오 게임 시뮬레이터처럼 작동하는 새로운 방식의 학습 데이터 생성법을 구축했습니다.

단순히 사진을 쌓는 대신, 그들은 **경로 추적(path tracing)**이라는 기술을 사용했습니다. 빛의 줄기를 하나의 작은 당구공이라고 상상해 보세요. 시뮬레이터는 이 "빛의 공" 수백만 개를 유리창의 3D 모델에 쏩니다.

어떤 공들은 유리에서 튕겨 나갑니다 (반사를 생성).
어떤 공들은 유리를 통과합니다 (그림을 보는 시야를 생성).
어떤 공들은 유리 내부에서 이리저리 튀어 다니다가 밖으로 나옵니다 (흐릿한 이중 이미지인 "유령" 현상을 생성).

그들은 이러한 물리 시뮬레이션과 실제 세상의 사진을 결합했습니다. 그 결과, 컴퓨터가 과노출된 밝은 지점이나 흐릿한 반사 등 실제 세상에서 빛이 어떻게 행동하는지 정확하게 배울 수 있는 데이터셋을 만들어냈습니다.

두뇌: "다국어 구사" 예술가를 가르치기

그들의 발명품 중 두 번째 부분은 컴퓨터에게 이 퍼즐을 푸는 법을 가르치는 방법입니다. 그들은 처음부터 새로운 컴퓨터를 만든 것이 아니라, **대규모 멀티모달 모델(Large Multimodal Model, LMM)**을 사용했습니다.

LMM은 수십억 장의 사진을 보고 그것을 글로 설명할 수 있는 초능력을 가진 슈퍼 아티스트와 같습니다. 이 아티스트는 이미 수많은 창문 사진을 보았기 때문에 유리가 어떻게 생겼는지 이미 알고 있습니다.

저자들은 이 아티스트에게 특정 업무를 가르치기 위해 영리한 트릭을 사용했습니다:

"샌드위치" 방식: 아티스트에게 지저한 사진을 보여주고 깨끗한 사진을 달라고 요청하는 대신, "샌드위치" 이미지를 입력했습니다. 지저한 사진, 깨끗한 그림, 그리고 반사된 모습을 하나의 거대한 이미지 안에 나란히 붙여 넣은 것입니다.
비밀 레시피 (LoRA): 거대한 아티스트 전체를 다시 학습시키는 대신(이는 엄청난 시간과 비용이 듭니다), 아티스트의 뇌에 작고 가벼운 "어댑터"(LoRA라고 불림)를 추가했습니다. 이 어댑터는 모델에게 이렇게 가르칩니다: "이 특정한 이미지 샌드위치를 볼 때, 그것들을 분리하는 패턴을 학습하라."

또한 그들은 모델에게 특정 "레시피 카드"(텍젝트 프롬프트)를 주어 작업을 설명했습니다: "여기 유리가 있는 사진이 있고, 여기는 투과된 모습이며, 여기는 반사된 모습이다." 이 특정 레시피를 통해 훈련함으로써, 모델은 매번 일일이 지시받지 않아도 반사 제거의 논리를 학습할 수 있었습니다.

결과: 더 깨끗한 창문, 더 선명한 반사

이 새로운 방법을 기존의 가장 뛰어난 도구들과 비교 테스트했을 때 다음과 같은 결과가 나타났습니다:

더 잘 보입니다: 반사가 너무 밝아 이미지가 하얗게 날아간(과노출된) 사진에서도, 이 방식은 누락된 디테일을 정확하게 "인페인팅(inpaint, 빈 곳 채우기)" 할 수 있었습니다. 예를 들어, 반사된 모습에 빨간색 받침대가 보인다면, 모델은 메인 이미지가 하얗게 날아갔더라도 반사 레이어에 빨간색을 유지해야 한다는 것을 알아냅니다.
더 잘 분리합니다: 기존 방식들은 종종 "유령" 현상이나 흐릿한 얼룩을 남기곤 했지만, 이 방식은 유리 뒤의 물체를 훨씬 더 깨끗하게 보여줍니다.
반사를 복원합니다: 대부분의 도구는 단순히 반사를 지우려고만 합니다. 하지만 이 도구는 반사를 별도의 선명한 이미지로 재구성합니다. 모델은 빛의 원리에 대한 지식을 사용하여, 반사가 거의 보이지 않는 어두운 영역에서도 반사가 어떤 모습일지 예측해 낼 수 있습니다.

요약

요약하자면, 저자들은 다음 두 가지를 통해 "더러운 창문" 문제를 해결했습니다:

물리 기반 시뮬레이터를 구축하여 완벽한 학습 데이터를 생성했습니다 (따라서 컴퓨터는 단순한 패턴이 아니라 빛의 법칙을 배웁니다).
사전 훈련된 "슈퍼 아티스트" AI를 사용하고, 여기에 작고 특화된 업그레이드(LoRA)를 가하여 "유령"과 "실제 사물"을 분리하는 법을 배웠습니다.

그 결과, 이 시스템은 창문이 찍힌 단 한 장의 사진만 보고도 마법처럼 두 개의 완벽한 이미지로 나눌 수 있습니다. 하나는 유리 뒤에 무엇이 있는지 보여주는 이미지이고, 다른 하나는 유리 위에 정확히 무엇이 반사되었는지를 보여주는 이미지입니다.

기술 요약: SIRR-LMM

문제 정의

단일 이미지 반사 제거(Single-image reflection removal, SIRR)는 결합된 반사광과 투과광을 분리하는 과정에서 발생하는 본질적인 불량 설정(ill-posed) 문제, 특히 과노출된 영역에서의 분리 난이도로 인해 매우 까다로운 컴퓨터 비전 작업입니다. 딥러닝이 이 분야을 발전시켜 왔으나, 고품질 학습 데이터의 부족으로 인해 진전이 정체되어 있습니다. 실제 세계의 데이터셋은 정확한 정답(반사와 투과의 분리)을 포착하는 것이 물리적으로 매우 어렵기 때문에 구축하기가 까agt습니다. 반대로, 기존의 합성 데이터셋은 단순한 이미지 블렌딩이나 단순화된 반사 모델에 의존하는 경우가 많아, 복잡한 빛의 전달, 굴절, 감쇄와 같은 물리적 실재성을 포착하여 강건한 학습을 수행하는 데 한계가 있습니다.

방법론

1. 물리적으로 정확한 합성 데이터셋 생성

저자들은 전통적인 이미지 블렌딩의 한계를 극복하기 위해 고충실도 합성 데이터셋을 생성하는 새로운 프레임워크를 제 제안합니다.

경로 추적 렌더링(Path-Traced Rendering): 2D 이미지를 혼합하는 대신, 이 프레임워크는 3D 유리 모델에 대한 경로 추적(path tracing)을 활용하여 물리적으로 정확한 빛의 전달을 시뮬레이션합니다. 이는 양방향 반사 분포 함수(BRDF), 굴절, 그리고 다중 빛 반사(투과 $T$ 및 반사 $R$ )를 고려하여 비발광 투명 표면에 대한 렌더링 방정식을 해결하는 과정을 포함합니다.
하이브리드 장면 설정: 전체 3D 장면을 처음부터 모델링하는 복잡성을 피하기 위해, 이 방법은 HDR 환경 맵과 실제 RGB 이미지를 결합합니다.
- 조명: HDR 맵을 사용하여 현실적인 조명과 하이라이트를 시뮬레이션함으로써, LDR 기반 합성에서 흔히 발생하는 과노출 문제를 방지합니다.
- 변형: 박물관이나 야외 촬영과 같은 실제 시나리오를 모사하기 위해 HDR-HDR, HDR-LDR(반사 속에 사진가가 있는 경우), LDR-HDR(유리 뒤에 예술 작품이 있는 경우)을 포함한 다양한 구성을 지원합니다.
매개변수화: 시스템은 유리 특성(두께, 색상, 굴절률, 거칠기)과 카메라 파라미터(조리개, 초점 거리, 시야각)를 체계적으로 변화시켜 다양한 피사계 심도 및 디포커스 효과를 생성합니다.
후처리: 렌더링된 이미지는 실제 이미징 조건을 모사하기 위해 감마 보정, 자동 화이트 밸런스 및 JPEG 압축 아티팩트 처리를 거칩니다.

2. 대규모 멀티모달 모델(LMM) 미세 조정

본 논문은 Diffusion Transformer(DiT)를 기반으로 하는 최첨단 텍스트-이미지 생성 모델인 FLUX.1 Kontext의 생성 능력을 활용합니다.

인컨텍스트 LoRA(In-Context LoRA): 저자들은 전체 파라미터 학습 대신 저차원 적응(LoRA)을 사용하여 모델을 미세 조정합니다. 이를 통해 모델은 광범위한 사전 학습 지식을 유지하면서 특정 작업인 반사 제거를 학습할 수 있습니다.
결합 캡셔닝 및 연결(Joint Captioning and Concatenation): 입력 이미지( $I$ ), 투과 레이어( $T$ ), 반사 레이어( $R$ )를 하나의 합성 이미지 $[I:T:R]$ 로 연결합니다. 통합된 프롬프트는 전체 분해 작업을 설명하며, 레이어 간의 상관관계를 암시적으로 유지합니다.
학습 전략: 프로프트는 학습 중에 작업 특정 특징(task-specific feature)으로 임베딩됩니다. 추론 시에는 프롬프트가 고정되어, 사용자 제공 텍스트 설명 없이도 단일 이미지 반사 제거 시스템으로서 기능할 수 있게 합니다. 또한 입력 이미지 $I$ 는 컨디셔닝 출력과 생성 출력 사이의 상관관계를 강화하기 위한 제어 이미지로 사용됩니다.

주요 기여

합성 데이터 프레임워크: 단순화된 블렌딩 모델의 함정을 피하고, HDR 환경 맵과 실제 이미지를 결합하여 물리적으로 정확한 반사 시나리오를 생성하는 경로 추적 기반의 합성 데이터 생성 프레임워크를 도입했습니다.
LMM 적용: 저자들이 아는 바로는, 이는 단일 이미지 반사 제거를 위해 미세 조정된 대규모 멀티모달 모델을 탐구한 첫 번째 연구이며, 수십억 개의 이미지로 학습된 파운데이션 모델이 투명 재료에 대한 사전 지식을 보유하고 있음을 입증했습니다.
성능: 작업 특정 LoRA와 고충실도 합성 데이터를 사용하여 적응된 LMM이 전문화된 신경망 구조보다 우수한 성능을 달성함을 경험적으로 검증했습니다.

결과 및 분석

정량적 성능

본 방법은 세 가지 표준 실제 세계 벤치마크인 Real, Nature, SIR2에서 평가되었습니다.

지표: 성능은 PSNR, SSIM, LPIPS를 사용하여 측정되었습니다.
결과: 제안된 방법("Ours (syn)")은 모든 데이터셋에서 경쟁 모델(RDNet 및 DSIT 등)과 대등하거나 이를 능가하는 결과를 얻었습니다. 특히, 단 1,000개의 고품질 합성 이미지 쌍과 적은 학습 시간(단일 GPU에서 4,000 스텝)만으로 이러한 결과를 달 achieved 했습니다.
지역 분석: LPIPS를 전체 이미지가 아닌 반사 영역 내에서만 평가했을 때, 이 방법은 경쟁 모델 대비 18.2%의 향상을 보여주었으며, 이는 가장 어려운 이미지 부분을 처리하는 데 있어 탁월한 효과를 입증합니다.

정성적 비교

제거(Removal): 시각적 비교 결과, 이 방법은 특히 과노출된 영역과 복잡한 폐쇄(occlusion)가 있는 영역에서 잔류 아티팩트가 적고 더 깨끗한 투과 레이어를 생성함을 보여줍니다. 또한 폐쇄된 영역을 성공적으로 인페인팅하고 색상 변화(예: 붉은색 반사 식별)를 교정합니다.
분리(Separation): 정보가 담긴 반사 콘텐츠 처리에 어려움을 겪는 기존 방법들과 달리, 제안된 접근 방식은 낮은 가시성 조건에서도 스넬의 법칙(Snell's law)과 같은 광학 원칙을 준수하며 의미 있는 반사 장면을 재구성합니다.
강건성(Robustness): 이 방법은 학습 세트에 포함되지 않은 스마트폰 사진이나 복잡한 박물관/갤러리 시나리오를 포함한 실제 캡처 이미지에 대해서도 잘 일반화됩니다.

의의 및 주장

본 논문은 반사 제거의 주요 병목 현상이 고품질의 물리적으로 현실적인 학습 데이터의 부재라는 점을 주장합니다. 경로 추적 합성 프레임워크를 통해 이 문제를 해결함으로써, 저자들은 **파운데이션 모델(LMM)**이 제한된 데이터로도 특화된 비전 작업을 위해 효과적으로 적응될 수 있음을 보여주었습니다.

이 연구의 의의는 복잡하고 작업 특화된 신경망 구조를 설계하는 것에서 벗어나, 대규모 생성 모델의 내재된 사전 지식(prior)을 활용하는 방향으로 패러다임을 전환했다는 데 있습니다. 저자들은 적절한 적응(LoRA)과 고충실도 데이터를 결使用하면 범용 모델이 유리 반사와 같은 복잡한 시각적 현상을 처리하는 데 있어 전문화된 시스템보다 뛰어난 성능을 발휘할 수 있다고 주장합니다. 이 연구는 실제 세계의 정답(ground truth)을 포착하는 데 드는 막대한 비용 없이도, 물리적으로 정확한 데이터로 학습할 수 있는 확장 가능한 경로를 제시합니다.