💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

본 논문은 기존 트랜스포머 및 합성곱 기반 방법 대비 계산 자원을 크게 절감하면서 저조도 및 수중 비디오의 노이즈, 낮은 대비, 색상 불균형을 효율적으로 해결하기 위해 시각 상태 공간 (VSS) 모델을 활용한 새로운 비디오 향상 프레임워크인 BVI-Mamba 를 소개합니다.

원저자: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

영화를 보고 싶지만 화면이 안개로 덮여 있고, 색감이 흐릿하며, 영상이 흔들린다고 상상해 보세요. 이것이 카메라가 매우 어두운 곳 (밤의 동굴과 같은 곳) 이나 물속 (빛이 산란되고 흡수되는 곳) 에서 촬영을 시도할 때 발생하는 일입니다. 그 결과로 나오는 영상은 종종 거칠고, 흐리며, 이해하기 어렵습니다.

이 논문은 이러한 지저분한 영상을 수정하기 위한 새로운 도구인 BVI-Mamba를 소개합니다. 이는 새로운 유형의 인공지능 두뇌를 사용하여 영상을 빠르고 효율적으로 정화하는'지능형 영상 복원기'와 같습니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. 문제: 구식 AI 의'무거운 배낭'

과거에 이러한 영상을 수정하려면 무거운 배낭과 같은 AI 모델이 필요했습니다. 이 모델들은 매우 강력했지만, 특히 영상 (연속된 이미지들의 나열) 의 경우 실행하는 데 많은 메모리와 시간이 소요되었습니다.

구식 방법은 한 프레임씩 보며 전체 영화를 수정하거나, 거대한 느린 로봇을 사용하여 프레임을 비교하려는 것과 같았습니다.
**새로운 방법 (BVI-Mamba)**은 가볍고 민첩한 러너와 같습니다. 이는'비전 상태 공간 (Visual State Space)'또는 Mamba 라고 불리는 새로운 유형의 AI 아키텍처를 사용합니다. 이를 통해 피로하거나 거대한 컴퓨터가 필요하지 않은 채로 긴 영상 시퀀스를 처리할 수 있습니다.

2. 두 단계 과정: 정렬하고 광택 내기

BVI-Mamba 시스템은 더러운 창문을 청소하는 두 사람 팀과 같이 두 가지 주요 단계로 작동합니다:

1 단계:'안정된 손'(특징 정렬)
어둡거나 물속에서 촬영할 때 손이 떨리거나 피사체가 움직일 수 있습니다. 이로 인해 영상을 더 명확하게 만들기 위해 프레임을 결합하려 할 때 영상이 떨리거나'유령처럼'보이게 됩니다.

유추: 약간씩 어긋난 카드 덱을 쌓으려 한다고 상상해 보세요. 그냥 붙여만 놓으면 그림이 흐릿해집니다.
BVI-Mamba 가 하는 일: 이는 초정밀 카드 셔플러처럼 작동합니다. 이미지를 정화하기 전에 영상의'특징'(모양과 가장자리) 을 살펴보고 디지털 공간에서 완벽하게 정렬합니다. 큰 움직임과 작은 세부 사항을 처리하기 위한 특별한'피라미드'시스템을 사용하여 프레임이 서로 일치하도록 하여 영상이 깜빡이지 않도록 합니다.

2 단계:'마법의 광택제'(향상)
프레임이 정렬되면 시스템은 어둠, 노이즈, 색상을 수정해야 합니다.

유추: 표준 AI 를 작은 국소 부위만 칠하는 법을 아는 페인트 브러시라고 생각하세요. 이는 방 전체의'큰 그림'을 보기에 어려움을 겪습니다.
BVI-Mamba 가 하는 일: 이는 페인트 브러시를 레이저 스캐너(비전 상태 공간 블록이라고 함) 로 대체합니다. 이 스캐너는 먼지 한 알과 방 전체를 동시에 볼 수 있습니다. 이는 장면 전체에 걸쳐 빛이 어떻게 이동하는지 이해합니다. 이를 통해'눈'(노이즈) 을 제거하고, 어두운 부분을 밝게 하며, 물속 영상의 특이한 푸른색/초록색 색조를 이전 방법들보다 훨씬 잘 수정할 수 있습니다.

3. 더 나은 이유 (결과)

저자들은 이 새로운'러너'를 구식의'무거운 배낭'(CNN 및 Transformer 기반 모델) 과 비교하여 테스트했습니다.

경주: 실제 저조도 및 물속 영상 데이터셋을 사용한 테스트에서 BVI-Mamba 가 승리했습니다.
점수: 더 높은'신호 대 잡음비'(거친 입자 감소) 와 더 나은 구조적 유사성 (모양이 더 자연스럽게 보임) 을 가진 더 선명한 이미지를 생성했습니다.
효율성: 이는 더 적은 컴퓨터 메모리와 시간을 사용하면서 이를 달성했습니다. 이는 단순히 더 나은 청소기가 아니라 더 빠른 청소기입니다.

4. 물속의 도전

물속 영상은 물이 적색광을 흡수하고 청색광을 산란시켜 모든 것을 초록색이나 파란색으로 보이게 하는 필터처럼 작용하기 때문에 까다롭습니다.

비교할'완벽한'물속 영상 (ground truth) 이 없기 때문에, 팀은 교묘한 트릭을 사용했습니다. 먼저 AI 를 맑은 저조도 지상 영상으로 훈련시킨 후, 물속 영상을 입력하기 전에 AI 에게 화이트 밸런스를 조정하는'색 보정 안경'(색조 적응) 을 제공했습니다.
결과는 무엇일까요? AI 는 성공적으로 탁한 푸른 안개를 제거하고 이전에 보이지 않았던 세부 사항을 드러냈으며, 다른 전문 물속 도구들보다 우수한 성능을 발휘했습니다.

요약

BVI-Mamba는 흔들리고 어둡고 탁한 영상을 수정하기 위해'가벼운'AI 두뇌를 사용하는 새로운 영상 향상 도구입니다. 무거운 계산에 허덕이는 대신 프레임을 완벽하게 정렬한 다음, 지능적인 스캐닝 기술을 사용하여 이미지를 정화합니다. 이 논문은 이 도구가 이전의 AI 방법들보다 더 빠르고, 메모리를 덜 사용하며, 어두운 환경과 물속 장면 모두에서 더 선명한 결과를 제공한다고 주장합니다.

**"BVI-Mamba: 저조도 및 수중 환경을 위한 시각 상태 공간 모델을 활용한 비디오 향상"**에 대한 상세 기술 요약입니다.

1. 문제 제기

저조도 및 수중 환경에서 촬영된 비디오는 다음과 같은 심각한 화질 저하를 겪습니다:

저조도 문제: 노이즈, 낮은 대비, 색상 불균형, 그리고 느린 셔터 스피드나 높은 ISO 로 인한 모션 블러.
수중 문제: 빛의 산란과 흡수로 인한 흐림, 헤일로 효과, 색상 왜곡, 그리고 대비 감소.

이러한 저하 현상은 미적 품질뿐만 아니라 객체 감지, 추적과 같은 하위 컴퓨터 비전 작업의 성능도 훼손합니다. AI 기반 이미지 향상 기술은 존재하지만, 비디오 향상은 다음과 같은 이유로 여전히 어렵습니다:

시간적 불일치: 프레임 간의 깜빡임과 밝기 변동.
계산 비용: 기존 딥러닝 방법 (CNN, Transformer) 은 계산 비용이 높고 메모리 집약적이어서 실시간 처리가 어렵습니다.
데이터 부족: 특히 수중 시나리오를 위한 대규모 페어 학습 데이터셋이 부족합니다.

2. 방법론: BVI-Mamba

저자들은 선형 계산 복잡도를 유지하면서 높은 성능을 달성하기 위해 기존 합성곱 및 Transformer 블록을 **시각 상태 공간 모델 (VSS)**로 대체한 새로운 프레임워크인 BVI-Mamba를 제안합니다. 아키텍처는 두 단계 파이프라인을 따릅니다:

A. 특징 정렬 모듈

시간적 일관성을 보장하고 깜빡임을 방지하기 위해 모델은 향상 전에 여러 입력 프레임을 정렬합니다.

메커니즘: EDVR 에서 적응된 피라미드, 캐스케이딩, 변형 (PCD) 정렬 모듈을 시간 및 공간 주의 (TSA) 퓨전과 통합하여 사용합니다.
기능: 특징 공간에서 프레임 간의 시공간 변위를 등록하여 시간적 세부 정보를 추출 및 처리하고, 연속된 프레임 간의 일관성을 유지합니다.

B. 향상 모듈

이 모듈은 UNet 과 유사한 아키텍처를 사용하여 노이즈 제거 및 밝기 조정을 수행합니다.

핵심 혁신: 모든 표준 합성곱 레이어와 Swin Transformer 블록을 시각 상태 공간 (VSS) 블록으로 대체합니다.
VSS 블록 구조:
- Mamba 프레임워크를 기반으로 하며, 특히 2D-선택적-스캔 (SS2D) 메커니즘을 활용합니다.
- SS2D 과정: 입력 패치를 네 방향 (좌 - 우, 상 - 하, 우 - 좌, 하 - 상) 을 따라 시퀀스로 펼친 후, 선택적 상태 공간 모델 (SSM) 을 통해 처리하고 결과를 병합합니다.
- 장점: CNN(제한된 수용 영역) 이나 Transformer(이차적 복잡도) 와 달리, VSS 블록은 선형 계산 복잡도로 국부적 세부 사항과 장거리 전역 의존성을 모두 포착합니다.
수학적 공식: $l$ 층의 VSS 블록은 다음과 같이 정의됩니다:
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(여기서 $LN $은 레이어 정규화이고$ FFN$은 순방향 네트워크입니다.)

3. 주요 기여

저조도 비디오에 대한 Mamba 의 최초 적용: 이 논문은 (이전에 이미지에만 국한되었던) 시각 상태 공간 (VSS) 모델을 비디오 향상에 적용한 최초의 프레임워크를 소개하며, 특히 저조도 및 수중 시나리오를 대상으로 합니다.
효율적인 아키텍처: 무거운 Transformer 블록을 VSS 블록으로 대체함으로써 BVI-Mamba 는 선형 계산 복잡도를 달성하여 CNN 및 Transformer 기반 대응 모델에 비해 메모리 사용량과 추론 시간을 크게 줄였습니다.
강력한 시간적 정렬: PCD 정렬과 VSS 향상을 통합하여 높은 시간적 일관성을 보장함으로써, 비디오 향상에서 흔히 발생하는 깜빡임과 밝기 변동을 효과적으로 완화합니다.
수중 적응: 프레임워크는 수중 데이터의 심각한 색상 불균형을 해결하기 위해 **색상 적응 (chromatic adaptation)**을 사용하는 전처리 단계를 포함하며, 수중 데이터셋의 정답 (ground truth) 부족을 보완합니다.

4. 실험 결과

모델은 DID(저조도), BVI-RLV(저조도), BVI-Coral(수중) 세 가지 데이터셋에서 평가되었습니다.

정량적 성능 (저조도):
- BVI-RLV 데이터셋에서 BVI-Mamba 는 PSNR 22.93 및 SSIM 0.820을 달성하여 다음보다 우수한 성능을 보였습니다:
  - PCDUNet(CNN): PSNR 19.50, SSIM 0.757.
  - STA-SUNet(Transformer): PSNR 20.64, SSIM 0.765.
  - BVI-CDM(Diffusion): PSNR 22.20, SSIM 0.773.
- 또한 가장 낮은 LPIPS(0.146) 를 달성하여 정답에 대한 우수한 지각적 유사성을 나타냈습니다.
정성적 성능:
- 시각적 비교 결과, BVI-Mamba 는 경쟁 방법들보다 노이즈를 효과적으로 줄이고 세부 사항을 선명하게 하며 미세한 질감을 더 잘 보존하는 것을 보여줍니다.
수중 결과:
- BVI-RLV 에서 사전 학습된 모델을 색상 적응으로 적응시켜 사용한 결과, BVI-Mamba 는 Zero-TIG보다 시각적으로 우수한 결과를 생성하여 심해 영상에서 색상 왜곡을 교정하고 가시성을 향상시켰습니다.

5. 의의

패러다임 전환: 이 연구는 **상태 공간 모델 (SSM)**이 비디오 처리 작업에 있어 Transformer 보다 실현 가능하고 우월한 대안임을 보여주며, 성능과 계산 효율성 사이의 더 나은 균형을 제공합니다.
실제 배포: 줄어든 메모리 발자국과 선형 복잡도로 인해 BVI-Mamba 는 자원이 제한된 엣지 장치나 실시간 감시 및 자율 항법 시스템에 배포할 수 있는 강력한 후보가 됩니다.
도메인 확장: 이 연구는 고급 생성/판별 모델과 저조도/수중과 같은 까다로운 물리적 환경 간의 격차를 성공적으로 연결하여 수중 탐사 및 야간 보안과 같은 중요한 응용 분야에 대한 강력한 솔루션을 제공합니다.