DeLiVR: Differential Spatiotemporal Lie Bias for Efficient Video Deraining

이 논문은 광학 흐름이나 휴리스틱 정렬의 한계를 극복하기 위해, Lie 군 기반의 미분 시공간 편향을 어텐션 점수에 주입하여 카메라 자세 변화에 강인하고 효율적인 비디오 우제거 방법인 DeLiVR 을 제안합니다.

핵심

🌧️ 1. 문제: 비가 오는 날의 혼란스러운 영상

우리가 비 오는 날 스마트폰으로 영상을 찍으면 두 가지 큰 문제가 생깁니다.

1. 비줄리가 화면을 가립니다. (화질이 나빠짐)
2. 카메라가 살짝만 흔들려도 영상이 깨집니다. (프레임이 어긋남)

기존의 기술들은 이 문제를 해결하려고 **'광학 흐름 (Optical Flow)'**이라는 방법을 썼습니다. 이는 마치 **"비행기가 날아가는 경로를 계산해서 영상을 맞추는 것"**과 비슷합니다. 하지만 비가 너무 세게 오거나 카메라가 흔들리면, 이 경로 계산이 엉망이 되어 영상이 더 찌그러지거나 흐릿해지는 문제가 생겼습니다.

🧭 2. 해결책: '나침반'과 '속도계'를 활용한 새로운 방법

저자들은 "경로 (광학 흐름) 를 계산하는 대신, 카메라가 어떻게 움직였는지 (회전 각도) 를 수학적으로 정확히 계산하자"라고 생각했습니다. 여기서 등장한 것이 **'리 군 (Lie Group)'**이라는 수학 이론입니다.

이를 쉽게 비유하자면 다음과 같습니다:

• 기존 방법 (광학 흐름): 비가 쏟아지는 거리를 헤매며 "아마 저쪽이 앞쪽이겠지?"라고 추측해서 길을 찾는 것. (비 올 때 추측은 위험합니다!)
• 새로운 방법 (DeLiVR): 카메라에 정밀한 나침반과 속도계를 달아놓는 것. "카메라가 5 도 왼쪽으로 돌아갔고, 0.1 초 동안 3 도 더 회전했다"는 수학적 사실을 바탕으로 영상을 바로잡는 것입니다.

⚙️ 3. DeLiVR 의 두 가지 핵심 장치

이 기술은 크게 두 가지 장치를 사용합니다.

① 회전 제한 나침반 (Rotation-Bounded Lie Relative Bias)

• 비유: 비가 오는 영상을 볼 때, 카메라가 살짝 기울어지면 영상의 모든 것이 비뚤어져 보입니다. 이 장치는 **"카메라가 얼마나 기울었는지"**를 정확히 계산해서, 영상의 조각들을 다시 똑바로 세워줍니다.
• 효과: 마치 비뚤어진 사진을 스캐너에 넣고 "이만큼 기울었으니 바로잡아줘"라고 명령하는 것과 같습니다. 이렇게 하면 비가 오더라도 영상의 구조가 무너지지 않습니다.

② 속도 차이 계산기 (Differential Group Displacement)

• 비유: 앞 프레임과 다음 프레임 사이의 회전 속도 차이를 계산합니다. "카메라가 갑자기 급하게 돌아갔나? 아니면 천천히 움직였나?"를 파악합니다.
• 효과: 비줄리는 방향이 일정하고, 카메라 움직임은 다릅니다. 이 장치는 **"비줄리의 방향"**과 **"카메라의 움직임"**을 구별하게 해줍니다. 그래서 비줄리는 지우고, 실제 사물 (나무, 사람, 차) 은 흐트러짐 없이 남깁니다.

🎯 4. 왜 이 방법이 더 좋은가요?

1. 비밀번호가 아닌, 수학 법칙을 따릅니다: 기존 방법은 데이터만 보고 "아마 비가 이쪽으로 갔겠지"라고 학습했지만, 이 방법은 **기하학적 법칙 (수학)**을 따르기 때문에 비가 아무리 세게 와도 흔들리지 않습니다.
2. 빠르고 가볍습니다: 복잡한 경로를 계산할 필요가 없기 때문에, 컴퓨터가 처리하는 속도가 훨씬 빠르고 메모리도 적게 씁니다.
3. 실제 상황에 강합니다: 실험 결과, 인위적으로 만든 비 영상뿐만 아니라, 실제 비가 오는 날 찍은 영상에서도 다른 최신 기술들보다 더 선명하고 깨끗한 영상을 만들어냈습니다.

🚗 5. 이 기술이 왜 중요한가요? (자율주행과 로봇)

이 기술은 단순히 "영상을 예쁘게 만드는 것"을 넘어섭니다.

• 자율주행차: 비가 오는 날에도 차가 앞을 정확히 보고 장애물을 피할 수 있게 도와줍니다.
• 로봇: 비나 안개 속에서도 로봇이 주변 환경을 정확히 인식하게 해줍니다.

📝 한 줄 요약

"비가 오고 카메라가 흔들려도, 수학적 나침반과 속도계를 이용해 영상의 조각들을 정확히 맞춰주어, 흐릿했던 영상을 선명하게 되살리는 새로운 기술입니다."

이 기술은 마치 **"비 오는 날에도 길을 잃지 않고 정확한 나침반을 들고 있는 탐험가"**와 같습니다.

기술 요약

1. 문제 정의 (Problem)

야외에서 촬영된 비디오는 비 줄무늬 (rain streaks), 흐림, 노이즈 등 다양한 열화 현상에 시달립니다. 특히 카메라 포즈의 미세한 변화나 물체의 움직임은 프레임 간 불일치 (mismatches) 와 시간적 아티팩트를 증폭시킵니다.

• 기존 방법의 한계:
  • 광학 흐름 (Optical Flow) 기반: 비와 같은 열화 조건에서는 밝기 불변성 (brightness constancy) 가 깨져 광학 흐름 추정이 실패하거나 비효율적임.
  • 휴리스틱 정렬: 계산 비용이 높고 강건성이 부족함.
  • 딥러닝 (Transformer 등): 데이터에 의존적인 학습만으로는 복잡한 기하학적 정렬 (회전, 빠른 움직임) 을 처리하기 어렵고, 물리적으로 의미 있는 운동 지식을 명시적으로 도입하지 못해 비 노이즈와 실제 특징을 구분하는 데 한계가 있음.

2. 방법론 (Methodology)

저자들은 리 군 (Lie Group) 이론을 비디오 제거 (deraining) 에 처음 도입하여, 네트워크의 어텐션 (attention) 메커니즘에 **미분 시공간 리 편향 (Differential Spatiotemporal Lie Bias)**을 주입하는 DeLiVR을 제안합니다. 이는 광학 흐름에 의존하지 않고 기하학적 사전 지식을 활용하여 정합성을 확보합니다.

핵심 구성 요소:

1. SO(2) 헤드 (SO(2) Head):

   • 각 프레임의 평면 내 회전 각도 (in-plane rotation angle) 를 예측하는 경량 모듈입니다.
   • 리 대수 (Lie algebra, $\mathfrak{so}(2)$) 를 파라미터로 사용하여 회전 행렬을 생성하며, $\tanh$ 함수를 통해 회전 크기를 제한하여 수치적 안정성을 보장합니다.
   • $R(\theta) = \exp(\theta J)$ 형태의 지수 사상을 통해 연속적인 기하학적 변환을 표현합니다.

2. 회전 제한 리 상대 편향 (Rotation-Bounded Lie Relative Bias):

   • 예측된 회전 행렬을 사용하여 각 프레임의 좌표를 회전시킵니다.
   • 회전된 좌표 간의 내적을 통해 **기하학적 일관성 (geometry-consistent)**을 가진 공간적 편향을 계산합니다.
   • 이는 어텐션 점수에 추가되어, 비 줄무늬가 아닌 실제 장면 특징에 기반한 정합을 유도합니다.

3. 미분 군 이동 (Differential Group Displacement):

   • 인접 프레임 간의 회전 차이를 리 대수에서 계산하여 **각속도 (angular velocity)**를 추정합니다.
   • 프레임 간 회전 각도 차이를 시간적 편향으로 변환하여, 프레임 간 운동 추세를 반영하고 시간적 일관성을 강화합니다.

4. 통합 시공간 편향 (Unified Spatiotemporal Bias):

   • 공간 편향과 시간 편향을 결합하고, 시간적 감쇠 (temporal decay) 와 밴드형 어텐션 마스크 (banded attention mask) 를 적용합니다.
   • 최종 어텐션 로짓 (logits) 에 이 편향을 직접 추가하여, 네트워크가 비 노이즈를 제거하면서도 기하학적으로 정렬된 특징을 효과적으로 집계하도록 유도합니다.

3. 주요 기여 (Key Contributions)

• 리 군 이론의 비디오 제거 도입: 광학 흐름에 의존하지 않는 새로운 기하학적 사전 지식 기반의 패러다임을 제시했습니다.
• 두 가지 편향 설계:
  1. 회전 제한 리 상대 편향: 프레임 간 회전 변환을 명시적으로 인코딩하여 기하학적 정합성을 확보.
  2. 미분 군 이동: 프레임 간 각속도 정보를 어텐션에 주입하여 복잡한 비 장면에서의 시공간 모델링 능력 향상.
• 효율성과 성능의 동시 달성: 기존 방법보다 파라미터 수가 적고 추론 속도가 빠르면서도, 합성 및 실제 데이터 모두에서 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: 합성 데이터 (NTURain, Rain-Syn-Light, Rain-Syn-Complex) 와 실제 데이터 (WeatherBench) 에서 평가.
• 정량적 성능:
  • WeatherBench (실제 환경): 기존 SOTA 모델인 VDMamba 가 성능이 급격히 떨어지는 반면 (PSNR 23.91), DeLiVR 은 PSNR 26.56, SSIM 0.781로 새로운 SOTA 를 기록했습니다. 이는 제안된 방법이 실제 복잡한 비 환경에서 뛰어난 일반화 능력을 가짐을 보여줍니다.
  • 합성 데이터에서도 VDMamba 다음으로 높은 성능을 보였으며, 전반적으로 선명한 디테일과 시간적 일관성을 유지했습니다.
• 정성적 분석: 비 줄무늬 제거가 철저하며, 객체 에지와 미세한 질감이 잘 보존되고 시간적 깜빡임 (flickering) 이 최소화되었습니다.
• 하류 작업 (Downstream Tasks): 제거된 비디오를 객체 감지 (Object Detection) 와 의미 분할 (Semantic Segmentation) 에 적용했을 때, 기존 방법보다 정확도가 크게 향상되었습니다.
• 효율성: 파라미터 수 (2.64M) 와 추론 시간 (82.52ms) 면에서 기존 Transformer 기반 모델들보다 훨씬 효율적입니다.

5. 의의 및 결론 (Significance)

DeLiVR 은 기하학적 이론 (리 군) 을 어텐션 메커니즘에 명시적으로 통합함으로써, 비와 같은 열화 조건에서도 강건한 비디오 복원을 가능하게 했습니다.

• 이론적 엄밀성: 광학 흐름의 불안정성을 우회하고, 리 대수를 통해 안정된 최적화 공간과 원칙적인 시간적 변위 정의를 제공합니다.
• 실용적 가치: 계산 효율성이 높아 실시간 애플리케이션에 적합하며, 자율 주행 및 로봇 내비게이션 등 하류 컴퓨터 비전 작업의 신뢰성을 높이는 전처리 단계로 중요한 역할을 합니다.

이 연구는 단순한 데이터 기반 학습을 넘어, 물리적으로 해석 가능한 운동 제약 (motion constraints) 을 네트워크에 도입함으로써 복잡한 동적 장면에서의 비디오 복원 문제를 해결하는 새로운 방향을 제시합니다.