CLEAR-IR: Clarity-Enhanced Active Reconstruction of Infrared Imagery

이 논문은 저조도 환경에서 적외선 (IR) 영상의 활성 발광 패턴 노이즈를 제거하여 고품질 이미지를 복원하고, 이를 통해 RGB 기반 로봇 비전 시스템이 외부 조명 없이도 극저조도 환경에서 안정적으로 작동할 수 있도록 하는 'CLEAR-IR'이라는 새로운 접근법을 제안합니다.

핵심

1. 문제 상황: "안개 낀 밤길과 스프레이 페인트"

상상해 보세요. 로봇이 완전히 캄캄한 동굴이나 지하실을 탐험해야 합니다.

• 일반 카메라 (RGB): 어두우니까 아무것도 안 보입니다. 마치 밤중에 눈이 감긴 상태죠.
• 적외선 카메라 (IR): 로봇이 특수한 '적외선 스프레이'를 뿌려서 주변을 비춥니다. 그러면 어둠은 사라지고 사물이 보입니다. 하지만! 이 스프레이가 너무 강해서 사물 전체에 **하얀 점 (노이즈)**들이 빽빽하게 박혀버립니다.

비유:
마치 어두운 방에 들어가서 형광 스티커를 잔뜩 붙인 옷을 입고, 그 옷 위에 흰색 스프레이 페인트를 쫙 뿌린 뒤 사진을 찍는 것과 같습니다. 사물은 보이지만, 흰 점들이 너무 많아서 "저게 의자야? 사람일까?" 구분이 안 가는 상태입니다. 로봇의 눈 (컴퓨터 비전) 이 이 점들 때문에 혼란을 겪어 길을 잃거나 물건을 못 찾는 문제가 발생합니다.

2. 해결책: CLEAR-IR (맑음 - IR)

이 논문은 그 불필요한 흰 점들 (스프레이 페인트) 만 지우고, 진짜 사물의 모양과 질감은 그대로 남기는 AI 기술을 개발했습니다.

• 핵심 아이디어: "점 (노이즈) 은 지우되, 사물의 윤곽선은 살려라."
• 어떻게 하나요?
  • 두 개의 전문가 팀 (Dual-Branch):
    1. 큰 그림 팀 (U-Net): 전체적인 사물의 모양과 구조를 파악합니다. (예: "저건 의자구나")
    2. 세부 묘사 팀 (Overcomplete Branch): 아주 작은 부분까지 자세히 봅니다. (예: "의자 다리의 질감까지")
  • 이 두 팀이 협력해서, 스프레이 페인트 같은 점들은 싹 지우고, 진짜 사물의 윤곽과 질감만 깨끗하게 재구성합니다.

3. 왜 이것이 중요한가요? (로봇의 눈이 바뀝니다)

이 기술을 적용하면 로봇은 어둠 속에서도 마치 낮에 찍은 사진처럼 세상을 볼 수 있게 됩니다.

• 물체 감지: 로봇이 "저게 사람이다", "저게 장애물이다"를 정확히 알아챕니다. (기존에는 점들 때문에 못 봤음)
• 위치 파악 (SLAM): 로봇이 길을 잃지 않고 스스로 위치를 파악하며 이동할 수 있습니다. (기존에는 점들이 길 안내 표지판처럼 착각을 일으켜 로봇이 미친 듯이 돌아다녔음)
• RGB 스타일 모방: 이 기술은 적외선 이미지를 마치 일반 카메라 (RGB) 로 찍은 것처럼 만들어줍니다. 그래서 로봇이 어둠 속에서도 낮에 훈련받았던 지능을 그대로 쓸 수 있습니다.

4. 실제 성과: "어둠 속의 마법"

논문에서는 이 기술을 테스트한 결과를 보여줍니다.

• 기존 방법들: 어둠을 밝게 하려고 시도했지만, 여전히 노이즈가 많거나 로봇이 길을 잃었습니다.
• CLEAR-IR:
  • 물체 찾기: 로봇이 물건을 정확히 찾아냈습니다.
  • 길 찾기: 로봇이 미로 같은 어두운 공간에서도 길을 잃지 않고 목적지까지 갔습니다.
  • 속도: 너무 느리지 않아서 실시간으로 로봇을 조종할 수 있을 정도로 빠릅니다.

5. 결론: 로봇의 새로운 눈

이 기술은 로봇이 전등이나 손전등 없이도 완전히 캄캄한 곳 (재난 현장, 광산, 지하 시설 등) 에서도 안전하게 일할 수 있게 해줍니다.

한 줄 요약:

"적외선 카메라가 뿌리는 '하얀 점'이라는 방해물만 AI로 싹 지워, 로봇이 어둠 속에서도 낮처럼 선명하게 보고 일하게 만든 기술입니다."

이제 로봇은 더 이상 "어둠"을 두려워하지 않아도 됩니다!

기술 요약

1. 문제 정의 (Problem Statement)

• 저조도 환경에서의 로봇 인식 한계: 기존 RGB 카메라는 저조도 또는 완전한 암흑 환경에서 센서 노이즈 (다크 전류, 판독 노이즈) 로 인해 화질이 급격히 저하됩니다. 노출 시간을 늘리면 모션 블러가 발생하여 동적 환경에서 무용지물이 되며, 외부 조명을 추가하면 (Tyndall 효과 등) 산란으로 인해 원치 않는 아티팩트가 발생하거나 그림자가 생기는 문제가 있습니다.
• 적외선 (IR) 이미징의 딜레마: 로봇이 암흑 환경에서 작동하기 위해 활성 IR (Active IR) 시스템을 사용하는 것은 유망한 대안입니다. 그러나 활성 IR 은 구조화된 빛 (Structured Light) 또는 점 패턴 (Emitter Patterns) 을 투사하여 이미지를 생성하는데, 이 패턴이 장면의 텍스처나 객체로 오인되어 객체 감지, 추적, SLAM(Simultaneous Localization and Mapping) 과 같은 고수준 작업에 치명적인 방해를 줍니다.
• 기존 방법의 부족: 기존 저조도 향상 기술은 주로 RGB 이미지에 초점을 맞추거나, IR 의 구조화된 빛 노이즈를 제거하는 데 특화되지 않아 로봇 비전 파이프라인에 적용하기 어렵습니다.

2. 제안된 방법론 (Methodology: CLEAR-IR)

이 논문은 CLEAR-IR(Clarity-Enhanced Active Reconstruction of Infrared Imagery) 프레임워크를 제안하여, 활성 IR 카메라에서 생성된 '점 패턴이 포함된 원본 이미지'를 '깨끗하고 해석 가능한 IR 이미지'로 재구성합니다.

• 아키텍처: DeepMAO 기반의 하이브리드 듀얼-브랜치 구조

  • 기존 DeepMAO 아키텍처를 IR 이미지 재구성에 맞게 수정하여 적용했습니다.
  • Context Stream (U-Net 백본): 전역적인 컨텍스트와 저주파 구조 정보를 효율적으로 포착합니다. 인코더 - 디코더 구조와 스킵 연결 (Skip Connections) 을 사용하여 장면의 기하학적 구조를 이해합니다.
  • Detail Stream (Overcomplete Branch): U-Net 의 풀링 연산이 고주파 세부 정보를 손실시키는 것을 보완하기 위해 도입되었습니다. 풀링이나 스트라이드 연산 없이 전체 공간 해상도 (Full Spatial Resolution) 를 유지하며, 구조화된 빛 노이즈와 실제 장면의 에지/텍스처를 분리하여 보존합니다.
  • Feature Fusion: 두 스트림의 출력을 잔차 (Residual) 방식으로 가산 (Additive) 하여 최종 재구성 이미지를 생성합니다. 이를 통해 U-Net 의 구조적 예측과 Overcomplete 브랜치의 텍스처 보정이 결합됩니다.

• 손실 함수 (Loss Function)

  • IR 과 RGB 센서 간의 시차 (Parallax) 로 인한 정렬 오차를 고려하여, 단순 픽셀 단위 정확도보다 지각적 품질과 구조적 무결성을 우선시하는 복합 손실 함수를 사용합니다.
  • 구성 요소: MAE(기본 강도), SSIM(구조적 유사성), Laplacian 필터 기반 주파수 손실 (Lfreq), Sobel 손실 (그라디언트), VGG19 기반 지각 손실 (Perceptual), 총 변동 (Total Variation) 손실 (노이즈 감소).

• 데이터 및 학습

  • Intel RealSense D455 카메라를 사용하여 6,719 쌍의 IR-RGB 데이터를 수집하고 증강하여 총 33,595 개의 데이터셋을 구축했습니다.
  • 모델은 IR 입력을 RGB 스타일의 Ground Truth 로 매핑하도록 학습되어, 기존 RGB 로 훈련된 비전 모델과의 호환성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. CLEAR-IR 아키텍처 제안: 활성 IR 이미지에서 구조화된 빛 아티팩트를 억제하고 깨끗한 IR 이미지를 재구성하기 위해 DeepMAO 에서 영감을 받은 전용 아키텍처를 처음 소개했습니다.
2. 복합 손실 함수 활용: IR 과 RGB 간의 스펙트럼 차이와 정렬 불일치를 고려하여, 패턴 제거와 로봇 인식에 필수적인 세부 정보 보존을 동시에 달성하는 손실 함수를 설계했습니다.
3. 로봇 비전 태스크 평가: 단순한 화질 향상을 넘어, 객체 감지 (Object Detection), ArUco 마커 감지, VSLAM 등 실제 로봇 고수준 작업에서의 성능 개선을 정량적으로 입증했습니다.
4. SOTA 기법 비교: 기존 저조도 RGB 향상 기술 (Retinex, CLAHE, Zero-DCE, LLFormer 등) 과 비교하여 극저조도 환경에서 IR 기반 CLEAR-IR 의 우월성을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 객체 감지 및 분할 (YOLOv26):
  • 원본 IR 이미지에서는 노이즈와 패턴으로 인해 객체 감지가 실패했습니다.
  • CLEAR-IR 처리 후, YOLOv26 은 객체를 성공적으로 감지하고 분할했습니다. (레이블 오류는 일부 존재했으나 객체 위치 추적은 가능했습니다.)
• ArUco 마커 감지:
  • 원본 IR 은 구조화된 빛 패턴으로 인해 마커의 격자 무늬가 가려져 감지가 불가능했습니다.
  • CLEAR-IR 은 패턴을 제거하여 마커를 명확하게 인식하게 하여, 저조도 환경에서도 정밀한 위치 추정 (Localization) 을 가능하게 했습니다.
• 시각 SLAM (VSLAM) 성능:
  • 저조도 (Low-Light): CLEAR-IR 은 기존 RGB 향상 방법들과 유사한 정확도 (RMSE) 를 보였습니다.
  • 극저조도 (Extreme Low-Light): RGB 기반 방법들은 조도 부족으로 추적 실패 (DNI) 를 보인 반면, CLEAR-IR 은 모든 시퀀스에서 성공적으로 SLAM 을 수행했습니다.
  • 특히 긴 경로 (SQ2) 에서 CLEAR-IR 은 가장 낮은 RMSE 를 기록하여, 장기적인 드리프트 (Drift) 축소를 효과적으로 방지하고 루프 클로저 (Loop Closure) 를 안정화함을 입증했습니다.
  • 추론 속도는 실시간 SLAM 요구사항을 충족하는 수준 (약 46ms) 으로 경쟁력 있었습니다.

5. 의의 및 결론 (Significance)

• 암흑 환경에서의 자율 주행 가능: CLEAR-IR 은 추가적인 온보드 조명 없이도 극저조도 환경에서 로봇이 안정적으로 작동할 수 있는 기반을 마련했습니다.
• 기존 비전 파이프라인 호환성: 재구성된 IR 이미지는 RGB 스타일을 모방하므로, 기존에 RGB 로 훈련된 객체 감지, SLAM 등 다양한 비전 모델을 별도의 재학습 없이 바로 사용할 수 있습니다.
• 새로운 표준 제시: 이 연구는 활성 IR 시스템의 단점 (구조화된 빛 노이즈) 을 딥러닝으로 해결하여, 저조도 로봇 비전 분야에서 새로운 표준을 제시하며, 광학 센서의 물리적 한계를 소프트웨어적으로 극복하는 사례를 보여줍니다.

요약하자면, CLEAR-IR 은 적외선 카메라의 활성 조명 패턴 노이즈를 딥러닝으로 제거하여, 암흑 환경에서도 기존 RGB 비전 시스템과同等한 수준의 고수준 로봇 작업을 가능하게 하는 혁신적인 프레임워크입니다.