Addressing Camera Sensors Faults in Vision-Based Navigation: Simulation and Dataset Development

본 논문은 우주 항법 시스템의 신뢰성을 확보하기 위해 카메라 센서 고장 유형을 분석하고 시뮬레이션 기반의 고장 데이터셋을 개발하여 AI 기반 고장 탐지 알고리즘의 훈련과 검증을 지원함을 제시합니다.

핵심

이 논문은 우주 탐사선의 '눈'인 카메라가 고장 났을 때, 인공지능 (AI) 이 어떻게 이를 알아차리고 임무를 계속할 수 있도록 도와줄지 연구한 내용입니다.

비유하자면, 이 연구는 **"우주선 카메라가 고장 나면 어떻게 될까? 그리고 그 고장 난 사진을 AI 에게 가르쳐서, AI 가 스스로 '아, 이 사진은 고장 난 거구나!'라고 알아차리게 하려면 어떻게 해야 할까?"**를 해결하는 방법론을 제시한 것입니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 연구가 필요한가요? (우주선의 눈이 멀면?)

우리가 달이나 화성, 혹은 소행성 같은 곳으로 우주선을 보내려면, 카메라와 같은 '시각 센서'가 필수적입니다. 마치 사람이 길을 찾을 때 눈을 뜨고 주변을 보는 것과 같죠.

하지만 우주 공간은 위험합니다.

• 먼지: 착륙할 때 튀어 오른 먼지가 렌즈에 붙으면 시야가 흐려집니다. (안경에 먼지가 낀 상태)
• 고장 난 픽셀: 우주 방사선 때문에 카메라의 작은 점 (픽셀) 들이 망가져 검은 점이나 하얀 점이 생깁니다. (카메라 화면에 죽은 픽셀이 생긴 상태)
• 눈부심: 태양 빛이 렌즈에 반사되어 화면이 하얗게 번지거나, 별빛이 반사되어 방해가 됩니다. (햇빛을 직접 바라봤을 때 눈이 시려서 사물이 안 보이는 상태)

이런 문제가 생기면 우주선의 AI 가 "어디에 있나?"를 계산하는 데 실패할 수 있고, 임무가 실패할 수도 있습니다.

2. 문제: AI 를 가르칠 '고장 난 사진'이 없다

AI 는 고장을 감지하려면 수많은 '고장 난 사진'을 보고 학습해야 합니다. 하지만 실제 우주 임무에서 카메라가 고장 난 사진을 구하는 건 매우 어렵습니다.

• 우주선은 고장 나지 않도록 철저히 설계합니다.
• 고장 나면 임무가 끝날 수도 있어서, 고장 난 데이터를 모으기 전에 우주선이 망가질 수 있습니다.

결국 AI 를 가르칠 '교재'가 없는 상황이 된 것입니다.

3. 해결책: 가상의 고장 사진을 만들어내는 '시뮬레이션 공장'

이 논문은 **"실제 고장 사진을 구할 수 없다면, 컴퓨터로 가상의 고장 사진을 만들어내자!"**라고 제안합니다.

저희는 CamSim이라는 소프트웨어를 이용해 다음과 같은 과정을 거쳤습니다:

1. 가상의 우주 환경 만들기: 67P/추류모프 - 게라시멘코 혜성 (Rosetta 미션에서 탐사했던 곳) 의 3D 모델을 컴퓨터에 띄웁니다.
2. 고장 시나리오 적용: 실제 우주에서 일어날 수 있는 고장들을 컴퓨터로 재현합니다.
   • 렌즈에 먼지를 뿌립니다.
   • 픽셀을 일부러 망가뜨립니다.
   • 태양 빛을 반사시켜 눈부심을 만듭니다.
   • 렌즈가 흐려지는 효과를 줍니다.
3. 데이터셋 생성: 이렇게 만들어진 5,000 장 이상의 '고장 난 사진'과, 그 사진에 어떤 고장이 있었는지 알려주는 '정답지 (레이블)'를 모았습니다.

4. 구체적인 비유: 어떤 고장들을 만들었나?

• 먼지 (Dust on Optics): 마치 카메라 렌즈에 모래알이 붙어서 사진이 흐릿해지거나 어두워지는 것처럼 만들었습니다.
• 고장 난 픽셀 (Broken Pixels):
  • CCD/CMOS 센서: 카메라 칩의 전자가 망가져서 사진에 검은 점 (Dead pixel) 이나 하얀 점 (Hot pixel) 이 생깁니다.
  • 줄무늬 고장: 전선 하나가 끊어지면 사진 전체에 검은 줄이나 하얀 줄이 생깁니다. (줄무늬가 가로로 가든 세로로 가든 센서 구조에 따라 다릅니다.)
• 눈부심 (Straylight): 태양이 화면에 들어오면 빛이 번져서 사물이 안 보입니다. 마치 카메라 렌즈에 반사광이 들어와서 사진이 번지는 효과입니다.
• 비네팅 (Vignetting): 사진의 네 모서리가 자연스럽게 어두워지는 현상입니다. 모든 카메라에 있지만, 너무 심하면 AI 가 모서리 부분을 못 봅니다.
• 렌즈 열화 (Optics Degradation): 시간이 지나면서 렌즈가 낡아 사진 전체가 흐릿해지는 효과입니다.

5. 이 연구의 의미와 미래

이 논문에서 만든 데이터셋은 "AI 의 훈련용 교재" 역할을 합니다.

• 이제 AI 는 이 가상의 고장 사진들을 수천 장씩 보고 학습할 수 있습니다.
• 나중에 실제 우주선이 날아가서 카메라에 고장이 생기면, AI 는 "아, 이건 렌즈에 먼지가 낀 거야" 또는 "아, 이건 픽셀이 죽은 거야"라고 바로 알아차릴 수 있게 됩니다.
• AI 가 고장을 감지하면, 우주선은 자동으로 백업 시스템을 가동하거나 임무 계획을 수정하여 임무 실패를 막을 수 있습니다.

요약

이 연구는 **"우주선 카메라가 고장 나면 어떻게 될지 미리 예측하고, AI 가 그 고장을 알아차릴 수 있도록 가상의 고장 사진 도서관을 지었다"**는 이야기입니다. 이를 통해 앞으로 우리가 보내는 우주 탐사선이 더 안전하고 똑똑하게 우주를 여행할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 우주 탐사 임무 (달, 화성, 소행성 등) 에서 시각 기반 항법 (Vision-Based Navigation, VBN) 의 중요성이 급증하고 있습니다. 특히 'Astrone KI' 프로젝트와 같은 소행성체 (SSSB) 환경에서의 자율 이동은 VBN 에 크게 의존합니다.
• 문제점:
  • VBN 알고리즘의 신뢰성을 보장하기 위해 센서 결함 (Fault) 을 탐지하고 대응하는 시스템 (FDIR) 이 필수적입니다.
  • 기존 전통적인 FDIR 방법은 이미지 데이터의 다차원적 특성을 처리하는 데 한계가 있습니다.
  • 인공지능 (AI) 기반 FDIR 은 이미지 처리에 탁월한 성능을 보이지만, 결함이 포함된 실제 이미지 데이터의 부재로 인해 훈련 및 검증이 어렵습니다.
  • 우주 환경 (방사선, 먼지, 조명 변화 등) 에서 발생하는 다양한 센서 결함을 체계적으로 분석하고 시뮬레이션할 수 있는 표준화된 데이터셋이 부족합니다.

2. 방법론 (Methodology)

이 연구는 시뮬레이션 프레임워크를 구축하고 이를 기반으로 결함 주입 (Fault Injection) 데이터셋을 생성하는 접근법을 취했습니다.

A. 시뮬레이션 환경

• 대상: 혜성 67P/Churyumov-Gerasimenko (로제타 미션 데이터 기반).
• 도구: ASTOS Solutions 의 CamSim (OpenGL 기반) 및 Simulink 연동 환경 사용.
• 구성 요소: 태양, 혜성 (타겟), 우주선 (Astrone KI 모델) 을 렌더링하여 실제 우주 환경을 재현.

B. 고려된 주요 결함 사례 (Fault Cases)

논문은 VBN 시스템에 영향을 미치는 5 가지 주요 센서 결함을 체계적으로 분석하고 시뮬레이션했습니다.

1. 광학계 먼지 (Dust on Optics): 착륙 시 발생하는 먼지가 렌즈에 부착되어 그림자를 형성하고 가시성을 저하시킴. (가우시안 분포를 이용한 텍스처 오버레이로 시뮬레이션).
2. 고장 픽셀 (Broken Pixels):
   • 핫 픽셀/데드 픽셀: 방사선 영향으로 인한 픽셀 출력 이상 (Salt & Pepper 결함).
   • 라인 결함: CCD/CMOS 센서의 판독 회로 (Readout) 고장으로 인한 행/열 전체의 픽셀 고장.
   • 데모자이킹 (Demosaicing) 효과: 고장 픽셀 주변 픽셀의 색상 보간 오류까지 시뮬레이션.
3. 불필요한 빛 (Straylight): 태양이나 천체 반사로 인한 플레어 (Flare) 와 글레어 (Glare) 발생. (물리적 렌즈 모델 대신 다양한 렌즈 구성을 포괄할 수 있는 텍스처 기반 렌더링 사용).
4. 비네팅 (Vignetting): 렌즈의 각도에 따른 이미지 가장자리 어두워짐 현상. (코사인 4 제곱 법칙 적용).
5. 광학계 열화 (Optics Degradation): 장기 임무 중 원자 산소, 자외선 등으로 인한 렌즈 흐림 현상. (가우시안 필터로 모사).

C. 데이터셋 생성 전략

• 층화 샘플링 (Stratified Sampling): 태양 위치 (플레어 발생 여부) 에 따라 데이터를 두 단계로 나누어 생성.
  • 태양이 시야 (FoV) 내에 있는 경우 (Straylight 포함).
  • 태양이 시야 바깥인 경우.
  • 이를 통해 결함 클래스 간의 불균형을 방지하고 대표성을 확보.
• 결함 주입: 생성된 이미지 위에 텍스처를 오버레이하거나 필터를 적용하여 결함을 주입.
• 레이블링 (Labeling): 각 결함 유형에 대한 이진 분할 마스크 (Binary Segmentation Masks) 를 자동 생성. (분류 및 분할 작업 모두 가능).

3. 주요 기여 (Key Contributions)

1. 체계적인 결함 분석 (FMEA): 우주 탐사 임무 (Astrone KI, Hayabusa2, OSIRIS-REx 등) 의 경험을 바탕으로 카메라 센서 결함의 원인, 영향, 완화 전략을 체계적으로 분석.
2. 새로운 시뮬레이션 프레임워크: CamSim 을 활용하여 다양한 우주 환경 및 센서 결함을 정교하게 재현할 수 있는 도구 개발.
3. 공식 데이터셋 개발:
   • 5,000 장의 합성 이미지로 구성된 데이터셋 생성.
   • 혜성 67P 환경에서의 다양한 조명 조건과 5 가지 주요 결함 유형을 포함.
   • 각 이미지에 대한 정밀한 레이블 마스크 제공 (분류 및 분할 작업용).
   • AI 기반 FDIR 개발을 위한 표준 데이터셋으로서의 가치 제시.

4. 결과 및 성과 (Results)

• 데이터셋의 다양성: 태양 각도, 우주선 자세, 결함 유형 (먼지, 픽셀 고장, 빛 반사 등) 을 무작위화하여 다양한 시나리오를 포괄하는 데이터 확보.
• 시뮬레이션 정확도: 실제 우주 임무 (Cassini, Hayabusa2 등) 에서 보고된 결함 패턴 (예: 핫 픽셀의 분포, 플레어 형태) 을 시뮬레이션에 반영하여 현실성 확보.
• AI 훈련 가능성: 생성된 데이터셋은 AI 알고리즘이 결함을 탐지하고 (Classification), 결함 영역을 분할 (Segmentation) 하는 데 직접 활용 가능하도록 설계됨.
• 확장성: 이 데이터셋은 지구 관측, 착륙, 소행성 탐사 등 다양한 우주 임무 유형에 적용 가능한 범용성을 가짐 (Table 9 참조).

5. 의의 및 향후 전망 (Significance & Future Work)

• 의의:
  • 우주용 AI 기반 FDIR 개발의 핵심 병목 현상이었던 '고품질 결함 데이터 부재' 문제를 해결.
  • AI 가 우주 환경에서 발생할 수 있는 다양한 센서 오류를 학습하고, 이를 통해 항법 시스템의 신뢰성과 안전성을 획기적으로 향상시킬 수 있는 토대 마련.
  • Astrone KI 프로젝트의 성공적인 AI 기반 FDIR 서브시스템 구현을 위한 필수 단계 수행.
• 향후 전망:
  • 생성된 데이터셋을 활용하여 실제 VBN 파이프라인에서의 이상 탐지 (Anomaly Detection) AI 모델 훈련 및 검증 수행.
  • 물리 기반 렌더링 (Physically-based rendering) 기술을 더 정교하게 통합하여 시뮬레이션의 현실성 향상.
  • 다양한 우주 임무 (지구 관측, 행성 착륙 등) 로의 데이터셋 적용 및 확장.

요약

이 논문은 우주 탐사 임무에서 시각 기반 항법 시스템의 신뢰성을 위협하는 카메라 센서 결함을 식별하고, 이를 해결하기 위한 AI 훈련용 고품질 합성 데이터셋을 개발했습니다. 연구팀은 다양한 결함 유형 (먼지, 픽셀 고장, 빛 반사 등) 을 시뮬레이션하고 5,000 장의 레이블이 지정된 이미지를 생성함으로써, 향후 우주선 자율 항법 시스템의 고장 감지 및 대응 (FDIR) 기술 발전에 중요한 기여를 했습니다.