From Images2Mesh: A 3D Surface Reconstruction Pipeline for Non-Cooperative Space Objects

"Images2Mesh: 비협조적 우주 물체를 위한 3D 표면 재구성 파이프라인"에 대한 상세한 기술 요약입니다.

1. 문제 제기

저궤도 (LEO) 에 존재하는 통제되지 않은 거주 우주 물체 (RSO) 의 증가로 인해 운용 중인 위성에 심각한 위험이 초래되고 있습니다. 효과적인 능동 우주 쓰레기 제거 (ADR) 및 궤도상 서비스 (OOS) 임무 수행을 위해서는 물체의 3D 기하학적 구조, 구조적 상태, 그리고 회전 역학에 대한 상세한 지식이 필수적입니다.

그러나 현재 최첨단 3D 재구성 방법들은 실제 시나리오에 적용될 때 다음과 같은 치명적인 한계에 직면해 있습니다:

• 데이터 제약: 대부분의 기존 신경 암시적 표면 재구성 방법들 (예: NeRF, 3DGS) 은 카메라 포즈와 조명이 알려져 있고 제어된 합성 데이터 또는 하드웨어 인 더 루프 (hardware-in-the-loop) 테스트베드에 의존합니다.
• 실제 환경의 도전: 실제 궤도상 점검 영상 (예: STS-119 임무 또는 ADRAS-J 에서 촬영된 영상) 은 정답 (ground-truth) 카메라 포즈와 참조 CAD 모델이 부재합니다.
• 광도적 변동성: 실제 영상은 일관되지 않은 조명, 그림자, 배경 변화 (예: 지구 대 검은 우주) 로 인해 표준 구조 운동 (SfM) 알고리즘의 실패를 초래하고 신경 재구성에서 아티팩트를 유발합니다.
• 명시적 메시의 부재: 실제 영상에 대한 이전 연구들은 효율성을 위해 주로 3D 가우스 스플래팅 (3DGS) 에 집중해 왔으나, 정답 입력 없이 고품질의 명시적 3D 표면 메시를 성공적으로 생성하지는 못했습니다.

2. 방법론

저자들은 정답 카메라 포즈나 CAD 모델 없이 단안 점검 영상으로부터 고품질 3D 메시를 재구성하기 위해 설계된 5 단계 파이프라인을 제안합니다.

1 단계: 시간적 프레임 추출

FFmpeg 를 사용하여 입력 비디오에서 프레임들을 추출하며, 계산 부하를 줄이면서 시간적 커버리지를 유지하기 위해 데이터셋별 다운샘플링 인자를 적용합니다.

2 단계: SAM3 를 통한 배경 제거

• 문제: 배경이 일관되지 않은 프레임들 간 (예: 지구와 심우주 간 전환) 에 SfM 알고리즘 (COLMAP) 이 특징을 매칭할 수 없기 때문에, 원본 프레임을 직접 처리하는 방식은 실패합니다.
• 해결책: 파이프라인은 텍스트 기반 프롬프팅이 가능한 세그멘테이션 모델인 **SAM3(Segment Anything Model 3)**을 활용합니다.
• 구현: 모델에 "우주선" 또는 "위성"이라는 프롬프트를 입력하여 이진 마스크를 생성합니다. 이는 "비디오 모드"로 작동하여 첫 번째 프레임의 마스크를 후속 프레임들로 전파합니다. 마스크 외부의 픽셀은 검정색으로 설정되어 목표 물체를 격리합니다.

3 단계: COLMAP 을 이용한 구조 운동 (SfM)

배경이 제거된 프레임을 사용하여 COLMAP을 실행하여 다음을 복원합니다:

• 카메라 내부 파라미터 행렬.
• 프레임별 카메라 포즈 (외부 파라미터).
• 결과: 배경 제거를 통해 이전에는 원본 영상에서 불가능했던 모든 프레임의 성공적인 등록 (registration) 이 가능해졌습니다.

4 단계: Neuralangelo 를 통한 신경 암시적 표면 재구성

• 알고리즘: Neuralangelo를 사용하여 3D 메시를 생성합니다. 이는 다중 해상도 해시 인코딩을 사용하여 최적화된 부호 거리 함수 (SDF) 로 장면을 표현합니다.
• 장점: 표준 NeRF 와 달리 Neuralangelo 는 거친 해상도에서 정밀한 해상도로 점진적으로 표면을 정제하여 고주파 세부 사항을 포착합니다.
• 출력: Marching Cubes 알고리즘을 사용하여 학습된 SDF 에서 메시를 추출합니다.

5 단계: PPISP 를 통한 광도적 후처리

• 문제: Neuralangelo 는 뷰 간 광도적 일관성을 가정합니다. 실제 우주 영상은 노출과 그림자가 다양하여 아티팩트가 메시 텍스처에 "굽혀져" (baked) 남게 됩니다.
• 해결책: **PPISP(Physically-grounded Photometric Invariant Surface Processing)**를 통합합니다.
• 메커니즘: PPISP 는 카메라 고유의 효과를 캡처 의존적 변동과 분리합니다. 노출 오프셋, 색수차 바이네팅, 선형 색상 보정, 비선형 카메라 응답 함수 등의 모듈 시퀀스를 Neuralangelo 와 함께 최적화합니다.
  • 1 단계: 40 만 회 반복을 위한 공동 훈련.
  • 2 단계: Neuralangelo 를 고정하고 PPISP 컨트롤러를 10 만 회 반복하여 프레임별 보정을 예측하도록 훈련합니다.

3. 주요 기여

1. 새로운 파이프라인: 정답 카메라 포즈나 참조 CAD 모델 없이 단안 점검 영상만을 사용하여 비협조적 우주 물체의 신경 암시적 표면 재구성을 위한 완전한 5 단계 파이프라인.
2. 중요한 전처리: **세그멘테이션 기반 배경 제거 (SAM3)**가 실제 궤도상 영상에서 성공적인 카메라 포즈 추정의 전제 조건임을 입증하여, 배경 변동으로 인한 등록 실패 문제를 해결함.
3. 광도적 보정: 노출 및 조명 변동을 처리하기 위해 PPISP를 통합하고, 다양한 데이터셋에서의 동작을 분석하여 그림자 영역에서 정성적 개선을 입증함.
4. 실제 환경 검증: 두 개의 서로 다른 공개 데이터셋에 파이프라인을 성공적으로 적용함:
   • STS-119: 2009 년 국제우주정거장 (ISS) 주위를 비행한 우주 왕복선 디스커버리.
   • ADRAS-J: 2024 년 Astroscale Japan 이 H-IIA 로켓 상단 부 주위를 비행한 영상.

4. 실험 결과

파이프라인은 듀얼 NVIDIA RTX 4090 GPU 를 사용하여 두 개의 데이터셋에서 테스트되었습니다.

• 카메라 등록:

  • STS-119: 506/506 프레임 등록; 평균 재투사 오차: 0.664 픽셀.
  • ADRAS-J: 419/419 프레임 등록; 평균 재투사 오차: 0.410 픽셀.
  • 의의: SAM3 배경 제거 없이는 등록이 거의 완전히 실패했습니다.

• 메시 생성:

  • ISS 와 H-IIA 상단 부에 대해 고해상도 메시 (~1000 만 개 면) 를 생성했습니다.
  • ADRAS-J 결과: PPISP 는 그림자 영역의 텍스처 밝기를 크게 개선하고 베이스라인에서 손실되었던 미세한 세부 사항 (예: 노즐 위쪽) 을 복원했습니다. 그러나 단단하게 드리운 그림자와 완전한 노즐 복원에는 어려움을 겪었습니다.
  • STS-119 결과: PPISP 는 혼합된 결과를 보였습니다. 흰색 모듈의 과노출 영역을 줄였으나, ISS 의 구조적 복잡성과 특정 조명 조건으로 인해 다른 뷰에서는 전역적인 어두워짐과 따뜻한 색조가 도입되었습니다.

• 정량적 지표:

  • PSNR 값은 베이스라인과 PPISP 간에 미미한 차이만 보였습니다 (예: ADRAS-J 의 경우 약 35.46 dB 대 35.27 dB). 이는 PSNR 만으로는 텍스처 및 그림자 처리의 정성적 개선을 포착하기에 불충분함을 나타냅니다.

5. 의의 및 향후 작업

• 임무 계획: 생성된 3D 메시는 회전하는 취약한 물체에 대한 위험 평가, 포획 궤적 계획, 제거 작업 시뮬레이션을 수행하기 위한 임무 계획자에게 필요한 기하학적 충실도를 제공합니다.
• 합성 데이터: 파이프라인은 자율 점검 시스템을 훈련하기 위한 합성 데이터셋 생성을 가능하게 합니다.
• 한계 및 향후 방향:
  • 세그멘테이션 오류: SAM3 의 오류는 파이프라인 전체로 전파됩니다. 향후 연구는 모호한 배경에 대한 견고성을 개선해야 합니다.
  • 조명 모델링: 현재 방법은 광도적 일관성을 가정합니다. 향후 연구는 극단적인 그림자와 반사광을 처리할 수 있는 조명 인식 재구성 방법을 개발해야 합니다.
  • 정량적 평가: 재구성 충실도를 더 잘 평가하기 위해 PSNR 을 넘어선 지각적 (perceptual) 지표가 향후 연구에서 필요합니다.

결론적으로, 이 연구는 이론적 신경 재구성과 실제 우주 운영 간의 간극을 연결하며, 배경 제거와 광도적 보정이 엄격하게 적용된다면 원본 및 보정되지 않은 궤도상 비디오로부터 고품질 3D 메시를 생성할 수 있음을 입증했습니다.