기술 요약: EVIS – NVIDIA Isaac Sim을 위한 물리 기반 이벤트 카메라 플러그인

1. 문제 정의

이벤트 카메라는 마이크로초 단위의 시간 해상도, 낮은 지연 시간, 높은 동적 범위를 제공하여 빠른 움직임과 고동적 범위 시나리오에 이상적인 로보틱스의 중요한 이점을 제공합니다. 그러나 이벤트 기반 인지 및 제어 기술의 발전은 라벨링된 데이터의 부족으로 인해 저해를 받고 있습니다. 특정 로봇 형태와 장면에 대한 실제 이벤트 데이터를 수집하는 것은 비용이 많이 들고 시간이 오래 걸리며 정밀한 정렬을 요구합니다. 시뮬레이션은 자연스러운 해결책이지만, 기존 시뮬레이터들은 다음 세 가지 요구사항을 동시에 충족하지 못하는 경우가 많습니다:

1. 충실도(Fidelity): 센서 노이즈를 포함하여 높은 유효 프레임 레이트에서 정확한 대비 트리거 모델을 구현해야 함.
2. 물리적 일관성(Physics Consistency): 이벤트가 사전 렌더링된 비디오가 아닌, 정확한 그라운드 트루스를 가진 실제 물리 시뮬레이션 장면에서 발생해야 함.
3. 렌더링 처리량(Rendering Throughput): 이벤트 생성이 물리 시뮬레이터의 속도를 따라잡아야 함(RGB 파이프라인과 유사한 규모의 학습을 가능하게 하기 위해 단일 GPU에서 실시간 작동이 이상적임).

2. 방법론

저자들은 NVIDIA Isaac Sim의 Isaac Lab 프레임워크에 직접 통합된 플러그인인 EVIS를 제시합니다. 이 시스템은 충실한 이벤트 모델과 모션 벡터 기반의 프레임 보간 파이프라인을 결합하여 고율의 완전 라벨링된 이벤트 스트림을 생성합니다.

2.1. 이벤트 모델

이 플러그인은 감마 보정 없이 렌더러의 HDR 컬러 버퍼(선형 강도)에서 작동하는 로그 강도 대비(log-intensity contrast) 모델을 구현합니다.

• 휘도 계산: Rec. 709 가중치를 사용하여 RGB를 휘도($I$)로 변환합니다.
• 로그 응답: 로그 강도 $L = \log(I + \epsilon)$를 계산합니다.
• 비동기식 "Fire-and-Latch": 각 픽셀은 참조 로그 강도($L_{ref}$)를 유지합니다. 차이 $\Delta L = L - L_{ref}$가 대비 임계값 $C$(기본값 0.15)를 초과하면, 극성 $p \in \{+1, -1\}$를 가진 이벤트가 발생합니다. 참조 값은 즉시 업데이트됩니다($L_{ref} \leftarrow L$).
• 배치 처리(Batching): 업데이트는 모든 환경과 카메라에 대해 배치 텐서 연산으로 수행됩니다.
• 노이즈 모델링: 실제 하드웨어와의 격차를 줄이기 위해, 플러그인은 선택적인 노이즈 구성 요소를 제공합니다: 임계값 불일치(픽셀당 ON/OFF 임계값), 불응기(refractory periods), 누설 이벤트(leak events), 샷 노이즈(shot noise), 핫 픽셀(hot pixels), 그리고 유한 대역폭(강도 의존적 저역 통과 필터링).

2.2. 모션 벡터 프레임 보간

모든 프레임을 렌더링하는 데 드는 과도한 비용 없이 kHz-규모의 유효 프레임 레이트를 달려하기 위해, EVIS는 양방향 모션 벡터 워핑 파이프라인을 사용합니다.

• 키프레임 렌더링: 시스템은 낮은 속도 $f_k$로 희소한 "키프레임"(컬러, 모션 벡터, 깊이)을 렌더링합니다.
• 양방향 워핑: 중간 프레임은 렌더러의 모션 벡터를 사용하여 이전 키프레임을 순방향 워핑(forward-warping)하고 다음 키프레임을 역방향 워핑(backward-warping)함으로써 합성됩니다.
• 컴포지팅(Compositing): 역방향 워핑된 프레임이 주요 결과물이 됩니다. 순방향 워핑된 프레임은 가려진 부분(disocclusion)의 구멍을 채웁니다. 두 방식 모두에 의해 커버되지 않는 픽셀은 색상을 허구적으로 만들어내는 것을 방지하기 위해 검은색으로 남습니다.
• 안티앨리어싱 처리: 알파 컴포지팅된 가장자리 픽셀이 배경 모션 벡터를 상속받아 발생하는 가장자리 아티팩트를 방지하기 위해 보간 중에는 안티앨리어싱을 비활성화합니다.
• 경계 처리: 이미지 경계 근처의 아티팩트를 크롭하기 위해 선택적인 오버 렌더 마진(over-render margin)이 사용됩니다.

2.3. 모션 블러(Motion Blur)

실제 카메라 노출을 시뮬레이션하기 위해, 시스템은 셔터 지속 시간 $E$ 동안 합성된 미세 프레임들을 평균화합니다. 이후 이벤트 모델은 이 블러 처리된 프레임 위에서 작동하며, 이로 인해 엣지가 얇은 윤곽선이 아닌 넓은 띠 형태로 번지게 되어 물리적 적분(integration)을 모사합니다.

3. 주요 기여

1. 충실한 GPU 배치형 이벤트 모델: 픽셀별 비동기 참조 업데이트를 갖춘 로그 강도 대비 모델로, 생성된 스트림에서 사전 학습된 이벤트 네트워크를 수정 없이 실행하여 검증되었습니다.
2. 직접적인 Isaac Sim 통합: 표준 RGB 카메라를 이벤트 카메라로 교체할 수 있는 드롭인(drop-in) 구성을 제공하여, 어떤 물리 시뮬레이션 장면에서도 정확한 그라운드 트루스를 가진 라벨링된 이벤트 데이터를 생성할 수 있게 합니다.
3. 실시간 보간 파이프라인: 희소한 RTX 키프레임을 렌더링하고 고율의 프레임을 합성하는 모션 벡터 기반 프레임 보간 시스템을 통해 단일 GPU에서 실시간 생성을 가능하게 합니다.

4. 결과 및 평가

시스템은 640×480 단안 카메라를 탑로한 단일 RTX 5090 GPU에서 평가되었습니다.

4.1. 성능

• 처리량: 파이프라인은 실시간 성능을 달성합니다. 예를 들어, 30 Hz 키프레임에 8배 보간(30 × 8)을 적용한 구성은 240 Hz 이벤트를 실시간보다 1.2배 빠르게 생성합니다.
• 확장성: 처리량은 병렬 환경에 따라 확장되며, 배치를 통해 렌더링 비용을 분산시킵니다.

4.2. 다운스트림 태스크 검증

사전 학습된 고정 모델들이 추가 미세 조정 없이 생성된 스트림에서 테스트되었습니다:

• 재구성(E2VID): 이벤트를 통한 강도 비디오 재구성. 보간이 오류를 유발하지만(1000 Hz 네이티브에서의 SSIM 0.632에서 8배 보간 시 0.484로 감소), 시스템은 사용 가능한 수준의 재구성을 생성합니다.
• 광학 흐름(Optical Flow, E-RAFT): 조밀한 흐름(dense flow) 추정. 시스템은 모든 구성에서 서브 픽셀 정확도(EPE ~0.96–0.99 px)를 달로합니다. 저자들은 워프가 렌더러의 실제 모션 벡터를 따라 콘텐츠를 이동시키기 때문에, 보간된 프레임이 등속도 가정을 바탕으로 장면의 모션 필드를 보존한다고 언급했습니다.
• 특징 매칭(Feature Matching, Match-Any-Events): 두 뷰 사이의 이벤트 매칭. 매칭 정밀도는 보간 증가에 따라 완만하게 저하되지만(81.2%에서 74.2%로), 여전히 기능적입니다.

4.3. 정성적 분석

이벤트 포인트 클라우드(x, y, t) 시각화는 워핑된 스트림이 네이티브 렌더의 전역 시공간 기하 구조를 재현함을 확인시켜 줍니다. 빠른 변위나 심한 폐쇄(예: 회전에 의한 새로운 표면 노출)가 발생하는 경우 "베네치안 블라인드" 형태의 밴딩과 같은 미세한 아티팩트가 나타나지만, 이는 기본 렌더링 빈도를 높임으로써 감소합니다.

5. 의의

본 논문은 EVIS가 이벤트 기반 인지 및 제어 연구의 장벽을 낮춘다고 주장합니다. 물리 시뮬레이터 내부에서 직접 고율의 완전 라벨링된 이벤트 스트림을 생성함으로써, 이벤트 기반 파이프라인을 RGB 파이프라인과 동일한 규모로 학습할 수 있게 합니다. 시스템은 센서의 비이상적 특성과 모션 블러를 포함하여 sim-to-real 격차를 해소하는 동시에, 엄격한 훈련 및 평가에 필요한 정확한 그라운드 트루스를 유지합니다. 저자들은 생성된 스트림이 기존의 사전 학습된 네트워크에서 직접 사용 가능함을 강조하며, 이를 통해 새로운 모델 아키텍처나 광범위한 미세 조정 없이도 즉각적인 도입이 가능함을 보여줍니다.