Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution

이 논문은 뉴로모픽 비전 센서 (이벤트 카메라) 에서 생성되는 방대한 양의 이벤트 데이터를 효율적으로 압축하기 위한 새로운 손실 기반 딥러닝 공동 이벤트 데이터 코딩 (DL-JEC) 솔루션을 제안합니다. 기존에 주로 사용되던 무손실 코딩의 한계를 극복하고, 컴퓨터 비전 작업 (분류 등) 의 성능을 유지하면서 비트레이트를 획기적으로 줄일 수 있는 방법을 제시합니다.

다음은 논문의 기술적 요약입니다.

1. 문제 제기 (Problem)

• 데이터의 폭발적 증가: 이벤트 카메라는 픽셀 단위의 밝기 변화 (스파이크) 를 비동기적으로 기록하여 (x, y, t, p) 형태의 4 차원 데이터를 생성합니다. 이는 기존 프레임 기반 카메라보다 훨씬 높은 시간 해상도와 동적 범위를 가지지만, 데이터 양이 매우 방대하여 저장 및 전송에 효율적인 코딩이 필수적입니다.
• 기존 솔루션의 한계:
  • 현재 대부분의 솔루션은 무손실 (Lossless) 코딩에 의존합니다. 이는 컴퓨터 비전 작업에서 원본 데이터의 손실이 허용되지 않는다는 가정 때문입니다.
  • 기존 점군 (Point Cloud) 코딩 접근법은 이벤트의 두 가지 극성 (양극성 POS, 음극성 NEG) 을 각각 별도의 점군 (Two PCs) 으로 분리하여 코딩했습니다. 이는 극성 간의 상관관계를 활용하지 못하게 하며, 컴포넌트 확장성 (기하 정보만 먼저 복호화) 을 요구하여 효율성을 떨어뜨립니다.
  • 손실 코딩은 인간의 시각 시스템이 아닌 기계 (컴퓨터 비전) 가 소비하는 데이터에 적용될 때, 작업 성능을 해치지 않으면서도 압축률을 높일 수 있는 잠재력이 있음에도 불구하고 충분히 연구되지 않았습니다.

2. 제안 방법론 (Methodology: DL-JEC)

논문은 단일 점군 (Single Point Cloud) 표현을 기반으로 한 딥러닝 기반 공동 코딩 프레임워크인 DL-JEC를 제안합니다.

• 단일 점군 표현 (Single PC Representation):

  • 기존 방식 (두 개의 점군) 과 달리, 모든 이벤트 (공간, 시간, 극성) 를 단 하나의 점군으로 통합합니다.
  • 기하 (Geometry): (x, y, z=t) 좌표로 표현 (시간을 3 차원 공간의 z 축으로 매핑).
  • 속성 (Attribute): 이벤트의 **극성 (Polarity)**을 점군의 속성으로 통합합니다.
  • 이를 통해 기하/시공간 정보와 극성 정보 간의 상관관계를 동시에 활용하여 압축 효율을 극대화합니다.

• DL-JEC 아키텍처:

  • 인코더: 이벤트 시퀀스를 단일 점군으로 변환 (Temporal Scaling, Voxelization, 중복 제거) 후, JPEG Pleno PCC 표준을 기반으로 한 변형된 딥러닝 모델 (Autoencoder + Hyperprior) 로 압축합니다.
  • 디코더: 비트스트림을 복원하여 점군을 생성한 후, 다시 이벤트 시퀀스로 변환합니다.
  • 손실 함수 (Loss Function): 기하 (Geometry) 와 극성 (Polarity) 의 왜곡을 모두 고려한 새로운 손실 함수를 사용하여 모델을 학습시킵니다.

• 적응형 볼록 이진화 전략 (Adaptive Voxel Binarization Strategies):

  • 디코딩 시 확률 값을 0 또는 1 로 이진화하는 과정에서 목적에 따라 최적화 전략을 변경합니다.
    1. QuB (Quality-optimized): 재구성 품질 (PSNR E2E) 을 최대화하도록 k 값 (복원할 점의 수) 을 최적화.
    2. CoB (Count-optimized): 원본 이벤트 개수를 정확히 유지하도록 k 값을 설정.
    3. ClB (Classification-optimized): 컴퓨터 비전 작업 (분류) 성능을 최대화하도록 k 값을 최적화. (분류 정확도가 가장 높은 k 값을 선택)

• 새로운 품질 지표 (PSNR E2E):

  • 기존 점군 품질 지표 (PSNR D1) 를 확장하여, 이벤트 데이터의 극성 (Polarity) 정보를 고려한 Event-to-Event Distance (E2E) 기반의 PSNR 을 제안합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 단일 점군 기반 손실 코딩: 이벤트 데이터를 두 개의 점군이 아닌, 극성을 속성으로 가진 단일 점군으로 표현하여 딥러닝 기반 공동 코딩을 구현한 첫 번째 연구입니다.
2. 작업 지향형 이진화 전략: 재구성 품질뿐만 아니라, 특정 컴퓨터 비전 작업 (분류) 의 성능을 극대화하기 위해 코딩 파라미터 (k 값) 를 동적으로 조정하는 새로운 전략을 제시했습니다.
3. 손실 코딩의 타당성 입증: 기존에는 불가피하다고 여겨졌던 무손실 코딩 대신, 손실 코딩을 사용하더라도 분류 작업의 성능을 저하시키지 않으면서도 비트레이트를 획기적으로 줄일 수 있음을 실험적으로 증명했습니다.
4. 새로운 평가 지표: 이벤트 데이터의 손실 코딩 품질을 정량화하기 위한 PSNR E2E 지표를 개발했습니다.

4. 실험 결과 (Results)

• 데이터셋: Neuromorphic-Caltech101 (N-Caltech101) 및 IBM DVS Gesture 데이터셋을 사용했습니다.
• 압축 성능 (Rate-Distortion):
  • DL-JEC (특히 QuB 전략) 는 기존 MPEG G-PCC(손실/무손실) 및 DL 기반 JPEG PCC 보다 우수한 압축 성능을 보였습니다.
  • 특히, JPEG PCC(두 점군 방식) 대비 더 높은 압축 효율을 달성했습니다.
• 분류 성능 (Classification Performance):
  • ClB 전략을 사용할 경우, 재구성된 이벤트 데이터를 이용한 분류 정확도가 원본 데이터 (Original) 나 무손실 코딩 데이터보다 오히려 높거나 동등한 수준을 유지했습니다.
  • 이는 ClB 전략이 노이즈를 제거하는 필터 역할을 하여 분류기에 더 '깨끗한' 데이터를 제공하기 때문으로 분석되었습니다.
  • G-PCC 손실 코딩 및 JPEG PCC 대비 분류 정확도에서 일관된 우위를 보였습니다.
• 일반화 능력: N-Caltech101 로 학습된 모델을 IBM DVS Gesture 데이터셋에 적용했을 때도 우수한 성능을 유지하여 모델의 일반화 능력을 입증했습니다.
• 계산 복잡도: DL-JEC 는 JPEG PCC 대비 인코딩 및 디코딩 시간이 더 짧아 계산 효율성이 높았습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 이벤트 데이터 코딩이 무손실 코딩에만 국한되어야 한다는 기존 관념을 깨고, 컴퓨터 비전 작업 성능을 유지한 손실 코딩이 가능함을 증명했습니다.
• 표준화 기여: JPEG XE (이벤트 데이터 표준화 프로젝트) 와 같은 차세대 표준에 중요한 기술적 기여를 할 것으로 기대됩니다. 특히 손실 코딩이 표준의 2 단계 목표에 포함될 수 있는 근거를 마련했습니다.
• 효율성 증대: 저장 및 전송 대역폭을 획기적으로 줄이면서도 머신 비전 시스템의 성능을 보장할 수 있어, 자율주행, 로봇공학, 증강현실 등 실시간성이 중요한 응용 분야에서 실용성을 높입니다.
• 미래 전망: 압축된 도메인 (Compressed Domain) 에서 직접 분류를 수행할 수 있는 잠재력을 보여주었으며, 향후 시맨틱 분할 등 다른 비전 작업으로 확장 가능한 기반을 제공합니다.

요약하자면, 이 논문은 이벤트 데이터의 극성과 기하 정보를 통합된 단일 점군으로 표현하고, 작업 목적에 맞는 적응형 이진화 전략을 도입함으로써, 기존 방식보다 압축 효율과 분류 성능을 동시에 획기적으로 개선한 혁신적인 솔루션을 제시했습니다.