이 논문은 이벤트 기반 비전 (Event-based Vision) 분야에서 발생하는 편향된 기울기 추정 (Biased Gradient Estimation) 문제를 해결하기 위해 제안된 새로운 프레임워크인 **함수적 역전파 (Functional Backpropagation, FBP)**에 관한 연구입니다. ICLR 2026 에 게재될 예정인 이 논문은 불연속적인 이산화 (Binning) 연산으로 인해 발생하는 학습 효율 저하를 수학적으로 엄밀하게 해결하고, 다양한 다운스트림 작업에서 성능을 획기적으로 개선했음을 보여줍니다.

아래는 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의 (Problem Statement)

• 배경: 이벤트 카메라는 동적인 장면을 비동기적인 스파이크 (이벤트) 로 인코딩합니다. 기존 이미지 처리 파이프라인을 활용하기 위해 이러한 이벤트를 프레임 단위로 묶는 Binning(이산화) 과정이 필수적입니다.
• 핵심 문제: Binning 함수는 본질적으로 **불연속적 (Discontinuous)**입니다. 이로 인해 역전파 (Backpropagation) 시 기울기 (Gradient) 가 프레임 수준에서 잘려나가거나 (Truncation), 디랙 델타 함수 (Dirac delta) 와 같은 계산 불가능한 값이 발생합니다.
• 기존 방법의 한계:
  • 프레임 기반 접근: Binning 후 프레임만 사용하므로 원본 이벤트의 시공간 정보가 손실됩니다.
  • 스무딩 (Smoothing) 접근: 미분 가능성을 회복하기 위해 Binning 함수를 부드럽게 만들지만, 이는 **기울기 추정치에 편향 (Bias)**을 초래하여 학습 효율을 저하시킵니다.
  • 대리 기울기 (Surrogate Gradients): 스파이킹 신경망 등에서 쓰이는 방법 (STE 등) 은 휴리스틱에 의존하며 편향 보장이 없습니다.

2. 제안 방법론: 함수적 역전파 (Functional Backpropagation, FBP)

저자들은 Binning 함수를 **함수 공간 (Functional Space)**으로 승격 (Lifting) 시켜 **약미분 (Weak Derivative)**을 통해 기울기를 계산하는 새로운 프레임워크를 제안합니다.

2.1 핵심 아이디어: 부분적분 (Integration by Parts)

• 문제 해결 접근: 불연속 함수의 점별 미분은 정의되지 않지만, 약미분은 적분 형태로 정의될 수 있습니다. 저자들은 부분적분 (Integration by Parts) 공식을 역전파 과정에 적용합니다.
• 수학적 유도:
  • 이산화된 Binning 출력에 대한 코탄젠트 벡터 (Cotangent vector, $v_{hd}$) 를 이산 샘플로 간주합니다.
  • 이를 연속적인 **코탄젠트 함수 (Cotangent function, $v_{hc}$)**로 재구성 (Reconstruction) 합니다.
  • 원래의 정의되지 않은 디랙 델타 ($\delta$) 평가를 피하기 위해, 재구성된 함수와 커널의 미분을 합성곱 (Convolution) 형태로 변환합니다.
  • 이를 통해 편향되지 않은 (Unbiased) 약미분 기울기를 합성합니다.

2.2 알고리즘 구현

• 순방향 (Forward Pass): 기존 Binning 연산과 동일하게 수행됩니다 (출력 변경 없음).
• 역방향 (Backward Pass):
  • 표준 역전파에서 얻은 코탄젠트 벡터를 사용하여 연속적인 코탄젠트 함수를 복원합니다.
  • 복원된 함수와 합성곱된 커널 ($\kappa = l * k$, 여기서 $l$은 재구성 커널, $k$는 Binning 커널) 의 미분을 계산하여 기울기를 합성합니다.
  • 이 과정은 임의의 Binning 함수 (불연속 또는 연속) 에 대해 적용 가능하며, 수리적으로 **장거리 유한 차분 (Long-range finite differences)**과 일치함이 증명되었습니다.

3. 주요 기여 (Key Contributions)

1. 편향된 기울기 문제의 공식화: 이벤트 기반 파이프라인에서 Binning 함수의 불연속성이 기울기 편향을 유발하는 근본적인 원인을 규명하고 수학적으로 형식화했습니다.
2. 함수적 역전파 (FBP) 프레임워크 제안: Binning 함수를 함수 공간으로 승격시켜 약미분을 통해 기울기를 계산하는 새로운 방법을 제시했습니다. 이는 디랙 델타를 우회하고 편향성을 제거합니다.
3. 합성 약미분에 대한 정확한 공식 유도: 임의의 타겟 함수에 대해 합성된 기울기가 장거리 유한 차분과 동등함을 증명했으며, 불연속 및 부드러운 커널 모두에 적용 가능함을 보였습니다.
4. 광범위한 실험적 검증: 단순한 모션 추정부터 복잡한 광학 흐름 (Optical Flow) 및 SLAM 작업까지 다양한 시나리오에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 이벤트 카메라 데이터셋 (ECD) 과 DSEC 데이터셋을 사용하여 다양한 작업에서 FBP 의 효과를 검증했습니다.

• 자세 운동 추정 (Egomotion Estimation):

  • 정확도: RMS 속도 오차가 3.7% 감소 (제어된 환경 기준).
  • 수렴 속도: 1.57 배 빠른 수렴.
  • 단순한 최적화 기반 작업에서 FBP 가 더 효과적인 업데이트 방향을 제공함을 입증했습니다.

• 자기 지도 학습 광학 흐름 (Self-supervised Optical Flow, MotionPriorCMax):

  • DSEC 벤치마크에서 EPE(End Point Error) 가 9.4% 감소했습니다.
  • 복잡한 신경망에서도 최적 파라미터를 찾는 데 성공하여, 날카로운 IWE(Image of Warped Events) 를 학습 가능하게 만들었습니다.

• SLAM (CMax-SLAM):

  • RMS 궤적 오차가 5.1% 감소했습니다.
  • 장거리 시퀀스에서 기존 방법의 누적 오차로 인한 실패를 방지하고 더 견고한 매핑을 가능하게 했습니다.

• 편향 분석 (Bias Analysis):

  • 수치적 기울기 (Finite Difference) 와 비교했을 때, 제안된 방법은 Rect, Linear, Gauss 커널 모두에서 기존 방법보다 편향을 현저히 줄였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 이벤트 기반 비전 및 뉴로모픽 컴퓨팅 분야에서 오랫동안 해결되지 않았던 불연속 연산자의 기울기 추정 문제에 대한 이론적이고 실용적인 해결책을 제시합니다.

• 이론적 엄밀성: 휴리스틱이 아닌 약미분과 함수해석학에 기반하여 기울기의 **편향성 (Unbiasedness)**을 수학적으로 보장합니다.
• 실용성: 순방향 출력을 변경하지 않고 역방향 계산만 수정하여 기존 파이프라인에 쉽게 통합할 수 있으며, 다양한 Binning 커널과 손실 함수에 적용 가능합니다.
• 미래 전망: 이 프레임워크는 뉴로모픽 컴퓨팅의 더 넓은 범위의 불연속 연산자 및 비균일 Binning 그리드로 확장될 수 있는 가능성을 열어주었습니다.

요약하자면, 이 연구는 이벤트 카메라의 고유한 이점 (고해상도, 저지연) 을 최대한 활용하면서도 기존 딥러닝 파이프라인과의 호환성을 유지하기 위한 수학적 기반의 혁신적인 기울기 계산 방법을 제시했다는 점에서 의의가 큽니다.