Event Topology-based Visual Microphone for Amplitude and Frequency Reconstruction

1. 문제 정의 (Problem Statement)

• 배경: 구조물 건강 모니터링, 제품 설계, 산업 진단 등 다양한 분야에서 비접촉식 진동 측정은 필수적입니다. 레이저 도플러 진동계 (LDV) 는 정확도가 높지만 고비용으로 인해 제한적으로 사용됩니다.
• 기존 방법의 한계:
  • 고속 카메라: 높은 프레임 속도를 위해 짧은 노출 시간과 강력한 보조 조명이 필요하여 공간 해상도가 떨어지거나 실용성이 낮습니다.
  • 이벤트 카메라 (Event Camera): 고시간 해상도와 저조도 감지가 가능하지만, 기존 진동 복원 방법들은 진폭 (Amplitude) 과 주파수 (Frequency) 를 동시에 높은 정확도로 복원하지 못하는 문제가 있었습니다.
  • 패시브 (Passive) 방식의 제약: 외부 광원 (레이저 등) 을 사용하지 않는 패시브 방식은 기존에 진폭 복원에 실패하거나, 단일 점 측정에만 국한되어 공간 해상도의 장점을 활용하지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 **이벤트 토폴로지 (Event Topology)**를 기반으로 한 새로운 시각 마이크를 제안하며, 외부 조명 없이 원시 이벤트 스트림 (Raw Event Stream) 에서 직접 진동 궤적을 재구성합니다. 핵심 알고리즘은 위상 데이터 분석 (TDA, Topological Data Analysis) 의 Mapper 알고리즘과 **계층적 밀도 기반 클러스터링 (HDBSCAN)**을 결합한 것입니다.

주요 처리 파이프라인 (Figure 2 기준):

1. 관심 영역 (ROI) 설정 및 전처리:
   • 진동하는 물체의 가장 활발한 이벤트가 발생하는 픽셀을 중심으로 ROI 를 설정합니다.
   • 데이터 중복을 줄이기 위해 밝기 증가를 감지하는 'Positive Events'만 필터링하고, 배경 잡음을 제거합니다.
2. 커버링 (Covering) 및 필터링:
   • 3 차원 공간 ($x, y, t$) 의 이벤트 데이터를 필터 함수 (여기서는 수직 위치 $y$) 를 통해 1 차원 공간으로 매핑합니다.
   • 이 범위를 겹치는 구간 (Intervals) 으로 나누어 하위 집합을 생성합니다.
3. 클러스터링 (Clustering):
   • 각 구간 내에서 HDBSCAN 알고리즘을 적용하여 이벤트들을 클러스터링합니다.
   • HDBSCAN 은 DBSCAN 과 달리 매개변수 조정이 필요 없어, 진동 주파수/진폭 변화에 따른 이벤트 밀도 변화를 자동으로 적응하며 잡음을 효과적으로 제거합니다.
4. 궤적 재구성 및 투영:
   • 기존 Mapper 알고리즘이 그래프 구조를 만드는 것과 달리, 본 방법은 각 클러스터의 **중심점 (Centroid)**을 계산합니다.
   • 시간 순서대로 중심점을 연결하여 3 차원 진동 궤적을 생성한 후, 수평 정보 ($x$) 를 제거하고 수직 진동 ($y$) 과 시간 ($t$) 의 관계로 투영하여 최종 파형 (Waveform) 을 얻습니다.
5. 신호 처리:
   • 재구성된 신호를 선형 보간을 통해 16 kHz 의 균일한 샘플링 레이트로 재샘플링합니다.

3. 주요 기여 (Key Contributions)

1. 진폭 및 주파수 동시 고충실도 복원: 기존 패시브 방식이 진폭 복원에 실패했던 한계를 극복하고, 토폴로지 기반 구조 분석을 통해 진폭과 주파수를 모두 정확하게 복원합니다.
2. 다중 음원 동시 분리 복원: 단일 이벤트 스트림에서 공간적으로 분리된 여러 진동 소스 (예: 서로 다른 주파수를 내는 두 개의 스피커) 를 동시에 식별하고 개별적으로 재구성할 수 있습니다. 이는 기존 단일 마이크나 단일 점 측정 방식으로는 불가능한 기능입니다.
3. 강건한 토폴로지 기반 접근법: Mapper 알고리즘과 HDBSCAN 을 결합하여 복잡한 비정상 (Non-stationary) 진동이나 다양한 이벤트 밀도에서도 안정적인 클러스터링을 수행합니다.
4. 수동형 (Passive) 및 조명 불필요: 외부 광원 없이 자연광이나 주변광만으로 진동을 측정할 수 있어 실용성이 높습니다.

4. 실험 결과 (Results)

• 실험 설정: 알루미늄 판을 진동시키고, 이벤트 카메라 (SilkyEvCam HD) 와 LDV (Ground Truth) 를 동시에 사용하여 데이터 수집.
• 비교 대상:
  • 프레임 기반 방법 (Davis et al.)
  • 기존 이벤트 기반 위상 기반 방법 (Niwa et al.)
• 평가 지표:
  • 정규화 상호상관 (Normalized Cross-Correlation): 파형의 형태 유사성 측정.
  • 중앙 벡터 각 오차 (MVA Error): 주파수 영역에서의 유사성 측정 (값이 낮을수록 좋음).
• 성능:
  • 진폭 증가/감소 신호 및 음성 신호 모두에서 제안된 방법이 기존 방법보다 월등히 높은 상관관계 (0.850.97) 와 낮은 MVA 오차 (0.220.53 rad) 를 기록했습니다.
  • 기존 방법들은 MVA 오차가 1.1 이상으로 높았으며, 특히 진폭 변화가 있는 신호에서 파형 재구성에 실패했습니다.
  • ROI 분석: 너비가 3 픽셀 이상이고 높이가 25 픽셀 이상일 때 가장 안정적인 성능을 보였습니다.
• 다중 소스 분리 실험: 100 Hz 와 120 Hz 소리를 동시에 내는 두 스피커에서, 단일 이벤트 스트림을 통해 각 소스의 주파수 피크를 명확하게 분리하여 검출했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 광학 기반 진동 센싱의 새로운 패러다임을 제시하며, 고가의 LDV 없이도 정밀한 진폭 및 주파수 측정을 가능하게 합니다.
  • 단일 센서로 다중 음원을 분리할 수 있는 능력은 환경 소음 제거나 다중 화자 분석 등 다양한 응용 분야 (보안, 의료, 산업 진단) 에 혁신적인 가능성을 열어줍니다.
• 한계 및 향후 과제:
  • 광축 방향 (Out-of-plane) 진동 측정 불가: 카메라 평면에 수직인 진동은 2D 이미지 상에서 변위가 거의 발생하지 않아 현재 방법론으로는 측정하기 어렵습니다.
  • 해결 방안: 향후 스테레오 (Stereo) 이벤트 카메라 시스템을 도입하여 3 차원 진동 성분을 측정하는 방향으로 연구가 진행될 예정입니다.

이 논문은 이벤트 카메라의 고시간 해상도 특성을 토폴로지 데이터 분석과 결합함으로써, 기존 시각 마이크 기술의 한계를 극복하고 정밀한 진동 분석을 가능하게 한 획기적인 연구로 평가됩니다.