[기술 요약] 객체 운동 민감도를 통한 시각적 주의 집중: 생체 모방형 접근 방식

1. 문제 정의 (Problem Statement)

기존의 컴퓨터 비전 시스템은 주로 정적인 데이터셋에 의존하는 수동적 시각(Passive Vision) 방식에 치중되어 있습니다. 이러한 방식은 다음과 같은 한계가 있습니다:

• 높은 계산 비용 및 데이터 의존성: 대규모 데이터셋과 막대한 컴퓨팅 자원(GPU/CPU)이 필요하며, 전력 소모가 큽니다.
• 환경 변화에 대한 취약성: 조명 변화, 물체의 크기/자세 변화, 폐쇄(Occlusion) 상황에서 일반화 능력이 떨어집니다.
• 에고모션(Egomotion) 문제: 로봇이 움직일 때 발생하는 카메라 자체의 움직임(배경의 흐름)과 실제 물체의 움직임을 구분하기 어렵습니다.
• 자원 할당의 비효율성: 제한된 로봇의 인지 자원을 모든 시각 정보에 분산시키기보다, 중요한 영역(ROI)에 집중시키는 '주의 집중(Attention)' 메커니즘이 필수적입니다.

2. 연구 방법론 (Methodology)

본 논문은 생물학적 시각 시스템(망막 및 시각 피질)을 모방하여, **이벤트 기반 카메라(Event-based Camera)**와 **뉴로모픽 하드웨어(Neuromorphic Hardware)**를 결합한 능동적 시각(Active Vision) 아키텍처를 제안합니다.

핵심 아키텍처 구성:

1. sOMS (Spiking Object Motion Sensitivity) 모델:
   • 생물학적 망막 신경절 세포(RGC)의 원리를 모방하여, 중심(Center)과 주변(Surround)의 가우시안 커널을 이용한 Center-Surround 구조를 구현합니다.
   • 이를 통해 카메라의 움직임으로 인한 전역적 움직임(Global motion)은 억제하고, 배경과 대비되는 물체의 상대적 움직임(Relative motion)만을 강조하여 이벤트 스트림을 정제합니다.
2. SNN Proto-object 모델:
   • 게슈탈트 법칙(Gestalt laws)과 경계 소유권(Border Ownership) 개념을 적용합니다.
   • Spiking Neural Network(SNN)를 사용하여 시각적 특징들을 그룹화하고, 잠재적 물체인 '프로토-오브젝트(Proto-object)'를 탐지하여 **돌출도 지도(Saliency Map)**를 생성합니다.
3. sAC (Spiking Attention Control) 모델:
   • 생성된 돌출도 지도의 최대값 좌표를 입력받아, Pan-Tilt Unit(PTU)을 제어하는 피드백 루프를 형성합니다.
   • Saccade(도약 안구 운동): 관심 영역으로 빠르게 시선을 이동시킵니다.
   • Fixational Eye Movements(고정 안구 운동): 정지 상태에서도 미세한 무작위 움직임을 주어 시공간적 통합(Spatiotemporal integration)을 유도하고 다음 관심 지점을 찾습니다.

구현 환경:

• Sensor: Speck-2 (DVS 통합 뉴로모픽 SoC)
• Hardware: FLIR Pan-Tilt Unit (PTU)
• Software: SynSense의 sinabs 라이브러리 및 Nengo (신경 공학 프레임워크)

3. 주요 기여 (Key Contributions)

• 최초의 엔드투엔드(End-to-End) 생체 모방형 주의 집중 시스템: 객체 운동 민감도와 SNN 기반 프로토-오브젝트 탐지를 결합하여, 뉴로모픽 아키텍처에서 작동하는 완전한 폐루프(Closed-loop) 시스템을 구축했습니다.
• 학습 불필요(Learning-free) 설계: 별도의 대규모 학습 데이터셋 없이 모델 기반(Model-based) 알고리즘을 사용하여 다양한 환경에 즉각적으로 적용 가능한 강건함을 확보했습니다.
• 효율적인 데이터 처리: sOMS 모델을 통해 불필요한 이벤트(배경 노이즈 등)를 약 85.16% 제거하여 후속 처리의 계산 부하를 획기적으로 줄였습니다.

4. 연구 결과 (Results)

• 객체 운동 분할 (EVIMO 데이터셋): 다중 물체 운동 분할에서 **평균 IoU 82.2%, 평균 SSIM 96%**를 달성하며 높은 구조적 유사성을 보였습니다.
• 저조도 환경 강건성 (LLE-VOS 데이터셋): 도전적인 실내외 저조도 환경에서도 객체 탐지 정확도가 **최대 89.8%**에 달함을 입증했습니다.
• 실시간 성능: 동적인 장면에서 돌출 객체를 탐지하고 반응하는 데 걸리는 평균 지연 시간은 0.124초로, 실시간 로봇 애플리케이션에 적합한 속도를 보여주었습니다.
• 안구 운동의 중요성 입증: 실험을 통해 단순한 도약(Saccade)만으로는 부족하며, 미세한 고정 안구 운동(Fixational eye movements)이 수반되어야만 안정적인 시공간적 정보 통합과 객체 탐지가 가능하다는 것을 확인했습니다.

5. 연구의 의의 (Significance)

본 연구는 **"능동적 시각(Active Vision)"**이 로봇의 인지 효율성을 어떻게 극대화할 수 있는지 보여줍니다.

1. 에너지 효율성: 뉴로모픽 하드웨어와 SNN을 활용함으로써 기존 GPU 기반 방식보다 훨씬 낮은 전력으로 실시간 인지가 가능함을 시사합니다.
2. 로봇 인지 패러다임 전환: 고해상도 센서에 의존하는 대신, 필요한 곳으로 시선을 돌리는(Foveation) 전략을 통해 저해상도 센서로도 고효율 인지를 수행할 수 있는 가능성을 열었습니다.
3. 미래 확장성: 본 연구의 아키텍처는 향후 더 복잡한 학습 알고리즘(Deep SNN 등)과 결합하여 객체 인식, 정밀 조작 등 고차원적인 로봇 작업의 기초 토대가 될 수 있습니다.