An Event-Driven E-Skin System with Dynamic Binary Scanning and real time SNN Classification

이 논문은 16x16 압저항성 촉각 어레이와 이벤트 기반 바이너리 스캔 전략을 통합하여 데이터 수집 오버헤드를 획기적으로 줄이고, FPGA 기반의 스파이킹 신경망 (Conv-SNN) 을 통해 실시간 손글씨 숫자 인식 정확도 92.11% 를 달성한 효율적인 뉴로모픽 전자 피부 시스템을 제안합니다.

핵심

1. 문제점: "항상 켜져 있는 형광등" 같은 구식 방식

기존의 전자 피부나 터치 센서는 **모든 센서를 1 초에 여러 번씩 계속 훑어보는 방식 (프레임 기반 스캔)**을 사용했습니다.

• 비유: 방 안에 256 개의 전구가 있다고 상상해 보세요. 누군가 방 한 구석에 손가락을 살짝 댔을 때, 기존 방식은 손가락이 닿지 않은 255 개의 전구까지 모두 켜고 끄며 "누가 만졌나요?"를 계속 확인합니다.
• 결과: 손가락이 닿지 않은 곳에서도 전기를 계속 써야 하므로 전기가 낭비되고, 불필요한 데이터가 너무 많이 쌓여 처리 속도가 느려집니다.

2. 해결책 1: "스마트 감시 카메라" 같은 새로운 스캔 방식

이 연구팀은 이벤트 기반 (Event-Driven) 이진 검색 전략을 개발했습니다.

• 비유: 이제 방에 스마트 감시 카메라를 설치했다고 생각하세요. 아무도 움직이지 않으면 카메라는 쉴 수 있습니다. 하지만 누군가 손가락을 대는 순간, 그 부분만 순간적으로 켜지고 주변을 빠르게 탐색합니다.
• 작동 원리:
  1. 이진 검색 (Binary Search): 전체를 다 보는 게 아니라, "손이 닿은 곳이 왼쪽인가 오른쪽인가?"를 빠르게 추려내며 정확한 위치를 찾아냅니다.
  2. 초점 재배치: 손이 닿은 곳 (예: 숫자 '5'를 쓸 때) 주변 3x3 칸만 집중적으로 자세히 봅니다.
• 효과:
  • 스캔 횟수: 기존보다 12.8 배 줄었습니다. (전체 전구를 다 켜지 않아도 됨)
  • 데이터 압축: 불필요한 데이터가 사라져 38.2 배 더 적은 데이터만 전송합니다. (우편함의 99% 가 비어있는 상태)
  • 동적 범위: 아주 약한 터치부터 강한 터치까지 훨씬 더 잘 감지합니다.

3. 해결책 2: "뇌의 신경망"을 모방한 AI (Conv-SNN)

기존의 인공지능 (CNN) 은 이 '간단한 신호'를 다시 복잡한 이미지로 만들어서 분석해야 했습니다. 이는 마치 간단한 메모를 받아서 다시 긴 보고서로 작성한 뒤, 그걸로 분석하는 것과 같아 비효율적입니다.

이 연구팀은 **스파이크 신경망 (SNN)**이라는 뇌의 원리를 그대로 모방한 AI 를 사용했습니다.

• 비유: 뇌는 불이 켜진 순간만 '틱 (스파이크)' 소리를 내며 정보를 전달합니다. 이 시스템도 손이 닿은 순간만 '틱' 소리를 내며 데이터를 보냅니다.
• 장점:
  • 에너지 절약: 뇌는 불필요한 때는 전기를 쓰지 않듯, 이 AI 도 데이터가 없으면 계산을 안 합니다. 기존 AI 대비 **계산량은 65%, 메모리 사용량은 15.6%**만 사용합니다.
  • 정확도: 에너지는 아끼면서도 숫자 인식 정확도는 **92.11%**로 매우 높습니다. (기존 방식보다 더 정확하고 빠름)

4. 실제 실험 결과: "손으로 숫자 쓰기"

연구팀은 13 명의 참가자에게 손으로 숫자 (1~9) 를 쓰게 했습니다.

• 기존 방식: 모든 센서에서 데이터를 계속 받아와서 처리해야 해서 무겁고 느립니다.
• 이 연구의 방식: 숫자를 쓸 때 실제로 닿은 부분만 '틱, 틱'하며 신호를 보내고, FPGA(작은 컴퓨터 칩) 가 이를 바로 처리합니다.
• 결과: 데이터 양은 99% 줄었지만, 숫자를 구분하는 능력은 92% 이상 유지되었습니다.

요약: 왜 이것이 중요한가요?

이 기술은 로봇이 물건을 잡거나, 우리가 스마트폰을 터치할 때 배터리가 빨리 닳지 않으면서도 매우 정교하게 반응할 수 있게 해줍니다.

• 기존: "내가 지금 손가락을 댔나요? 아니요? 아니요? 아니요? (계속 확인)" → 전기 낭비, 느림
• 이 연구: "손가락이 닿았어요! (틱!) → 바로 처리" → 전기 절약, 빠름, 똑똑함

결국 이 시스템은 로봇이 인간의 피부처럼 가볍고, 빠르고, 똑똑하게 세상을 느끼고 반응할 수 있는 첫걸음을 내디딘 것입니다.

기술 요약

논문 요약: 이벤트 기반 이진 스캔 및 실시간 SNN 분류를 통한 신경형 전자 피부 시스템

1. 연구 배경 및 문제 제기 (Problem)

• 기존 방식의 한계: 현재의 전자 피부 (E-skin) 및 촉각 센서 시스템은 주로 '프레임 기반 (Frame-based)' 스캔 방식을 사용합니다. 이는 모든 센서 요소를 주기적으로 폴링하여 전체 '촉각 프레임'을 구성하는 방식으로, 데이터의 공간적 희소성 (Spatial Sparsity) 과 시간적 중복성을 고려하지 않습니다.
• 비효율성: 모든 센서에서 활동이 없더라도 데이터를 계속 수집하므로, 불필요한 전력 소모와 데이터 전송 오버헤드가 발생합니다.
• 처리 파이프라인의 불일치: 이벤트 기반 스캔으로 데이터를 줄이더라도, 분류를 위해 기존 인공 신경망 (ANN/CNN) 을 사용할 경우 희소 데이터를 다시 밀집된 프레임으로 변환해야 하므로, 획득 단계에서의 효율성 이득이 사라집니다. 또한 ANN 은 임베디드 시스템에 적합하지 않은 높은 계산량과 파라미터 수를 요구합니다.

2. 제안된 방법론 (Methodology)

이 논문은 센싱부터 신경형 컴퓨팅까지 통합된 엔드 - 투 - 엔드 (End-to-End) 신경형 아키텍처를 제안합니다.

• 하드웨어 시스템:

  • 센서: 16×16 피저저항 (Piezoresistive) 촉각 어레이 (총 256 개 픽셀, 150mm×150mm).
  • 프론트엔드 (AFE): FPGA 기반의 다중 채널 데이터 수집 시스템. OPA2991 연산 증폭기와 16 채널 ADC(ADS7961) 를 사용하여 아날로그 신호를 디지털화합니다.
  • 프로세서: FPGA 에 구현된 컨볼루션 스파이킹 신경망 (Conv-SNN).

• 핵심 알고리즘 1: 이벤트 기반 이진 스캔 검색 전략 (Event-based Binary Scan Search)

  • 동작 원리: 모든 행을 활성화하여 열의 병렬 저항을 측정합니다. 압력이 가해진 픽셀은 저항이 급격히 감소하므로, 열의 병렬 저항 변화를 통해 활성 영역의 유무를 탐지합니다.
  • 이진 검색: 활성 열이 감지되면, 비활성 영역을 빠르게 배제하고 이진 검색 (Binary Search) 방식을 통해 터치 핫스팟을 정밀하게 국소화합니다.
  • 샘플링 재할당: 터치 핫스팟이 결정되면, 해당 영역 (3×3) 에만 샘플링 자원을 집중적으로 할당하여 동적 범위 (Dynamic Range) 를 확장합니다.
  • 데이터 변환: 획득된 희소 데이터는 델타 변조 (Delta Modulation) 를 통해 3 진수 스파이크 (-1, 0, +1) 시퀀스로 변환됩니다.

• 핵심 알고리즘 2: FPGA 기반 Conv-SNN

  • 변환된 비동기 스파이크 스트림을 직접 처리하는 다층 컨볼루션 스파이킹 신경망을 사용합니다.
  • CNN 과 달리 입력 데이터의 희소성을 활용하여 'Zero-skipping' 기법으로 불필요한 계산을 생략합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 이벤트 기반 이진 스캔 전략: 기존 방식 대비 스캔 횟수를 12.8 배 감소시키고, 데이터 압축률을 38.2 배 달성하며, 동적 범위를 28.4 배 향상시켰습니다.
2. 고효율 FPGA 기반 Conv-SNN: 기존 CNN 대비 **계산량은 65%, 가중치 저장 공간은 15.6%**만 사용하면서도 높은 정확도를 유지합니다.
3. 완전한 신경형 파이프라인 및 데이터셋 구축: 아날로그 센싱부터 신경형 분류까지 통합된 시스템을 구현했으며, 주소 이벤트 표현 (AER) 형식의 실제 신경형 촉각 데이터셋을 구축하여 공개했습니다.

4. 실험 결과 (Results)

• 데이터 희소성 및 압축: 획득된 데이터의 희소성 (Sparsity) 은 **99%**에 달했습니다. 압축 비율 (Compression Ratio) 은 약 38.2 배 (델타 값 6 기준) 로, 저장 공간 96% 를 절약할 수 있었습니다.
• 분류 정확도: 손글씨 숫자 (1~9) 인식 작업에서 **92.11%**의 정확도를 달성했습니다.
  • 단순 SNN(86.18%) 보다 6% 이상 높은 정확도를 보였으며, 이는 컨볼루션 커널이 스파이크 기반 네트워크에서 공간적 특징을 효과적으로 추출했음을 의미합니다.
  • 기존 CNN(89%) 보다도 정확도가 높았으며, 스파이크 인코딩의 노이즈 내성 덕분으로 판단됩니다.
• 계산 효율성:
  • CNN 대비 Forward-pass 계산 비용 (MACs) 을 1.53 배 감소시켰습니다.
  • 가중치 메모리 사용량은 CNN 대비 6.4 배 감소했습니다.
• 압축률과 정확도의 트레이드오프: 델타 임계값을 조절하여 최적의 압축률 (38.2 배) 에서 93.4% 의 최대 정확도를 달성할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇의 지능적 물리적 상호작용 및 인간 - 컴퓨터 인터페이스 (HCI) 를 위한 초저전력, 고효율 전자 피부 시스템의 새로운 패러다임을 제시합니다.

• 실시간성: 이벤트 기반 아키텍처는 불필요한 데이터 처리를 제거하여 실시간 반응 속도를 보장합니다.
• 엣지 디바이스 적합성: FPGA 에서 구현된 경량화된 Conv-SNN 은 제한된 자원을 가진 엣지 장치에서도 복잡한 촉각 인식 작업을 수행할 수 있음을 입증했습니다.
• 미래 전망: 본 시스템은 단순한 데이터 수집을 넘어, 생체 모방 (Bio-inspired) 원리에 기반한 완전 통합형 신경형 감각 처리 시스템으로서의 가능성을 보여주었으며, 향후 더 복잡한 로봇 작업 및 실제 환경 배포를 위한 기반을 마련했습니다.