기술적 요약: 센서모터 객체 추론을 위한 기저로서의 시간적 코딩

1. 문제 제기

**천 개의 뇌 이론 (Thousand Brinds Theory, TBT)**과 그 오픈소스 구현체인 Monty는 센서를 물체 표면을 따라 능동적으로 이동시키며 접촉마다 증거를 축적하여 물체를 식별하는 센서모터 추론을 통해 객체 인식을 모델링합니다. 그러나 현재 Monty 구현체는 각 접촉을 **밀집된 부동소수점 벡터 (dense floating-point vector)**로 인코딩합니다. 시스템이 단계 간 변위를 추적하고 증거를 축적하지만, 각 접촉 시의 특징 활성화 패턴을 **순서 없는 집합 (unordered set)**으로 취급합니다.

이 접근법은 중요한 정보를 폐기합니다: 특징들이 만나는 방향적 순서입니다. 예를 들어, 왼쪽에서 오른쪽으로 머그잔 손잡이를 가로지르는 센서 (매끄러움 → 곡선 → 가장자리) 는 오른쪽에서 왼쪽으로 가로지르는 센서 (가장자리 → 곡선 → 매끄러움) 와 동일한 축적 증거를 생성합니다. 비록 이러한 이동 경로가 반대되는 공간적 방향을 나타내더라도요. 현재 아키텍처는 "특징 A 가 특징 B 보다 먼저 감지되었다"는 사실을 표현하지 못하며, 이 순서는 본질적으로 물체의 기하학적 구조에 대한 공간적 의미를 내포합니다.

2. 방법론

본 논문은 센서 접촉의 표현을 밀집 벡터에서 **순위 기반 스파이크 패킷 (rank-order spike packets)**으로 전환하는 Monty 아키텍처의 재해석을 제안합니다. 이 변경은 특징 활성화의 시간적 순서를 보존하여 발화 순서 자체를 표현으로 만듭니다. 제안된 아키텍처는 네 가지 통합된 구성 요소로 구성됩니다:

A. SpikeEncoder (스파이크 인코더)

정적 벡터 대신 각 접촉은 신경 이벤트의 짧은 폭발을 생성합니다. 뉴런들은 활성화 강도에 기반하여 **순위 (rank-order)**대로 발화합니다: 가장 강하게 활성화된 뉴런이 먼저 ($t=0$) 발화하고, 그 뒤로 지연 시간이 증가하는 다른 뉴런들이 이어집니다.

• 메커니즘: 한 접촉이 $0.9, 0.2, 0.1$의 강도로 뉴런$N_1, N_2, N_3$를 활성화하면, 스파이크 패킷은$N_1 \to N_2 \to N_3$ 순서로 배열됩니다.
• 의의: 동일한 특징 집합을 가지지만 이동 순서가 다른 두 접촉은 서로 다른 스파이크 시퀀스를 생성합니다 (예: 한쪽에서는 $N_{smooth}$가 먼저, 다른 쪽에서는 $N_{edge}$가 먼저 발화).

B. LatencyDecoder (지연 디코더)

이 구성 요소는 **패킷 간 지연 시간 (inter-packet latency, 연속적인 스파이크 폭발 사이의 시간 간격)**으로부터 공간적 변위를 암묵적으로 추론합니다.

• 메커니즘: 균일한 모터 속도 $v$를 가정할 때, 변위는 $\Delta x \approx v \cdot \Delta t \cdot \text{direction}$으로 계산됩니다.
• 의의: 명시적인 좌표 계산이나 외부 오도메트리 (odometry) 가 필요하지 않게 됩니다. 신경 이벤트의 타이밍이 공간적 척도로 작용합니다.

C. STDP 학습 규칙

학습 메커니즘은 표준 축적을 **스파이크 타이밍 의존적 가소성 (Spike-Timing Dependent Plasticity, STDP)**으로 대체합니다.

• 메커니즘: 시냅스 가중치는 시냅스 전 뉴런이 시냅스 후 뉴런보다 바로 전에 발화할 때 (인과적 순서) 강화되고, 순서가 반전되면 약화됩니다.
• 의의: 반복적인 탐색 후 가중치 행렬은 표면 이동의 방향적 구조 (예: $N_{smooth} \to N_{curved} \to N_{edge}$) 를 인코딩하여, 밀집 벡터로는 구분할 수 없는 정방향 및 역방향 이동을 구별합니다.

D. 학습 가능한 $\lambda$를 가진 적응형 증거 축적기

학습 가능한 매개변수 $\lambda$ ($0 \le \lambda \le 1$) 는 최근 접촉과 축적된 역사 중 어느 것에 의존할지 그 균형을 조절합니다.

• 메커니즘: 업데이트 규칙은 $E(t+1) = (1-\lambda) \cdot \text{likelihood}(\text{obs}_t) + \lambda \cdot E(t)$입니다.
• 적응: $\lambda$는 예측 오도에 기반하여 조정됩니다. 균일한 물체 (예: 구) 의 경우 $\lambda$는 낮은 값으로 수렴하여 (현재 접촉을 신뢰) 복잡한 분산된 고유 특징을 가진 물체 (예: 전동 드릴) 의 경우 $\lambda$는 높은 값으로 수렴하여 (역사에 의존) 합니다.

3. 주요 기여

1. 정보 분석: 센서모터 탐색 중 밀집 벡터 표현에 의해 폐기된 공간 정보에 대한 정밀한 설명.
2. 순위 인코딩: 특징 활성화의 방향적 순서를 보존하는 스파이크 패킷 인코딩 방식.
3. 암묵적 변위: 명시적인 포즈 변환 없이 패킷 간 타이밍 간격으로부터 공간적 변위를 추론하는 메커니즘.
4. 인과 학습: 이동 방향을 시냅스 가중치에 인코딩하는 STDP 기반 학습 규칙.
5. 적응형 컨텍스트: 특정 물체의 기하학적 복잡성에 맞춰 기억 지평을 적응시키는 학습 가능한 $\lambda$ 매개변수.
6. 구현: 기존 Monty 코드베이스 내에서 약 450 줄의 NumPy 코드로 구현된 최소 구현체와 함께 세 가지 검증 가능한 예측.

4. 실험 결과

본 논문은 YCB 객체 데이터셋 벤치마크를 사용한 세 가지 합성 실험을 통해 핵심 주장을 검증합니다:

• 이동 경로 구별 (예측 3):
  • 작업: 동일한 특징 집합을 가지지만 공간적 배열이 반대인 두 물체 (예: 매끄러움 - 곡선 - 가장자리 vs. 가장자리 - 곡선 - 매끄러움) 를 구별.
  • 결과: 밀집 축적은 합산된 특징 벡터가 동일했기 때문에 **우연 수준 (51.2%)**의 성능을 보였습니다. 시간적 코딩은 STDP 를 통해 인코딩된 고유한 인과 경로를 활용하여 100% 정확도를 달성했습니다.
• 잡음 강건성 (예측 2):
  • 작업: 다양한 수준의 센서 잡음 ($\sigma$) 하에서 성능 평가.
  • 결과: 시간적 코딩은 모든 테스트된 잡음 수준에서 밀집 축적보다 30~50 퍼센트 포인트의 정확도 우위를 유지했습니다. 밀집 성능은 우연 수준에 머무른 반면, 시간적 코딩은 우아하게 저하되어 높은 잡음 ($\sigma=0.50$) 에서도 79.2% 정확도를 유지했습니다.
• 람다 수렴:
  • 작업: 다양한 기하학적 복잡성을 가진 물체들에서 $\lambda$의 수렴 관찰.
  • 결과: 시스템은 물체 구조를 반영하는 고유한 $\lambda$ 값을 자율적으로 학습했습니다: 균일한 표면 (구) 의 경우 0.30, 중간 복잡도의 경우 0.60, 복잡한 표면 (전동 드릴) 의 경우 0.87.

5. 의의 및 주장

본 논문은 센서모터 추론에서 접촉의 순서가 단순히 의미를 운반하는 수단이 아니라 의미 그 자체를 구성한다고 주장합니다. 특징 활성화의 시간적 순서를 폐기함으로써 TBT 의 현재 밀집 벡터 구현체는 동일한 물체의 공간적으로 반대되는 이동 경로를 구별할 능력을 상실합니다.

제안된 아키텍처는 시간적 코딩이 다음과 같은 구조적 이점을 제공함을 보여줍니다:

• 데이터 효율성: 더 적은 접촉으로 높은 구별 정확도 달성.
• 강건성: 좌표 추정이 저하된 잡음이 있는 모터 실행 하에서도 성능 유지.
• 일반화: 새로운 공간적 특징 배열로 이전 가능한 쌍별 인과 순서 인코딩.

저자들은 명시적으로 이 작업이 센서모터 추론의 계산적 효율성을 다루며 기계 의식 문제에 대한 해결을 주장하지 않는다고 명시합니다. 핵심 주장은 겸손하지만 구체적입니다: 제안된 순위 기반 스파이크 패킷 아키텍처는 현재 Monty 프레임워크가 폐기하는 정보를 복원하여, 현재는 구별 불가능한 물체 기하학을 시스템이 구별할 수 있게 합니다. 전체 YCB 벤치마크에 대한 엔드 투 엔드 평가는 향후 과제로 언급됩니다.