기술 요약: 비지도 인지 (Unsupervised Cognition)

문제 정의

전통적인 비지도 학습 방법은 주로 인코딩 공간에서의 근접성(예: K-Means, Invariant Information Clustering)을 기반으로 데이터를 그룹화하는 수학적 클러스터링에 의존한다. 저자들은 이러한 접근 방식이 근본적인 한계를 가지고 있다고 주장한다. 즉, 이들은 '인지적' 관계가 아닌 '수학적' 관계를 최적화한다는 것이다. 예를 들어, MNIST 데이터셋에서 샘들의 인지적 관계는 그것이 나타내는 숫자 값이지만, 수학적 클러스터링은 종종 인간의 인지와 일치하지 않는 픽셀 인코딩 간의 관계를 우선시한다. 또한, 기존 방법들은 대개 데이터를 추상화하는 '구성적 관점(constructive perspective)'보다는 입력 공간을 하위 공간으로 나누는 '최적화 관점(optimization perspective)'을 취한다. 이는 모델이 작거나 불완전한 데이터셋을 효과적으로 처리하지 못하고, 설명 가능성이 부족하며, 입력이 알려진 패턴에 부합하지 않을 때 이를 인식하지 못하는 결과를 초래한다.

방법론: 노듈 알고리즘 (The Nodule Algorithm)

본 논문은 합성 인지(Synthetic Cognition) 프레임워크와 **자기 투영 지속 원리(Self-Projecting Persistence Principle, SPPP)**에서 영감을 받은 프리미티브 기반의 비지도 학습 알고리즘인 Nodule을 제안한다. 전통적인 클러스터링과 달리, Nodule은 분산된 계층적 표현 구조를 구축함으로써 입력 공간을 구성적으로 모델링한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있다.

1. 체화 (The Embodiment)

체화는 모든 입력(표 형식, 이미지 등)을 **희소 분산 표현(Sparse Distributed Representations, SDRs)**으로 변 변환하는 인터페이스 역할을 한다. 이를 통해 알고리즘은 입력 불가지론적(input-agnostic) 성격을 갖는다.

• 인코딩: 입력은 SDR로 변환된다. 이미지의 경우 픽셀을 정규화하고, 수치형 데이터의 경우 유사성 탐지를 위해 특정 중첩(예: 10%)을 가진 빈(bin) 처리를 하며, 범주형 데이터의 경우 원-핫 인코딩을 사용한다.
• 디코딩: 그에 상응하는 디코더를 통해 내부 SDR을 인간이 이해할 수 있는 출력(레이블)으로 다시 번역할 수 있다.

2. 노듈 (The Nodule - 핵심 처리 단위)

노듈은 **풋프린트(Footprints)**와 **셀(Cells)**로 구성된 계층적 트리 구조를 사용하여 SDR을 처리한다.

• 풋프린트 (Footprint): 기본 프리미티브이다. 데이터 SDR과 메타데이터 SDR(예: 레이블)을 저장한다. 이는 데이터의 실행 평균을 계산하는 업데이트 함수와 **원형(Archetype)**을 생성하는 활성화 함수를 보유한다. 원형은 SPPP로부터 유도된, 입력의 추상화된 구성적 표현이다.
• 셀 (Cell): 중복을 피하기 위해 여러 풋프린트를 그룹화하는 컨테이너이다. 입력이 도착하면, 셀은 가장 유사한 풋프린트(유사성 임계값을 초과하는 것)를 선택하여 처리한다. 만약 적절히 유사한 풋프린트가 없다면 새로운 풋프린트를 생성한다.
• 계층 구조 (Nodule): 셀들은 트리 구조로 조직된다. **시드 셀(Seed Cell)**이 루트(root)에 위치한다. 셀 내의 풋프린트가 기존 풋프린트와 너무 이질적인 입력을 받으면, 해당 입력 공간의 특정 하위 집합을 세분화하기 위해 새로운 자식 셀이 생성된다. 이를 통해 리프(leaf) 셀은 특정 입력을 나타내고 상위 레벨 셀은 더 넓은 추상화를 나타내는 분산된 계층 구조가 생성된다.

처리 흐름:

1. 필터링 단계: 입력 SDR은 모든 풋프린트와 비교된다. 임계값(셀의 임계값)을 초과하는 가장 유사한 풋프린트가 선택된다. 일치하는 풋프린트가 없으면 시드 셀에 새로운 풋프린트가 생성된다.
2. 추상화 단계: 선택된 풋프린트가 활성화되어 내부 표현을 업데이트하고 원형을 생성한다. 이 원형은 부모 셀로 전달되어 재귀적으로 부모 풋프린트를 업데이트한다. 이러한 집계는 시스템이 단순한 복제가 아닌, 일반화하고 구성적 표현을 구축할 수 있게 한다.

3. 공간 주의 조절기 (Spatial Attention Modulator)

임의적인 임계값 설정을 피하기 위해, 알고리즘은 공간 주의 조절기를 사용한다. 이 구성 요소는 각 셀 내의 풋프린트 간 평균 평균 유사도를 기반으로 각 셀의 유사성 임계값을 동적으로 계산한다. 이를 통해 시스템은 자동 조절 가능한 공간 판별력을 갖게 되며, 자식 셀은 더 구체적인 하위 영역을 나타냄에 따라 자연스럽게 더 높은 임계값(더 미세한 판별력)을 발달시킨다.

주요 기여

1. 구성적 표현: 본 논문은 입력 공간을 분할하는 것에서 벗어나, 잠재 정보를 근사하는 구성적 표현(원형)을 구축하는 것으로의 전환을 제시한다.
2. 입력 불가지론적 아키텍처: SDR을 활용함으로써 알고리즘은 다양한 데이터 유형(표 형식, 그레이스케일, 컬러)을 단일 프레임워크 내에서 처리한다.
3. "모른다"는 능력: 알고리즘은 입력이 학습된 패턴과 일치하지 않을 때(유사성이 모든 임계값 미만일 때) 이를 명시적으로 말할 수 있어, 환각(hallucination)과 오분류를 방지한다.
4. 설명 가능성: SDR의 계층적 구조 덕분에 결정 경로를 시드 셀에서부터 활성화된 풋프린트까지 추적할 수 있어, 분류 과정을 투명하게 만든다.
5. 프리미티브 기반 처리: 시스템은 계층을 통해 확장되는 단일 프리미티브(풋프린트)에 의존하며, 이는 딥 뉴럴 네트워크의 복잡한 최적화 지형을 피한다.

실험 결과

저자들은 네 가지 실험 카테고리에 걸쳐 최신 비지도 학습 방법(K-Means, IIC) 및 지도 학습 베이스라인(K-NN)과 Nodule을 비교 평가하였다.

1. 비지도 분류:

   • 데이터셋: 표 형식(Sonar, Ionosphere 등) 및 이미지(MNIST, CIFAR10).
   • 결과: Nodule은 K-Means 및 IIC와 대등하거나 더 나은 성능을 보였다. 특히, MNIST의 경우 IIC가 약 1,700개의 샘플을 필요로 한 반면, Nodule은 현저히 적은 수의 훈련 샘플(예: <200개)로 높은 정확도를 달성했으며, ICC가 수백 에포크를 요구하는 것과 달리 단 한 번의 데이터 통과(one epoch)만으로 수행되었다.

2. 작고 불완전한 데이터셋:

   • 설정: 6개 데이터셋에서 최대 50%의 결측 데이터를 시뮬레이션함.
   • 결과: Nodule은 Random Forest와 SANDA(불완전한 데이터에 대한 최신 방법)보다 뛰어난 성능을 보이며, 데이터가 희소하거나 누락된 상황에서의 견고함을 입증했다.

3. 의료 분류 (암 유형):

   • 설정: Cancer Type 데이터셋을 이용한 암 하위 유형 분류.
   • 결가: Nodule은 비지도 접근 방식임에도 불구하고 Graph Convolutional Networks(GCN), Graph Attention Networks(GAT) 및 기타 최신 모델들(0.712 ~ 0.735 범위)을 제치고 0.746의 정확도를 달s성했다.

4. 인지 유사 능력 (노이즈 견고성):

   • 설정: 무작위로 픽셀이 제거된(0% ~ 100% 노이즈) MNIST 숫자.
   • 결과: Nodule은 뛰어난 견고성을 보여주었으며, 픽셀의 80%가 제거된 상태에서도 높은 정확도를 유지했다. Nodule은 AUC(Area Under the Curve)에서 훈련 시 92.60, 테스트 시 76.23을 기록하며 K-Means, IIC, K-NN을 크게 앞질렀다. 저자들은 이를 계층적이고 구성적인 표현 덕분이라고 설명하며, 시스템이 문자 그대로의 픽셀 패턴이 아닌 중간 단계의 추상화에 매칭할 수 있기 때문이라고 분석했다.

의의 및 주장

본 논문은 Nodule이 의사결정을 위한 비지도 학습의 **파괴적인 최신 기술(disruptive state-of-the-art)**임을 주장한다. 이 알고리즘의 의의는 다음과 같다:

• 인지적 정렬: 전통적인 최적화 기반 알고리즘과 달리, 인간의 인지(노이즈에도 불구하고 패턴을 인식하고, '알 수 없는' 입력을 이해하는 것)와 유사한 행동을 보인다.
• 데이터 효율성: 최소한의 데이터와 단일 패스 학습으로 높은 성능을 달성하여, 데이터가 부족하거나 비용이 많이 드는 시나리오에 적합하다.
• 투명성: 현대 AI의 고질적인 문제인 '블랙박스' 문제를 해결하며, 높은 수준의 설명 가능성과 "모른다"는 능력을 제공한다.

저자들은 많은 SDR의 저장으로 인한 높은 메모리 비용과 명시적인 최적화 목적 함수의 부재(이로 인해 미세 조정된 지도 학습 모델에 비해 최고 분류 정확도가 제한될 수 있음)를 주요 한계점으로 인정한다. 그러나 그들은 이러한 트레이드오프가 입력 공간의 의미 있고 구성적인 표현을 구축하는 알고리즘의 능력에 의해 정당화된다고 주장한다. 향후 연구로는 성장 억제 메커니즘을 통한 메모리 확장성 해결과 소리(sound) 또는 시계열 데이터와 같은 다른 모달리티로의 아키텍처 확장을 제안하였다.