🤖 AI

FactorHD: A Hyperdimensional Computing Model for Multi-Object Multi-Class Representation and Factorization

이 논문은 중첩 문제(superposition catastrophe)와 같은 한계를 극복하는 동시에 상당한 속도 향상과 높은 정확도를 달성하기 위해, 암기 절(memorization clause)을 포함한 기호적 인코딩과 효율적인 인수분해 알고리즘을 활용하여 복잡한 다중 객체 클래스-서브클래스 관계를 효과적으로 표현하고 인수분해하는 새로운 초차원 컴퓨팅 모델인 FactorHD를 소개한다.

원저자: Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

게시일 2026-07-29

📖 2 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 숫자를 계산하는 것을 넘어, 인간의 뇌가 가진 패턴 인식 능력과 수학자의 논리적 정밀함을 결합하여 실제로 인간처럼 "생각"하는 세상을 상상해 보십시오. 이것은 바로 **신경-기호형 AI(Neuro-symbolic AI)**의 영역으로, 단순히 정보를 암기하는 것이 아니라 세상에 대해 추론할 수 있는 기계를 구축하려는 분야입니다. 이 노력의 중심에는 **초차원 컴퓨팅(Hyperdimensional Computing, HDC)**이라는 개념이 있습니다. HDC를 모든 정보가 거대하고 고유한 벡터(긴 숫자 목록)로 이루어진 거대한 다차원 서류함이라고 생각해 보십시오. 이 시스템에서는 두 항목(예: 개와 빨간색)을 하나로 "결합(bind)"하여 새로운 고유한 시그니처를 만들거나, 여러 항목(예: 개와 고양이)을 하나로 "묶음(bundle)"하여 한데 모아 저장할 수 있습니다. 이는 우리 뇌가 흐릿한 사진 속에서도 친구의 얼굴을 알아볼 수 있는 것과 마찬가지로 매우 빠르고 노이즈를 처리하는 데 탁월합니다. 하지만 문제가 하나 있습니다. 복잡한 가계도나 계층 구조(예: "피도는 스패니얼이고, 스패니얼은 개이며, 개는 동물이다")를 저장하려고 하면, 기존의 서류 관리 방식은 엉망이 됩니다. 이들은 전체적인 맥락을 놓치지 않으면서 더미에서 단 하나의 항목만을 정확히 추출해 내는 데 어려움을 겪는데, 이를 "중첩의 재앙(superposition catastrophe)"이라고 부릅니다.

이때 제자강 대학교 연구진이 제안한 새로운 모델인 FactorHD가 등장하여, 이 초차원 파일들을 관리하는 숙련된 사서 역할을 수행합니다. 이 논문은 FactorHD가 복잡하고 다층적인 관계를 가진 여러 객체를 정리하는 과정에서의 무질서를 해결한다고 제안합니다. 단순히 모든 것을 한 더미에 던져 넣는 대신, FactorHD는 "메모리 절(memory clause)"을 혼합하는 영리한 새로운 인코딩 방식을 사용합니다. 모든 책이 거대한 공 모양으로 서로 붙어 있는 도서관에서 특정 책을 찾는 상황을 상상해 보십시오. 기존 방식은 그 안에 무엇이 들어 있는지 확인하기 위해 모든 실타래를 일일이 잡아당겨야 했고, 그 과정에서 종종 엉키기도 했습니다. 그러나 FactorHD는 책들을 붙이기 전에 각 책에 특별하고 고유한 태그를 부착합니다. 특정 책을 찾고 싶을 때, 여러분은 그 태그를 찾기만 하면 됩니다. 그러면 전체를 풀어서 엉킨 것을 풀 필요 없이 원하는 책을 즉시 분리해 낼 수 있습니다. 연구진은 이 방법이 단순히 무질서를 해결하는 데 그치지 않고, 빛의 속도로 처리한다는 것을 발견했습니다. 테스트 결과, FactorHD는 표준 신경망과 결합하여 Cifar-10 데이터셋에서 약 **92.48%**라는 매우 높은 정확도를 유지하면서도, 방대한 양의 데이터를 다룰 때 기존 모델보다 최대 5,667배 더 빨랐습니다. 이는 우리가 데이터에 작성하는 "태그" 방식을 바꿈으로써, AI가 노이즈에 휘말리지 않고 복잡한 현실 세계의 계층 구조를 훨씬 더 잘 이해하도록 만들 수 있음을 시사합니다.

기술 요약: FactorHD

문제 정의
뉴로-심볼릭 인공지능(neuro-symbolic AI)은 논리적 분석과 추론을 수행하기 위해 하이퍼디멘셔널 컴퓨팅(Hyperdimensional Computing, HDC)에 의존한다. 기존의 HDC 모델은 바인딩-번들링(binding-bundling) 구조를 사용하여 단순한 클래스-인스턴스(class-instance) 또는 클래스-클래스(class-class) 관계를 효과적으로 표현하지만, 여러 객체가 서로 다른 수준의 클래스 및 하위 클래스에 연관되는 더 복잡한 클래스-하위 클래스(class-subclass) 관계(예: 동물 $\to$ 개 $\to$ 스패니얼 $\to$ 피도)를 다루는 데에는 어려움을 겪는다.

현재 모델들은 이 영역에서 세 가지 주요 과제에 직면해 있다:

중첩 카타스트로피(Superposition Catastrophe): 여러 객체를 표현할 때, 하위 클래스 항목들이 뒤섞여 구분이 불가능해진다.
2의 문제(The Problem of 2): 여러 개의 동일한 객체를 동시에 표현하면 정보 손실이 발생한다.
분해의 비효율성(Inefficiency in Factorization): 계층 구조(클래스 및 하위 클래스의 수)가 확장됨에 따라, 기존 모델은 전수적인 반복적 언바인딩(unbinding) 연산과 유사도 측정을 요구한다. 이는 높은 계산 비용과 시간 복잡도(종종 $O(N^2M)$ 을 초과)를 초래하여 대규모 시나리오에 부적합하게 만든다. 또한, 현재의 모델들은 관심 있는 하위 클래스의 일부만을 위해서라도 객체의 전체 분해를 수행해야 하는 경우가 많다.

방법론: FactorHD
저자들은 복잡한 클래스-하위 클래스 계층을 효율적으로 표현하고 분해하도록 설계된 새로운 HDC 모델인 FactorHD를 제안한다. 이 방법론은 두 가지 핵심 구성 요소로 이루어진다:

심볼릭 인코딩 (Bundling-Binding-Bundling):
- FactorHD는 항목들을 연결하기 위해 추가적인 기억 절(memorization clause)(중복 클래스 레이블, LABEL로 표기)을 임베딩하는 심볼릭 인코딩 방법을 도입한다.
- 구조는 bundling-binding-bundling 형태를 따른다:
  - 동일한 클래스에 속하는 하위 클래스 레벨들은 번들링(덧셈)을 통해 결합된다.
  - 서로 다른 클래스들은 바인딩(곱셈)을 통해 연결된다.
  - 서로 다른 객체들은 번들링을 통해 연결된다.
- 결정적으로, 특정 클래스 항목이 객체와 연관되어 있지 않더라도, 모델은 해당 클래스 레이블을 예약하고 이를 글로벌 NULL HV와 번들링한다. 이는 이전 모델들이 요구했던, 객체에 어떤 클래스가 존재하는지에 대한 사전 지식의 필요성을 제거한다.
효율적인 분해 알고리즘:
- 이 알고리즘은 중복되는 클래스를 선택적으로 제거함으로써 전수 조사를 피한다. 선택되지 않은 클래스 레이블을 언바인딩하고, 결과 벡터와 대상 클래스의 하위 클래스 항목 간의 유사도를 계산한다.
- 단일 객체: 가장 높은 유사도를 가진 항목이 선택되며, 이후 하위 클래스 레벨에 대해 이 과정이 반복된다.
- 다중 객체: 특정 레벨에서 미리 정의된 **임계 유사도(Threshold Similarity, TH)**를 초과하는 모든 하위 클래스 항목을 식별한다. 그 후, 이 후보들을 조합하여 형성하기 위해 선택적으로 바인딩한다. 만약 조합의 유사도가 대상 HV를 초과하면 해당 객체가 확인된다.
- 임계값 선택: 최적의 $TH $값($ TH^*$)은 HV 차원( $D$ ), 객체의 수( $N$ ), 그리고 인자의 수( $F$ )를 기반로 결정된다. 논문은 다음과 같은 적합 공식을 제공한다: $TH^* = 0.001(10^4 + 2N - 15F - 0.001D - \log(M))$ .

주요 기여

새로운 표현 방식: FactorHD는 정보 보존을 위한 중복 클래스 레이블을 활용하여, 중첩 카타스트로피나 '2의 문제'를 겪지 않고 다중 객체의 다단계 하위 클래스 계층을 지원한다.
효율적인 알고리즘: 제안된 분해 알고리즘은 계산 복잡도를 기존 방식의 지수적 또는 이차적 복잡도와 비교하여 약 **$O(NM) $**($ N $은 객체의 수,$ M$은 클래스당 하위 클래스 항목의 수)으로 크게 줄인다. 또한, 전체 계층을 처리하지 않고도 관심 있는 특정 하위 클래스를 추출할 수 있는 **부분 분해(partial factorization)**를 가능하게 한다.
확장성 및 정확도: 모델은 문제 규모가 커짐에 따라 발생하는 기존 C-C(Class-Class) 및 C-I(Class-Instance) 모델의 한계를 극복하며 높은 분해 정확도를 유지한다.

실험 결과
합성 표현(Rep 1, 2, 3)과 특징 추출을 위한 ResNet-18 신경망이 통합된 실제 데이터셋(RAVEN, Cifar-10, Cifar-100)을 대상으로 평가를 수행하였다.

속도 향상: FactorHD는 표현 크기가 $10^9$ 일 때 기존 HDC 모델(resonator network 및 IMC factorizer 등) 대비 5667배의 속도 향상을 달{%치한다. 크기가 $10^6$ 일 때의 속도 향상은 약 18.5배이다.
합성 데이터에 대한 정확도: FactorHD는 낮은 HV 차원에서도 99% 이상의 분해 정확도를 유지하는 반면, 베이스라인 모델(예: resonator network)은 문제 규모가 증가함에 따라 실패한다.
실제 데이터셋:
- Cifar-10 데이터셋에서 ResNet-18과 통합된 FactorHD는 **92.48%**의 분해 정확도를 달성했다.
- Cifar-100에서, 모델은 표준 신경망 분류 작업과 비교하여 최소한의 손실(Cifar-10의 경우 정확도 손실 < 3%)만 보이며 높은 정확도를 입증했다.
- RAVEN 데이터셋에서, 모델은 $D=1000$ 일 때 대부분의 패턴에 대해 90% 이상의 정확도를 달성했다.

의의
본 논문은 FactorHD가 뉴로-심볼릭 AI에서의 "중첩 카타스트로피"와 "2의 문제"라는 근본적인 한계를 극복한다고 주장한다. 효율적인 부분 분해를 가능하게 하고 복잡한 계층 구조를 처리함으로써, FactorHD는 다중 객체 추론을 포함하는 더 넓은 시나리오로 HDC의 적용 가능성을 확장한다. 이 모델은 뉴로-심볼릭 시스템이 기존의 HDC 설계가 저해했던 전수적이고 반복적인 과정에 의존하지 않고도 높은 계산 효율성과 정확도를 달성할 수 있음을 보여준다.

기술 요약: FactorHD

유사한 논문