기술 요약: 다체 물리(Many-Body Physics)에서 영감을 얻은 유도 편향을 이용한 다중 흥분 투사적 시뮬레이션 (Multi-Excitation Projective Simulation)

1. 문제 정의

딥러닝 모델은 강력하지만, 종종 불투명한 "오라클(oracle)"로 기능하여 의사 결정 과정을 해석하기 어렵게 만듭니다. 이러한 투명성 부족은 설명 가능한 인공지능(XAI) 분야의 발전을 이끌었습니다. 기존의 XAI 프레임워크 중 하나인 **투사적 시뮬레이션(Projective Simulation, PS)**은 정점(클립)이 개념을 나타내는 그래프 위에서 단일 입자의 무작위 보행(random walk)으로 숙고(deliberation) 과정을 모델링합니다. PS는 해석 가능성과 양자화 가능성을 제공하지만, 근본적인 한계가 있습니다. 즉, 여러 개념을 동시에 결합하는 사고를 자연스럽게 모델링할 수 없다는 점입니다. 표준 PS에서는 단일 흥분이 모든 단기 정보를 운반해야 하므로, 복합적인 사고 구조(예: 여러 변수를 포함하는 논리적 연역)를 분리해낼 수 없습니다.

또한, 하이퍼그래프를 사용하여 여러 개념을 동시에 처리하도록 PS를 나이브하게 확장한 다중 흥분 PS(Multi-Excitation PS 또는 MEPS)는 지수적 복잡도 문제에 직면합니다. 정점의 멱집합(power set) 크기는 원자적 클립의 수에 따라 지수적으로 증가하며, 이는 학습 가능한 파라미터의 수와 단일 무작위 보행 단계의 계산 비용을 아주 작은 그래프를 제외하고는 실행 불가능한 수준으로 만듭니다.

2. 방법론

다중 흥분 투사적 시뮬레이션 (MEPS)

저자들은 숙고를 하이퍼그래프 상에서 여러 개의 입자(흥분)가 수행하는 무작위 보행으로 모델링하는 MEPS를 제안합니다.

• 구조: 에피소딕 및 구성적 메모리(Episodic and Compositional Memory, ECM)는 가중치가 부여된 유향 하이퍼그래프 $G=(V, E, h)$입니다. 정점 $V$는 원자적 클립(개념)이며, 하이퍼엣지 $E$는 입력 클립들의 집합을 출력 클립들의 집합으로 연결합니다.
• 상태: 에이전트의 상태는 현재 관련 있는 개념들의 집합을 나타내는 흥분 구성(excitation configuration) $C \subset V$입니다.
• 역학(Dynamics): 숙고 단계는 하이퍼엣지 가중치(h-값)를 기반으로 현재 구성 $C_{now}$에서 새로운 구성 $C_{next}$로의 전이를 샘플링하는 과정을 포함합니다.
• 학습: 에이전트는 보상과 지연된 보상을 위한 "글로우(glow)" 요인을 반영하여 h-값을 수정하는, PS에서 변형된 강화 학습 업데이트 규칙을 통해 학습합니다.

다체 물리에서 영감을 얻은 유도 편향 (The Many-Body Physics-Inspired Inductive Bias)

나이브한 MEPS의 지수적 복잡도를 극복하기 위해, 저자들은 양자 다체 물리(quantum many-body physics)에서 영감을 얻은 유도 편향을 도입합니다.

• 핵심 개념: 물리적 현상이 종종 소수의 입자 간 상호작용(few-body interactions)으로부터 발생하듯, 저자들은 MEPS의 전이가 한 번에 오직 몇 개의 흥분만을 다루는 **기초적 전이(elementary transitions)**로 구성되도록 제한합니다.
• 정식화: 임의의 정점 부분 집합에 대해 h-값을 정의하는 대신, 모델은 $i$개의 들어오는 흥분이 상호작용하여 $o$개의 나가는 흥분을 생성하는 기초적 전이 $(i, o)$에 대한 학습 가능한 파라미터를 정의합니다.
• 차단(Cutoff): 허용되는 $(i, o)$ 쌍을 정의하는 집합 $IO$를 설정합니다. 차단 조건은$i + o \leq \text{max_IO}$가 되도록 부과됩니다.
• 메커니즘: 단일 무작위 보행 단계에서 에이전트는 현재 구성 $C_{now}$의 부분 집합인 $C^{(i)}_{in} \subset C_{now}$를 사용하는 하나의 기초적 전이 $(C^{(i)}_{in} \to C^{(o)}_{out})$를 샘플링합니다. 새로운 구성은 기존의 입력 흥분을 제거하고 출력 흥분을 추가함으로써 형성됩니다: $C_{next} = (C_{now} \setminus C^{(i)}_{in}) \cup C^{(o)}_{out}$.
• 복잡도 감소: 저자들은 이 유도 편향이 학습 가능한 파라미터의 수와 숙고 단계의 복잡도를 지수적($O(2^{|V|})$)에서 다항식($O(|V|^{\text{max\_IO}})$)으로 감소시킨다는 것을 증명합니다. 다항식의 차수는 상호작용 차단 값에 의해 결정됩니다.

동적 하이퍼그래프 및 계층적 아키텍처

• 동적 하이퍼그래프: 훈련 이력은 동적 하이퍼그래프로 정식화되어, 에이전트의 메모리 구조가 시간에 따라 어떻게 진화하는지 시각화할 수 있게 합니다.
• 계층적 피드 포워드 변형: 특정 응용 분야를 위해, 저자들은 흥분이 레이어 사이를 이동하도록(예: 지각 $\to$ 은닉 $\to$ 행동) 제한하는 Inductive Bias 2FF(Feed-Forward)를 정의합니다. 또한 무작위 보행 길이에 대한 병리적인 "폭주(avalanches)"를 방지하기 위해 더 엄격한 변형(2SF 및 2DP)을 제안합니다.

3. 주요 기여

1. MEPS 프레임워크: 복합적 사고와 분리된 메모리 구조를 표현하기 위해 하이퍼그래프 상의 다중 입자 무작위 보행 모델을 도입했습니다.
2. 물리 영감 유도 편향: 양자 다체 물리의 소수체 상호작용에서 유도된 고전적 유도 편향을 정식화했습니다. 이는 MEPS의 계산 복잡도를 지수 함수에서 다항식으로 감소시킵니다.
3. 이론적 증명: 유도 편향이 학습 가능한 파라미터의 수와 무작위 보행 단계의 복잡도를 상호작용 차단에 의해 결정되는 다항식 차수로 감소시킨다는 것을 증명했습니다.
4. 동적 하이퍼그래프 정의: 에이전트의 훈련 이력을 모델링하고 시각화하기 위한 새로운 동적 하이퍼그래프 정의를 제시했습니다.
5. 양자적 동기: 클래식 유도 편향와 양자 다체 시스템의 해밀토니안(Hamiltonian) 사이의 관계를 공식적으로 도출하여, 양자 시뮬레이터 상에서 MEPS를 구현하기 위한 경로를 제시했습니다.

4. 실험 결과

저자들은 세 가지 합성 환경에서 다양한 유도 편향을 가진 MEPS를 평가했습니다:

• 방해 요소가 있는 침입 게임 (Invasion Game with Distraction): 두 개의 관련 관측치와 하나의 무관한 "방해 요소"에 따라 올바른 행동이 결정되는 컨텍스추얼 밴딧(contextual bandit) 문제입니다.
  • 결과: 문제의 복잡도와 일치하는 2-body 유도 편향을 가진 에이전트가 최적의 정책을 가장 빠르게 학습했습니다. 1-body 에이전트는 문제를 해결하지 못했고, 3-body 에이전트(표준 PS와 동일)는 문제를 해결했으나 더 큰 파라미터 공간으로 인해 학습 속도가 현저히 느렸습니다.
• 기만적 침입 게임 (Deceptive Invasion Game): 더 많은 행동과 기만적인 보상 구조(패리티 기반)를 가진 확장 버전입니다.
  • 결과: 2-body 에이전트가 3-body 에이전트보다 다시 한번 우수한 성능을 보였습니다. 1-body 에이전트는 필요한 복합 논리를 모델링할 수 없었기에 하위 최적 정책에 갇혀 학습에 실패했습니다.
• 컴퓨터 유지보수 (Computer Maintenance): 증상 $\to$ 부품/원인 $\to$ 해결책으로 이어지는 다층적 사고 체인을 요구하는 복잡한 시나리오입니다.
  • 결과: 특정 유도 편향 구성을 가진 다층 MEPS 에이전트는 약 16,766 단계 만에 최적에 가까운 성능을 달성했습니다. 반면, 제한 없는 표준 PS 에이전트와 테이블 방식의 PS 기반 다층 Q-러닝 에이전트는 각각 약 35,817 단계와 115,261 단계가 필요했습니다. 유도 편향 에이전트는 베이스라인들에 비해 약 13배 적은 학습 가능한 파라미터를 사용했습니다.

5. 의의 및 주장

본 논문은 MEPS가 다체 유도 편향과 결합될 때, 복합 추론이 필요한 문제에 대해 표준 딥러닝 및 테이블 방식 강화 학습 방법보다 확장 가능하고 해석 가능한 대안을 제공한다고 주장합니다.

• 해석 가능성: 여러 개념을 동시에 명시적으로 표현하고 하이퍼그래프 구조를 사용함으로써, MEPS는 시각화 및 분석이 가능한 투명한 "사고의 사슬(chain-of-thought)"을 제공합니다.
• 효율성: 유도 편향은 에이전트가 복잡한 과업을 훨씬 적은 파라미터와 훈련 단계로 해결할 수 있게 하여, 나이브한 하이퍼그래프 구현에 내재된 "차원의 저주"를 피하게 해줍니다.
• 생물학적 및 물리적 타당성: 인간의 인지와 물리적 시스템이 모든 가능한 조합을 처리하기보다는 제한된 수의 요인을 동시에 결합하는 데 의존한다는 관찰에 기반을 두고 있습니다.
• 양자 잠재력: 양자 다체 물리와의 공식적인 유사성은 MEPS를 양자 하드웨어에 구현하여 숙고 과정에서의 양자 가속을 활용할 수 있는 자연스러운 경로를 시사합니다.

저자들은 유도 편향이 가설 공간을 제한하지만, 이것이 인간의 인지적 한계 및 물리 법칙과 일치한다는 점에서 실용적인 제약이지 제한적인 제약이 아니라는 점을 언급하며 겸허한 태도를 유지했습니다. 또한 샘플링 알고리즘을 최적화하고 더 큰 확장성을 위해 하이퍼그래프 문헌 기술과의 통합을 탐구하는 추가 연구가 필요함을 인정했습니다.