기술 요약: AI 엔그램(AI Engrams): 인공지능에서의 기억 흔적 탐색

1. 문제 정의

심층 신경망은 지식을 매우 깊게 얽힌(entangled) 방식으로 저장하며, 개별 파라미터는 여러 행동에 동시에 참여한다. 이러한 학습된 표현의 분산되고 얽힌 특성은 특정 개념을 제거(기계 언러닝)하거나 전체 모델을 재학습하지 않고 특정 기억을 격리하는 것과 같은 "외과적" 지식 조작을 어렵게 만든다. 신경과학에서는 기억이 '엔그램(engram)'이라 불리는 식별 가능한 물리적 기질에 저장된다고 상정하지만, 인공 신경망 내에도 이와 유사하고 식별 가능한 기억 흔적이 존재하는지는 여전히 미해결 과제로 남아 있다. 현재의 지식 편집 또는 언러닝 방법들은 반복적인 경사 하강법 기반 최적화나 휴리스틱한 속성 추출에 의존하는 경우가 많은데, 이는 계산 비용이 많이 들고, 특이성(specificity)에 대한 이론적 보장이 부족하며, 대규모 모델로 확장하는 데 한계가 있다.

2. 방법론

본 논문은 신경과학적 기준을 제약 조건이 있는 역문제(inverse problem)로 공식화함으로써, "AI 엔그램"—인공지능 내의 인과적 기억 흔적—을 식별하기 위한 기하학적 프레임워크를 도입한다.

2.1. 제약 조건으로서의 신경과학적 기준

저자들은 타겟 개념 $c$에 대한 엔그램 $\mu^+_c$의 식별을 네 가지 정형적 기준(Josselyn & Tonegawa, 2020; Tomé et al., 2024)에 기반하여 정의한다:

1. 특이성(Specificity): 엔그램은 타겟 경험($X^+$)을 선택적으로 인코딩해야 하며, 참조 경험($X^-$)에 대해서는 비활성 상태를 유지해야 한다.
2. 재활성화(Reactivation): 엔그램은 타겟과 관련된 내부 표현($Z^+$)을 일관되게 재현해야 한다.
3. 충분성(Sufficiency): 나이브(null) 상태에 엔그램을 주입했을 때 학습된 행동이 유도되어야 한다.
4. 필요성(Necessity): 학습된 상태에서 엔그램을 절제(ablation)했을 때, 무관한 지식은 보존하면서 타겟 행동은 제거되어야 한다.

2.2. 대수적 공식화

저자들은 시냅스 엔그램 $W^+$를 찾는 과정을 최적화 문제로 공식화한다. 이들은 관찰된 상태(자연적 학습)와 개입된 상태(대수적 조작)를 대조하여 선형 제약 조건을 도출한다.

• 목표: 타겟 및 참조 세트에 대해 개입된 상태와 관찰된 상태 사이의 불일치를 최소화한다.
• 제약 조건: 참조 부공간(reference subspace)에 대한 직교성($W^+ X^- = 0$)을 강제하여 특이성을 보장한다.
• 해법: 저자들은 엔그램에 대한 **폐쇄형 추정치(closed-form estimator)**를 도출한다. 무로-펜로즈 유사 역행렬(Moore-Penrose pseudoinverse)과 비중심 공분산 행렬($\Sigma^+ = X^+ X^{+\top}$ 및 $\Sigma^- = X^- X^{-\top}$)을 활용하여 다음과 같이 구한다:
  $$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$$
  실제 구현에서, 훈련된 가중치 $W$를 가진 모델의 경우, 업데이트는 $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$로 사후적으로 근사된다. 이를 통해 역전파 없이 단 한 번의 순방향 패스(forward pass)만으로 엔그램을 추출할 수 있다.

2.3. 기하학적 해석

본 논문은 이러한 생물학적 제약과 정보 기하학(information geometry) 사이의 연결 고리를 확립한다. K-FAC(Kronecker-Factored Approximate Curvature) 가정과 최대 엔트로피 원리를 적용했을 때, 도출된 폐쇄형 해법은 피셔 정보 메트릭(Fisher Information Metric) 하에서 제약 다양체(constraint manifold)로의 **최소 노름 투영(minimum-norm projection)**에 해당한다. 이는 엔그램 방향이 파라미터 다양체 상의 자연 경사(natural gradient) 방향과 일치함을 보여준다.

2.4. 조합적 언러닝(Combinatorial Unlearning)

식별된 엔그램은 선형적으로 가산(additive) 가능하므로, 이 프레임워크는 조합적 언러닝을 가능하게 한다. 특정 개념의 하위 집합을 제거하려면, 선형 산술을 사용하여 모델 가중치에서 해당 엔그램을 단순히 빼주면 된다:
$$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$$
이는 반복적인 언러닝 방법의 지수적 복잡성을 우회한다.

3. 주요 기여

1. AI 엔그램을 위한 프레임워크: 저자들은 생물학적 기억 기준을 대수적 제약 조건으로 변환하여, 전역적으로 얽힌 파라미터로부터 기억 흔적을 격리하는 확장 가능한 폐쇄형 추정치를 제공한다.
2. 아모티즈된 메모리 격리(Amortized Memory Isolation): 이 방법은 메모리 흔적을 분리하여, 단순한 선형 산술을 통해 지식의 구성 또는 삭제를 즉각적으로 수행할 수 있게 한다. 이는 언러닝의 조합적 복잡성을 해결하며, 단순 MLP부터 수십억 파라미터 규모의 LLM에 이르기까지 다양한 아키텍처에서 견고함을 입증한다.
3. 정보 기하학과의 연결: 본 연구는 생물학적 영감을 받은 폐쇄형 추정치가 피셔 곡률(Fisher curvature)을 회복하며 자연 경사 방향과 일치함을 보여줌으로써, 생물학적 기억 이론과 인공 표현 학습 사이의 가교 역할을 한다.

4. 실험 결과

저자들은 다양한 아키텍처와 데이터셋에 걸쳐 프레임워크를 검증하였다:

• 확장성 및 다재다능함: 이 방법은 MLP, CNN(ResNet-18/50), Vision Transformer(ViT), 생성 모델(ConvAE, WAE)에서 개념을 성공적으로 격리하고 제거한다. CIFAR-10 및 CIFAR-100 실험에서 특정 엔그램을 절제하면 타겟 클래스의 정확도는 선택적으로 제거되는 반면, 참조 클래스에 대한 성능은 보존된다(외과적 정밀도).
• 정량적 성능: 클래스별 언러닝 벤치마크(CIFAR-10/100)에서, Engram 방식은 최신 경사 기반 베이스라인(예: NegGrad, SalUn, Fine-tuning)보다 우수한 Tug-of-War (ToW) 점수를 달성하였으며, 이는 처음부터 다시 훈련된 모델과 더 밀접한 행동적 일치를 나타낸다. 또한 잠재 공간(latent space)에서의 구조적 흔적 소멸(DA 및 NMI 지표)에서도 효과적임을 보여준다.
• 대규모 언어 모델(LLM): Llama-3.2-1B 모델에 대해 TOFU 벤치마크를 적용한 결과, 높은 효율성을 입증했다.
  • 효율성: 경사 기반 반복 방법보다 약 30배 적은 FLOPs와 2.3배 적은 피크 메모리를 사용하여, 수십 분이 걸리는 작업 대신 약 2분 만에 완료한다.
  • 성능: 전체적인 지표에서는 일부 전용 반복 방법(예: AltPO, NPO)에 뒤처지기도 하지만, 다른 폐쇄형 편집 베이스라인(UCE, Task Arithmetic)보다 성능이 뛰어나며, 그래디언트 프리(gradient-free) 방법 중 가장 낮은 정확한 기억(Exact Memorization, EM) 점수를 기록했다.
  • 국소화(Localization): 엔그램 가중치 분석 결과, 메모리 흔적은 무작로 분포하는 것이 아니라 특정 레이어, 즉 셀프 어텐션의 Query (Q) 및 Key (K) 프로젝션과 MLP의 Gate 프로젝션에 집중되어 있음을 발견했다. 절제 연구를 통해 이러한 특정 레이어를 타겟팅하는 것만으로도 효과적인 언러닝이 충분하다는 것을 확인했다.

5. 의의 및 주장

본 논문은 **결정론적 스펙트럼 해상(deterministic spectral resolutions)**을 통해 지식의 인과적 기질을 격리하고 조작할 수 있음을 입증함으로써, 생물학적 기억 이론과 인공지능 사이의 간극을 메운다고 주장한다.

• 패러다임 전환: 본 연구는 기계 언러닝의 패러다임을 확률적 경사 탐색에서 **구조적 식별(structural identification)**로 전환할 것을 제안한다.
• 직교 영역(Orthogonal Regime): 저자들은 Engram을 반복적 언러닝의 대체제가 아닌, 다음과 같은 상황에서 특히 가치 있는 직교 영역(O(1)-pass, 그래디언트 프리)으로 포지셔닝한다:
  1. 언러닝해야 할 개념의 수가 많을 때 (조합적 구성성을 활용).
  2. 계산 자원이나 가중치 접근 권한이 제한적일 때.
  3. 분포적 무차별성(distributional indistinguishability)보다는 구조적 식별이 목표일 때.
• 해석 가능성: LLM 내의 응축된 국소화 패턴 발견은 신경 해석 가능성에 대한 새로운 관점을 제공하며, 특정 기능적 토폴로지가 가중치 공간의 선형화 가능한 부공간에 거주함을 시사한다.

저자들은 자신들의 프레임워크가 기억의 외과적 격리를 위한 전례 없는 효율성을 제공하여, 더 안전한 모델 동작과 명확한 해석 가능성을 가능하게 하며, 지속 학습(continual learning)에서 엔그램의 시간적 역학에 대한 미래 연구의 길을 열어준다고 결론짓는다.