From sequences to schemas: low-rank recurrent dynamics underlie abstract relational representations

이 논문은 순환 신경망 (RNN) 을 통해 시퀀스 분류 과제가 어떻게 저랭크 재귀 연결성을 발달시켜 추상적 관계 표현과 계층적 구조를 형성하는지 규명하고, 이러한 구조가 생물학적 뇌의 스키마 형성 메커니즘을 설명할 수 있음을 제시합니다.

핵심

🧩 핵심 주제: "알파벳은 달라도, 규칙은 같다!"

상상해 보세요.

• AAB 패턴: "사과, 사과, 배"
• AAB 패턴: "고양이, 고양이, 개"
• AAB 패턴: "빨간색, 빨간색, 초록색"

물론 '사과', '고양이', '빨간색'은 완전히 다른 것입니다. 하지만 우리 뇌는 이 세 가지가 **"두 개가 같고, 그 다음에 다른 것이 온다"**는 같은 **규칙 (패턴)**을 따르고 있다는 것을 직감적으로 알아챕니다.

이런 능력을 **'스키마 (Schema)'**라고 합니다. 즉, 구체적인 내용 (사과, 고양이) 을 잊어버리고, 그 뒤에 숨겨진 **추상적인 구조 (AAB)**만 기억해 내는 능력입니다. 이 논문은 바로 이 '뇌의 마법'이 어떻게 작동하는지 인공 신경망 (RNN) 을 통해 밝혀냈습니다.

---

🔍 연구의 발견: 뇌는 어떻게 '규칙'을 기억할까?

연구팀은 컴퓨터 프로그램 (인공 신경망) 에게 위와 같은 패턴을 분류하는 훈련을 시켰습니다. 그리고 놀라운 사실을 발견했습니다.

1. 뇌는 '저장고'가 아니라 '지도'를 그린다

일반적으로 우리는 정보를 하나하나 외운다고 생각합니다. 하지만 이 연구에 따르면, 뇌 (혹은 이 프로그램) 는 각 사물을 따로따로 저장하지 않습니다. 대신, **사물들 사이의 관계 (규칙)**를 바탕으로 작은 지도를 그립니다.

• 비유: 도서관에 책을 꽂을 때, 책 제목 (사과, 고양이) 을 외우는 게 아니라, "이 책은 '두 개 같고 하나 다름' 섹션에 속해 있어"라고 **장소 (규칙)**만 기억하는 것과 같습니다.

2. '저랭크 (Low-Rank)' 연결: 뇌의 '핵심 회로'

이 논문에서 가장 중요한 발견은 뇌의 신경 세포들이 어떻게 연결되어 있는지입니다.

• 기존 생각: 신경 세포 수백만 개가 모두 복잡하게 뒤섞여 있을 거라 생각했습니다.

• 이 연구의 발견: 아니었습니다! 뇌는 **매우 단순하고 정돈된 몇 개의 '핵심 회로'**만 사용하여 복잡한 규칙을 처리했습니다. 이를 '저랭크 (Low-Rank)' 연결이라고 합니다.

• 비유: 거대한 도시의 교통 체계를 상상해 보세요. 모든 도로가 복잡하게 얽혀 있는 게 아니라, 주요 간선 도로 (핵심 회로) 몇 가지만 잘 정리되어 있으면, 수백만 대의 차 (정보) 가 효율적으로 움직일 수 있습니다. 뇌도 마찬가지입니다. 복잡한 정보 속에서 **핵심 간선 (규칙)**만 잡아내면, 나머지는 자동으로 정리됩니다.

3. 시간의 흐름을 '한 번에' 꿰뚫는 힘

이 핵심 회로 (가장 중요한 연결 고리) 는 과거의 정보를 시간 속에 쌓아 올리는 역할을 합니다.

• 비유: 마치 레고 블록을 쌓는 것처럼, 첫 번째 블록 (첫 번째 규칙) 을 쌓고, 그 위에 두 번째 블록을 올립니다. 이 핵심 회로는 "아까 쌓았던 블록이 무엇이었는지" 기억하면서 새로운 블록을 쌓게 해줍니다.
• 연구팀은 이 핵심 회로를 인위적으로 제거해 보았는데, 그 결과 과거의 규칙을 기억하지 못하게 되었고, 오직 '지금 당장'만 보는 상태가 되었습니다. 즉, 규칙을 이해하는 능력은 이 '시간을 잇는 회로'가 없으면 불가능하다는 것을 증명했습니다.

---

⚖️ 중요한 차이: "예측" vs "규칙 찾기"

연구팀은 흥미로운 실험을 하나 더 했습니다.

1. 규칙 찾기 (분류) 작업: "이 전체 문장이 어떤 규칙 (AAB) 을 따르는지 끝에서 맞춰라."
2. 다음 단어 예측 작업: "지금 '사과'가 나왔으니, 다음에 뭐가 올지 맞춰라."

결과가 놀랐습니다.

• 규칙 찾기를 시킨 뇌는 **정돈된 핵심 회로 (지도)**를 만들었습니다.

• 하지만 다음 단어 예측만 시킨 뇌는 정돈된 회로를 만들지 못했습니다. 그냥 무작정 외우는 수준에 그쳤습니다.

• 비유:

  • 규칙 찾기: 여행지에서 지도를 그려서 "어디로 가면 어딘가"를 이해하는 것. (새로운 길도 쉽게 찾을 수 있음)
  • 단순 예측: 같은 길을 무작정 반복해서 걷는 것. (새로운 길이 나오면 길을 잃음)

이것은 뇌가 무엇을 하라고 명령을 받느냐에 따라, 그 구조가 완전히 달라진다는 것을 의미합니다. 단순히 정보를 많이 받는다고 규칙을 배우는 게 아니라, "전체적인 그림을 봐야 한다"는 목표가 있을 때 비로소 뇌는 추상적인 지능을 발휘합니다.

---

🚀 결론: 왜 이 연구가 중요한가?

이 연구는 우리 뇌가 새로운 것을 배울 때 왜 그렇게 빠른지에 대한 답을 줍니다.

• 스키마 (규칙) 의 힘: 우리는 새로운 정보를 배울 때, 이미 뇌속에 있는 **'규칙의 틀 (스키마)'**을 이용합니다.
• 전이 학습 (Transfer): 연구팀은 규칙을 배운 뇌의 '핵심 회로'를 다른 작업에 가져다 썼더니, 배우기 속도가 엄청나게 빨라졌습니다. 마치 이미 지도를 그려둔 상태에서 새로운 지역을 탐험하는 것과 같습니다.

한 줄 요약:

"우리의 뇌는 모든 사실을 외우는 '하드디스크'가 아니라, 복잡한 세상 속에서 **핵심 규칙 (지도)**을 찾아내는 지혜로운 탐험가입니다. 그리고 이 지혜는 뇌의 신경 연결이 **정돈된 핵심 간선 (저랭크 회로)**을 통해 시간의 흐름을 하나로 묶을 때 비로소 탄생합니다."

이 연구는 인공지능을 더 똑똑하게 만드는 데도 도움이 되지만, 더 나아가 우리가 어떻게 학습하고 기억하는지에 대한 생물학적 비밀을 밝히는 중요한 단서가 되었습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 문제: 생물학적 지능의 중요한 특징은 구체적인 감각 내용 (예: 특정 음이나 모양) 에 의존하지 않고, 시퀀스의 추상적인 관계 구조 (예: 'aab', 'ccd', 'eef'가 모두 동일한 패턴을 따름) 를 추출하고 일반화하는 능력입니다. 이를 '스키마 (Schema)' 형성이라고 합니다.
• 미해결 과제: 이러한 추상적이고 정체성 (identity) 에 독립적인 표현이 어떻게 순차적인 경험으로부터 신경 회로 수준에서 emergence(창발) 하는지, 그리고 어떤 회로적 속성이 이를 가능하게 하는지는 여전히 알려지지 않았습니다.
• 가설: 신경 집단 활동의 기하학적 구조와 재귀적 연결 (recurrent connectivity) 의 저랭크 (low-rank) 특성이 이러한 추상화를 가능하게 하는 핵심 메커니즘일 수 있습니다.

2. 방법론 (Methodology)

저자들은 신경 회로의 기계적 모델로 순환 신경망 (RNN) 을 사용하여 다음과 같은 실험을 수행했습니다.

• 데이터 생성:
  • 이진 분기 트리 (binary branching tree) 를 기반으로 한 대수적 시퀀스를 생성했습니다.
  • 예: aab, aad 는 클래스 AAB 로, aba, aca 는 클래스 ABA 로 분류됩니다.
  • 구체적인 토큰 (문자) 은 알파벳에서 무작위로 추출되지만, 관계적 패턴 (같은 문자 반복 vs 다른 문자 전환) 은 동일하게 유지됩니다.
• 학습 태스크:
  1. 분류 (Classification): 시퀀스 전체를 입력받아 마지막 단계에서만 클래스 레이블을 예측합니다. 중간 단계의 전이 (transition) 에 대한 감독 신호는 없습니다.
  2. 다음 토큰 예측 (Next-token Prediction): 각 단계에서 다음 토큰을 예측합니다.
  3. 전이 실험 (Transfer): 분류 태스크에서 학습된 가중치를 예측 태스크의 초기값으로 사용하여 학습 속도와 일반화 능력을 평가했습니다.
• 분석 기법:
  • PCA 및 차원 분석: 은닉 상태 (hidden state) 의 기하학적 구조와 차원성을 분석.
  • 특이값 분해 (SVD): 재귀 가중치 행렬 ($W_h$) 을 저랭크 구조 (구조화된 성분) 와 무작위 잔차로 분해.
  • 특이 벡터 제거 (Singular Vector Ablation): 학습된 네트워크에서 주요 특이 벡터를 인위적으로 제거하여 해당 성분의 인과적 역할을 규명.
  • 초거리성 (Ultrametricity): 신경 표현의 기하학이 계층적 트리 구조를 따르는 정도를 정량화하는 지표 (UC, Ultrametric Content) 사용.

3. 주요 결과 (Key Results)

A. 분류 태스크에서의 추상적 표현의 창발

• 저차원 기하학: 분류 태스크를 학습한 RNN 은 시퀀스가 unfold 될수록 은닉 상태가 저차원 서브스페이스로 수렴하는 것을 보였습니다. 이 기하학은 시퀀스를 생성한 트리의 계층적 구조를 반영하여 트리 모양 (tree-like) 으로 분기하는 패턴을 보입니다.
• 저랭크 연결성: 이 저차원 역동성은 재귀 가중치 행렬이 저랭크 (low-rank) 구조를 갖게 됨으로써 가능해졌습니다.
  • 가중치 행렬은 소수의 구조화된 외적 (outer products) 성분과 무작위 배경으로 분해됩니다.
  • 연구된 이진 트리 태스크의 경우, 랭크 3(R=3) 정도의 구조화된 성분만으로도 7 개의 추상 클래스를 구분할 수 있었습니다.
• 계층적 관계 표현: 신경 집단의 유사도 행렬은 토큰의 정체성이 아니라, 전환의 유형 (같은 문자 vs 다른 문자) 에 따라 조직화되었습니다. 즉, aab 와 ccd 는 토큰이 다르더라도 같은 클래스 (AAB) 로 군집화되었습니다.

B. 주요 특이 성분의 인과적 역할

• 주요 특이 벡터 (Leading Singular Component) 의 기능:
  • 가장 큰 특이값을 가진 성분은 시간에 걸친 관계적 전환 정보 (same/different) 를 통합하는 역할을 합니다.
  • Ablation 실험: 이 주요 성분을 제거하면 네트워크는 이전의 전환 정보를 기억하지 못하게 되어, 오직 가장 최근의 한 단계 전환만 인식하게 됩니다. 이로 인해 계층적 트리 구조가 무너지고 추상적 일반화 능력이 상실됩니다.
  • 이는 해당 성분이 시퀀스의 전체적인 관계적 역사를 압축하여 유지하는 핵심 메커니즘임을 시사합니다.

C. 태스크 목적 (Task Objective) 의 결정적 역할

• 분류 vs 예측:
  • 분류 태스크: 전체 시퀀스를 통합해야 하므로 저랭크 구조와 계층적 기하학이 자연스럽게 형성됩니다.
  • 예측 태스크: 로컬한 1 단계 예측만 수행하면 되므로, 저랭크 구조나 계층적 표현이 형성되지 않습니다. (단순히 시퀀스를 외우거나 로컬 통계만 학습함).
  • 결론: 추상적 표현의 형성은 입력 데이터의 통계적 특성 때문이 아니라, 전체 시퀀스를 통합해야 하는 태스크의 목적에 의해 결정됩니다.

D. 스키마 전이 (Schema Transfer)

• 분류 태스크에서 학습된 저랭크 구조 (스키마) 를 예측 태스크의 초기 가중치로 사용하면, 예측 태스크의 학습 속도가 가속화되고 일반화 성능이 향상됩니다.
• 구체성: 이 효과는 단순한 통계적 사전 학습 (Autoencoder 등) 이 아니라, 추상적인 관계 구조를 학습한 스키마에 의해 발생합니다.
• 메커니즘: 전이된 가중치 중 재귀 연결 (recurrent weights) 이 일반화 향상의 주된 원인이며, 이는 추상 스키마가 입력 표현이 아닌 내부 회로 조직에 저장됨을 의미합니다.

4. 주요 기여 및 의의 (Significance)

1. 신경 회로 메커니즘 규명: 추상적 관계 표현이 어떻게 신경 회로에서 구현되는지에 대한 구체적인 계산적 설명을 제공합니다. 즉, 저랭크 재귀 연결성이 신경 활동을 저차원 매니폴드로 제한하고, 이를 통해 계층적 트리 구조를 형성하여 추상화를 가능하게 한다는 것을 증명했습니다.
2. 스키마 형성의 계산적 모델: 생물학적 뇌 (해마와 전전두엽) 에서 관찰되는 스키마 기반 학습과 빠른 일반화 현상을 설명하는 이론적 틀을 제시합니다.
   • 해마는 새로운 경험으로부터 저랭크 스키마를 빠르게 구축하고, 전전두엽은 이를 유연하게 활용한다는 기존 이론과 부합합니다.
3. 예측 가능성:
   • 추상적 시퀀스 학습을 수행하는 신경 집단 활동은 저차원이며 초거리적 (ultrametric) 구조를 가져야 함을 예측합니다.
   • 주요 특이 성분에 해당하는 뉴런 집단을 교란하면 추상적 분류 능력은 떨어지지만, 토큰 정체성 인식은 유지될 것이라고 예측합니다.
4. 학습 목표의 중요성: 동일한 입력 데이터라도 태스크의 목적 (전체 통합 vs 로컬 예측) 에 따라 신경 회로의 조직화 방식이 근본적으로 달라진다는 점을 강조하여, 뇌의 기능적 분업에 대한 통찰을 제공합니다.

요약

이 논문은 RNN 을 통해 저랭크 재귀 역동성이 어떻게 추상적 관계 표현을 생성하는지 규명했습니다. 분류 태스크는 네트워크로 하여금 시퀀스의 전체적 구조를 통합하도록 강요하여 저랭크 연결성을 형성하게 하고, 이는 계층적 트리 형태의 신경 기하학을 만들어냅니다. 이 메커니즘은 생물학적 뇌의 스키마 형성 및 일반화 능력을 이해하는 데 중요한 계산적 기초를 제공합니다.