기술 요약: 디오니소스스에서 아폴론의 출현 – 지각적 시퀀스로부터의 학습 패턴과 추상화

1. 문제 정의

본 학위 논문이 다루는 핵심 문제는 혼돈스러운 감각 스트림으로부터 구조화된 엔티티(entity)가 출현하는 과정에 있어 인간과 기계의 지각 사이의 간극이다. 인간은 연속적이고 고차원적인 감각 데이터를 이산적이고 재사용 가능한 계층적 엔티티(예: "교통 신호"를 인식하거나 시각적 부분들을 그룹화하는 것)로 손쉽게 파싱한다. 반면, 현재의 연결주의 AI 시스템(대규모 언어 모델 및 심층 신경망 등)은 명시적인 감독이나 인간이 정의한 사전 지식 없이 구조화된 기호를 학습하고 데이터를 인수분해하는 데 어려움을 겪는다.

본 논문은 청킹(chunking, 덩이짓기)—연속적인 시퀀스를 반복적이고 응집력 있는 단위로 분절하려는 경향—이라는 인지 메커니즘이 이 간극을 메우는 근본적인 계산 원리라고 상정한다. 본 연구는 청킹이 구체적인 지각적 시퀀스에서 추상적 표현으로 전환되는 것을 어떻게 촉진하며, 이를 통해 효율적인 메모리 압축, 일반화, 그리고 단순한 원형(primitives)으로부터 복잡한 지식의 재귀적 구축을 가능하게 하는지 조사한다.

2. 방법론

본 연구는 행동 실험, 규범적 계산 모델링, 알고리즘 분석을 결합한 다각적인 접근 방식을 채택한다. 방법론은 네 가지 주요 프로젝트로 구성된다.

A. 행동 실험

• 연속 반응 시간(Serial Reaction Time, SRT) 과제: 참가자들은 시각적 단서에 대응하여 키를 누르는 과제를 수행했다. 시퀀스의 기저 통계 구조(예: AB 또는 ABC와 같이 변화하는 청크 길이)를 조작하여 인간이 반응 시간과 오류율에 어떻게 적응하는지 관찰했다.
• 지시 사항 조작: 속도나 정확도 중 하나를 우선시하도록 지시를 달리하여, 청킹 행동에서의 트레이드오프(trade-off)를 테스트했다.
• 시퀀스 기억 및 회상: 참가자들은 색상이나 추상적 기호의 시퀀스를 암기했다. 연구에서는 두 가지 유형의 추상적 모티프(motif)를 도입했다.
  • 투영적 모티프(Projectional Motifs): 표면적 내용이 공유된 추상 공간으로 매핑되는 패턴 (예: $GGGE$와$FFFD$가 모두$XXXY$로 매핑됨).
  • 가변적 모티프(Variable Motifs): 불변하는 부분과 가변적인 슬롯을 포함하는 패턴 (예: $X$가 변하는 $GGGX$).
  • 전이 블록(Transfer blocks)을 통해 이러한 모티프를 학습하는 것이 동일한 추상 구조를 공유하는 새로운 시퀀스의 회상에 도움이 되는지 테스트했다.

B. 계산 모델링

본 논문은 청킹을 단순한 휴리스틱이 아니라 지능적 에이전트를 위한 합리적인 전략으로 취급하는 일련의 규범적 모델을 개발한다.

1. 합리적 청킹 모델(Rational Chunking Model): 속도와 정확도의 효용 함수를 최적화함으로써 청크를 학습하는 모델이다. 이 모델은 순차적 통계와 과업 요구 사항에 기반하여 청크 경계를 추론한다.
2. 계층적 청킹 모델(Hierarchical Chunking Model, HCM): 중첩된 계층 구조를 학습하는 생성적 및 역방향 인식 모델이다. 시퀀스를 원자적 단위로 파싱하고, 이들 사이의 연관 통계를 학습하며, 상관관계가 있는 청크들을 더 큰 복합체로 재귀적으로 병합한다. 이 모델은 학습된 청크의 "사전(dictionary)"을 활용하여 고차원 확률 분포를 인수분해한다.
3. 계층적 가변 모델(Hierarchical Variable Model, HVM): 추상화를 통합하여 HCM을 확장한 모델이다. 학습된 청크를 효율적인 검색을 위해 트라이(Trie) 구조로 조직하며, 유사한 상호작용 특성을 가진 청크의 범주를 나타내는 **기호적 변수(symbolic variables)**를 제안한다. 이를 통해 모델은 불변하는 패턴을 발견하고, 특정 사례를 추상적 변수로 대체함으로써 새로운 시퀀스에 일반화할 수 있다.

C. 알고리즘 평가

모델들은 다음 항목들을 대상으로 평가되었다:

• 인간 행동 데이터 (반응 시간, 회상 정확도).
• 베이스라인 모델 (표준 순환 신경망(RNN), 청킹이 없는 베이지안 이상 관찰자 모델).
• 시퀀스 기억 과제에서의 대규모 언어 모델(LLM)과 비교하여 추상화 능력 비교.
• 텍스트(소설 헝거 게임) 및 휴지기 fMRI 데이터를 포함한 실제 데이터에 대한 비지도 패턴 발견.

3. 주요 기여

1. 청킹에 대한 규범적 정당화

본 연구는 청킹이 시퀀스 학습에서 속도-정확도 트레이드오프에 대한 합리적인 해결책임을 입증함으로써 청킹에 대한 규범적 설명을 제공한다. 모델들은 인간이 속도를 우선시할 때는 더 긴 청크를 적응적으로 학습하고, 정밀도가 요구될 때는 더 짧고 정확한 청크를 학습하여 처리 효율성과 오류율 사이의 트레이드오프를 최적화함을 보여준다.

2. 계층적 표현 학습 (HCM)

본 논문은 미리 정의된 원형 없이 밑바닥부터 중첩된 계층 구조를 학습하는 HCM을 소개한다.

• 구성성(Compositionality): HCM은 단순한 청크가 어떻게 재귀적으로 복잡한 엔티티로 구성될 수 있는지 보여준다. 이는 데이터로부터 원형을 가정하는 대신 데이터로부터 직접 원형을 학습함으로써 "기호 출현(symbol emergence)" 문제를 효과적으로 해결한다.
• 인수분해(Factorization): 시퀀스 단위를 청크로 그룹화함으로써, HCM은 고차원 시퀀스 분포(예: $P(x_1, x_2, \dots, x_n)$)를 독립적인 하위 분포(예: $P(x_1, x_2)P(x_3, x_4)\dots$)로 인수분해한다.
• 데이터 효율성: HCM은 계층 구조가 내재된 시퀀스에서 RNN보다 더 빠르게 표현을 적응시키며, 기저 구조를 학습하는 데 더 적은 데이터를 필요로 한다.

3. 추상화 및 변수 학습 (HVM)

HVM은 청킹을 추상적 영역으로 확장한다.

• 기호적 추상화: 반복되는 구체적인 청크를 범주를 나타내는 추상적 변수(기호)로 대체하는 법을 학습한다.
• 메모리 조직화: 공통된 부분들을 기준으로 학습된 딕셔너리를 트라이(Trie) 구조로 조직하여, 이는 파싱을 위한 검색 단계를 줄이고 인간의 효율적인 메모리 회상을 모사한다.
• 일반화: 추상적 모티프(투영적 및 가변적)를 학습하는 것이 새로운 시퀀스로의 전이에 유의미하게 향상된 성능을 보임을 입증함으로써, 표준 청킹 모델과 (테스트된 맥락에서의) LLM이 실패하는 능력을 보여준다.

4. 경험적 검증

• 인간과의 정렬: 모델의 음의 로그 가능도(negative log-likelihood)는 인간의 시퀀스 회상 시간과 강하게 상관관되었으며, 청킹이나 변수를 학습하지 않는 모델보다 우수한 성능을 보였다.
• 신경과학적 적용: 모델을 fMRI 데이터에 적용하여 뇌의 중첩된 네트워크 구조(예: 정서 처리 및 시각적 주의를 위한 영역)를 식별하였으며, 이는 신경 활동이 계층적 청킹을 나타냄을 시사한다.
• 텍스트 분석: 모델을 도서 텍스트에 적용하여 단어 부분, 흔한 구절, 문법 구조를 성공적으로 학습하였으며, 이는 인간의 독서 과정을 반영한다.

4. 결과

• 행동적 발견: 인간은 시퀀스 통계와 과업 지시에 따라 청킹 전략을 동적으로 조정한다. 기억 과제에서 추상적 모티프(투영적 및 가변적 모두)를 학습한 참가자들은 대조군에 비해 우수한 회상 및 전이 성능을 보였으며, 이는 추상화가 시퀀스 정보의 압축과 일반화를 돕는다는 것을 나타낸다.
• 모델 성능:
  • 합리적 청킹 모델은 속도-정확도 트레이드오프 하에서의 인간 반응 시간 패턴을 성공적으로 예측했다.
  • HCM은 RNN에 비해 우수한 데이터 효율성과 해석 가능성을 입증했으며, 합성 시퀀스의 생성적 계층 구조를 성공적으로 복구했다.
  • HVM은 가변 구조 식별이 필요한 전이 과제에서 LLM보다 뛰어난 성능을 보였으며, 이는 현재 LLM이 훈련 시퀀스로부터 명시적이고 재사용 가능한 추상적 표현을 형성하는 능력에 한계가 있음을 강조한다.
• 비지도 발견: 모델은 감독 없이 자연스러운 데이터(텍스트 및 뇌 영상)에서 의미 있고 중첩된 구조를 성공적으로 식별하였으며, 이는 청킹이 불변하는 패턴을 발견하기 위한 보편적인 메커니즘이라는 가설을 검증한다.

5. 의의 및 주장

본 논문은 청킹과 추상화가 구조화된 지식 습득을 일으키는 단순한 계산 원리라고 주장한다. 에이전트가 인접한 요소들을 연관시키고 이 연관 관계를 재사용 가능한 기호로 추상화함으로써 다음과 같은 일을 할 수 있다:

1. AI-인간 간극 해소: 연결주의 시스템이 연속적인 데이터로부터 이산적이고 해석 가능한 엔티티를 학습할 수 있는 메커니즘을 제공하여, 해석 가능성과 일반화 문제를 해결한다.
2. 재귀적 구축 가능: 이전에 학습된 원형을 재사용하고 합성함으로써 매우 복잡한 구조를 밑바닥부터 구축할 수 있게 한다.
3. 인지 현상 설명: 메모리 조직화(단기 기억에서의 청킹), 문법 습득, 추상적 개념 형성 등 다양한 인지 현상을 이해하기 위한 통합된 프레임워크를 제공한다.

본 논문은 제안된 모델들이 특정 가정(예: 계층적 생성 과정 및 탐욕적 파싱 전략)에 의존하고 있지만, 구조화된 표현이 어떻게 지각적 시퀀스로부터 출현하는지에 대한 타당하고 계산적으로 효율적이며 인지적으로 근거 있는 설명을 제공한다고 결론짓는다. 또한, 이러한 원리의 신경학적 구현과 고차원 데이터 도메인에 대한 적용을 탐구하기 위한 후속 연구를 제안한다.