From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory

1. 연구 배경 및 문제 정의 (Problem)

기존의 텍스트 임베딩 모델 (예: BGE-large 등) 은 주로 의미적 유사성 (Semantic Content) 에 기반하여 텍스트를 그룹화합니다. 즉, "텍스트가 무엇을 말하고 있는지 (What text is about)"에 초점을 맞춰 주제 (Topic) 나 키워드가 유사한 문장들을 묶습니다.

하지만 저자는 텍스트 분석에서 놓치고 있는 중요한 차원이 있다고 지적합니다. 바로 "텍스트가 무엇을 하는지 (What text does)" 입니다. 이는 서사적 구조, 문맥 내에서의 역할, 그리고 국소적인 전이 구조 (Transition Structure) 를 의미합니다.

• 예시: 열대 우림에서의 공포와 빅토리아 시대 저택에서의 공포는 주제 (공포) 는 같지만, 서사적 기능 (캐릭터가 예상치 못한 존재를 마주하는 순간) 은 다를 수 있습니다. 반대로, 완전히 다른 주제 (예: 군사 작전과 로맨스) 를 다루더라도 같은 서사적 기능 (예: 대립, 조사, 출발) 을 수행하는 문장들이 존재할 수 있습니다.
• 문제점: 기존 의미 기반 모델은 이러한 구조적 유사성 (Structural Kinship) 을 포착하지 못하며, 단순히 어휘나 주제만 공유하는 문장들을 묶습니다.

2. 방법론 (Methodology)

저자는 예측적 연관 기억 (Predictive Associative Memory, PAM) 프레임워크를 확장하여, 텍스트 내 시간적 공발생 (Temporal Co-occurrence) 을 학습 신호로 사용하는 새로운 비지도 학습 방법을 제안합니다.

2.1 데이터 및 전처리

• 코퍼스: 프로젝트 구텐베르크 (Project Gutenberg) 의 9,766 권의 영어 텍스트 (16 세기~20 세기 초) 를 사용.
• Chunking: 각 텍스트를 50 토큰 크기의 문단으로 분할 (15 토큰 오버랩). 총 약 2,496 만 개의 문단 생성.
• 학습 쌍 생성: 동일한 텍스트 내에서 15 개 문단 (약 525 토큰) 이내의 거리에 있는 문단 쌍을 추출하여 총 3.73 억 개의 시간적 공발생 쌍 (Co-occurrence pairs) 을 구성.

2.2 모델 아키텍처 및 학습

• 모델: 사전 학습된 임베딩 (BGE-large-en-v1.5) 을 입력받아 연관 공간 (Association Space) 으로 매핑하는 29.4M 파라미터의 대조적 (Contrastive) MLP 모델.
• 학습 신호: 의미적 유사성이 아닌, 시간적 인접성을 양의 샘플 (Positive) 로 사용. InfoNCE 손실 함수를 사용하여 배치 내 다른 문단들과 구별 학습.
• 압축 (Compression) 전략: 모델의 용량 (파라미터 수) 이 학습 데이터 (3.73 억 쌍) 에 비해 제한적 (학습 정확도 42.75%) 으로 설정됨. 이로 인해 모델은 개별 공발생 쌍을 단순히 암기 (Memorization) 할 수 없게 되고, 수천 권의 책에 반복적으로 나타나는 구조적 패턴 (Recurring Patterns) 을 압축하여 추출해야 함.

2.3 클러스터링

• 변환된 임베딩을 $k=50$부터 $k=2,000$까지 6 가지 해상도로 K-means 클러스터링 수행.
• 이를 통해 광범위한 내러티브 모드부터 구체적인 문체, 장르 관습, 장면 템플릿까지 계층적인 개념 지도를 생성.

3. 주요 기여 (Key Contributions)

1. 레이블 없는 비지도 개념 발견: 주제 주석, 장르 메타데이터, 라벨 없이 텍스트의 시간적 공발생만으로 '전이 구조 (Transition Structure)' 기반의 개념을 발견하는 방법론 제시.
2. 주제 vs 기능의 구분: 기존 임베딩 클러스터링이 '주제 (Topic)'로 그룹화하는 반면, 제안된 방법은 '기능 (Function), 어조 (Register), 문학적 전통 (Literary Tradition)'으로 그룹화함을 실험적으로 입증.
3. 다중 해상도 개념 지도: 9,766 권의 텍스트에 대해 $k=50 \sim 2,000$의 6 단계 해상도로 계층적 개념 지도를 생성하고, 이를 탐색할 수 있는 인터랙티브 도구를 공개.
4. PAM 프레임워크의 확장: PAM 이 기존에 '사적 회상 (Episodic Recall)'과 '검색 (Retrieval)'에 사용되었으나, 압축 (Compression) regime 하에서는 개념 형성 (Concept Formation) 으로 전환되어 미시적 연관성이 아닌 거시적 구조적 패턴을 학습함을 증명.

4. 실험 결과 (Results)

4.1 구조적 유사성 발견 (Transition Structure Discovery)

• BGE(기존) vs PAM(제안):
  • BGE: "공포", "금전", "군사 용어" 등 주제별로 문단을 묶음.
  • PAM: "직접적 대립과 협상", "냉소적 세상의 지혜", "서정적 풍경 명상", "탐정 조사" 등 서사적 기능별로 묶음.
  • 예시: H. Rider Haggard 의 탐험 소설과 Algernon Blackwood 의 고딕 호러 소설은 주제가 다르지만, "캐릭터가 혼자서 잘못된 것을 마주하고 신체적 반응을 보이는 순간"이라는 구조적 기능으로 동일한 클러스터에 속함.

4.2 다중 해상도 계층 구조

• ** coarse ($k=50$):** "역사적 전투", "가정적 일상" 등 광범위한 모드.
• fine ($k=2,000$): "프랑코 - 프로이센 전쟁 군사 보고서", "선원 방언", "법정 심문 장면", "다윈 - 헉슬리 서신" 등 매우 구체적인 문체와 관습을 포착.

4.3 미시적 전이 (Inductive Transfer) 및 보이지 않는 소설 평가

• 학습 데이터에 포함되지 않은 5 권의 고전 소설 (예: 오만과 편견, 드라큘라, 프랑켄슈타인) 을 평가.
• 선택성 (Selectivity): PAM 모델은 각 소설을 구조적으로 일관된 소수의 클러스터에 집중적으로 할당함 (예: 오만과 편견의 77.6% 가 상위 5 개 클러스터에 집중). 반면 BGE 는 거의 모든 클러스터에 분산됨.
• 구조적 역할 추적: 소설 내에서 주제 (Topic) 가 바뀌어도 서사적 모드 (예: 여행 일기, 고독한 성찰) 가 유지되면 PAM 은 동일한 클러스터를 할당함. 이는 BGE 가 어휘 변화에 민감하게 반응하는 것과 대조적임.

4.4 검증 통제 (Validation Controls)

• 위치 편향 제거: 문단 위치 (책의 시작/중간/끝) 나 길이, 특정 책의 집중도 등 혼란 변수가 클러스터링 결과에 영향을 미치지 않음을 확인.
• 시간적 셔플 (Temporal Shuffle): 텍스트 내 시간 순서를 무작위로 섞으면 모델의 성능이 95.2% 급감하여, 학습된 신호가 실제 시간적 공발생 구조임을 입증.

5. 의의 및 결론 (Significance)

이 연구는 압축 (Compression) 이 비지도 학습에서 개념 형성을 가능하게 하는 핵심 메커니즘임을 보여줍니다.

• 생물학적 유사성: 해마 (Hippocampus) 가 개별 경험을 저장하는 방식 (PAM/AAR) 과 대조적으로, 대뇌 피질 (Neocortex) 이 경험을 재연하며 안정적인 구조적 패턴을 압축하여 일반화하는 방식과 유사합니다.
• 범용성: 이 방법은 문학 텍스트뿐만 아니라 법률 판례, 유전자 발현, 사용자 행동 시퀀스 등 시간적 순서가 있고 반복적인 구조적 패턴을 가진 모든 시퀀스 데이터에 적용 가능한 보편적인 개념 형성 메커니즘을 제시합니다.
• 기여: 단순한 주제 분류를 넘어, 텍스트가 맥락 내에서 수행하는 역할과 구조를 이해하는 새로운 컴퓨팅 언어적 접근법을 제시하여, 비교 문학 분석 및 대규모 코퍼스 분석에 혁신적인 도구를 제공합니다.

요약하자면, 이 논문은 "텍스트가 무엇을 말하느냐"가 아닌 "텍스트가 어떤 구조적 역할을 하느냐"를 학습하여, 수천 권의 책에서 반복되는 보편적인 서사 패턴과 문체 관습을 비지도 방식으로 발견해내는 획기적인 방법론을 제시합니다.