🤖 machine learning

Do Neurons Dream of Primitive Operators? Wake-Sleep Compression Rediscovers Schank's Event Semantics

이 논문은 압축 압력만으로 이벤트 원시 연산자를 자동 발견하는 'Wake-Sleep' 방식을 통해, Schank 의 개념적 의존성 이론이 정보 이론적으로 정당화됨을 입증하면서도 자연어 데이터에서는 원래 분류에 없던 정서 및 심리 상태 변화 연산자가 지배적임을 규명했습니다.

원저자: Peter Balogh

게시일 2026-03-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peter Balogh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"뉴런은 원시 연산자를 꿈꾸는가?" - 이 논문을 쉽게 설명해 드릴게요

이 논문은 **"인간이 세상을 이해하는 방식이 사실은 아주 간단한 '레고 블록'들로 이루어져 있을까?"**라는 아주 흥미로운 질문에서 시작합니다.

과거의 언어학자 로저 생크 (Roger Schank) 는 "모든 복잡한 사건은 몇 가지 기본 동작 (예: 물건을 건네주다, 이동하다, 정보를 전달하다) 으로 나눌 수 있다"고 주장했습니다. 하지만 그는 이 기본 동작들을 직접 연구해서 정했습니다.

이 논문은 **"그런데 컴퓨터가 직접 데이터를 압축하는 원리만 이용해 그 기본 블록들을 스스로 찾아낼 수 있을까?"**라고 묻습니다. 그리고 놀랍게도 **"네, 가능합니다!"**라고 답합니다.

1. 핵심 비유: "텍스트 압축기"와 "레고 블록"

이 논문의 핵심 아이디어를 이해하기 위해 **텍스트 압축 (BPE)**을 생각해 보세요.
컴퓨터가 "hello"라는 단어를 자주 쓰면, "h", "e", "l", "l", "o"를 따로 저장하는 대신 **"h", "ello"**나 **"he", "llo"**처럼 자주 나오는 조합을 하나의 새로운 기호로 만들어 저장합니다. 이렇게 하면 저장 공간 (데이터) 을 훨씬 적게 쓸 수 있죠.

이 논문은 **사건 (Event)**이라는 텍스트를 압축하는 것과 똑같은 일을 합니다.

입력: "존이 메리를 위해 책을 보냈다"라는 복잡한 사건.
목표: 이 사건을 설명하는 데 필요한 '단어 (기본 동작)'의 수를 최소화하는 것.

컴퓨터는 "아, '물건을 건네주다'와 '물건을 이동시키다'가 자주 같이 나오네? 이 두 가지를 합쳐서 '우편으로 보내다'라는 하나의 새로운 기본 블록으로 만들어야 저장 공간을 아낄 수 있겠다!"라고 스스로 판단합니다.

2. 실험 과정: "깨어 있는 시간"과 "잠자는 시간"

연구진은 컴퓨터에게 두 가지 모드를 반복해서 실행시켰습니다. (이걸 'Wake-Sleep' 알고리즘이라고 합니다.)

깨어 있는 시간 (Wake Phase): 컴퓨터는 주어진 사건 (예: "존이 책을 메리에게 보냈다") 을 설명하기 위해 현재 가지고 있는 기본 블록들을 조합해 봅니다.
잠자는 시간 (Sleep Phase): 컴퓨터는 낮에 쓴 조합들을 분석합니다. "어? '물건 건네기'와 '이동하기'가 자주 같이 쓰이는데, 이걸 하나로 합치면 설명이 훨씬 짧아지겠네?"라고 생각해서 새로운 기본 블록을 만들어냅니다.

이 과정을 반복하면, 컴퓨터는 처음에는 아주 막연한 블록들만 가지고 있었지만, 점점 세상에서 가장 자주 쓰이는 '최고의 기본 블록'들을 스스로 찾아내게 됩니다.

3. 놀라운 발견 1: 생크 (Schank) 가 맞았다!

컴퓨터가 스스로 찾아낸 기본 블록들을 보니, 로저 생크가 50 년 전에 손으로 정한 블록들과 완벽하게 일치했습니다.

ATRANS (소유권 이전): 컴퓨터가 찾아낸 "물건 가져가기/주기기" 블록.
PTRANS (위치 이동): 컴퓨터가 찾아낸 "장소 바꾸기" 블록.
MTRANS (정보 전달): 컴퓨터가 찾아낸 "지식 알려주기" 블록.

이는 **"인간이 만든 언어 규칙이 아니라, 데이터의 압축 효율성 (정보 이론) 이 자연스럽게 이런 기본 블록들을 만들어냈다"**는 것을 의미합니다. 마치 자연이 가장 효율적인 길을 찾듯이, 데이터도 가장 효율적인 설명 방식을 찾은 것입니다.

4. 놀라운 발견 2: 하지만 생크는 '무엇을' 놓쳤을까?

여기서부터가 이 논문의 진짜 재미있는 부분입니다. 컴퓨터가 **실제 사람의 일상 대화 (ATOMIC 데이터)**를 분석했을 때, 생크가 놓친 것들이 드러났습니다.

생크는 주로 물리적인 행동 (물건 주고받기, 이동하기) 에 집중했습니다. 하지만 실제 사람들의 일상 대화에서는 정신적이고 감정적인 변화가 훨씬 더 자주 일어납니다.

컴퓨터가 찾아낸 새로운 기본 블록들은 다음과 같습니다:

CHANGE wants (바람직함 변경): "무엇을 원하다", "목표가 바뀌다"
CHANGE feels (감정 변경): "기분이 좋아지다", "화나다"
CHANGE is (속성 변경): "성격이 변하다", "상태가 달라지다"

비유하자면:
생크는 세상을 이해하는 데 **'손과 다리' (물리적 행동)**만 중요하다고 생각했습니다. 하지만 컴퓨터는 **"마음과 감정 (감정, 목표, 성격)"**이 실제 일상에서 훨씬 더 자주 쓰이는 '레고 블록'이라는 것을 발견한 것입니다.
실제 데이터에서 '감정 변화' 블록은 전체 사용의 **20%**를 차지할 정도로 압도적이었습니다.

5. 결론: 우리는 무엇을 배웠나요?

컴퓨터는 꿈을 꿉니다: 복잡한 사건을 이해하는 기본 규칙들은 사람이 정해준 것이 아니라, 데이터가 스스로 압축되면서 자연스럽게 발견될 수 있습니다.
생크는 50% 옳았습니다: 그가 찾은 '물리적 행동' 블록들은 정말 기본적이지만, 전부는 아니었습니다.
인간의 마음은 더 복잡합니다: 우리가 세상을 이해할 때, '물건을 주고받는 것'보다 **'무엇을 원하고, 어떻게 느끼는지'**가 훨씬 더 중요한 기본 단위입니다.

한 줄 요약:

"인간이 세상을 이해하는 언어는 사실 데이터 압축의 법칙으로 만들어졌으며, 그 언어의 가장 중요한 단어들은 **'물리적 행동'이 아니라 '감정과 목표의 변화'**였습니다."

이 연구는 인공지능이 단순히 데이터를 외우는 것을 넘어, 인간처럼 세상을 구조화하고 이해하는 '기본 언어'를 스스로 발견할 수 있음을 보여준 획기적인 결과입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 1970 년대 로저 생크는 모든 인간 사건의 의미를 소수의 원시 행동 (ATRANS, PTRANS, MTRANS 등) 으로 분해할 수 있다고 주장했습니다. 그러나 이 원시들은 언어학적 직관에 기반하여 수동으로 정의되었으며, 통계적 NLP 의 부상으로 인해 그 타당성에 대한 의문이 제기되었습니다.
문제: 이러한 원시 연산자들이 인간의 직관이 아니라, **데이터 자체의 압축 압력 (Compression Pressure)**만으로 자동적으로 발견될 수 있을까요? 또한, 생크가 제안한 원시 집합이 사건 의미론의 완전한 목록일까요?
목표: DreamCoder 의 'Wake-Sleep' 알고리즘을 사건 상태 변환 (Event State Transformations) 영역에 적용하여, 데이터에서 자동으로 재사용 가능한 원시 연산자를 발견하고 생크의 이론을 검증 및 확장하는 것.

2. 방법론 (Methodology)

2.1 세계 상태 표현 (World State Representation)

사건을 Before/After 세계 상태 쌍으로 표현합니다.
상태는 (주체, 관계, 객체/값) 형태의 트리플 (Triple) 집합으로 정의됩니다.
사건은 두 상태 간의 차이 (State Diff) 로 표현되며, 이는 추가된 트리플과 제거된 트리플의 집합입니다.

2.2 도메인 특화 언어 (DSL) 및 시드 라이브러리

DSL: 타입이 지정되고 조합 가능한 연산자 템플릿을 정의합니다.
시드 라이브러리 (Seed Library): 연구 시작 시 4 가지의 매우 일반적인 상태 변경 연산자로 초기화됩니다.
- SET: 사실 추가
- UNSET: 사실 제거
- MOVE PROP: 소유권/속성 이동 (출발지는 잃고 도착지는 얻음)
- CHANGE: 값 교체

2.3 Wake-Sleep 라이브러리 학습 알고리즘

DreamCoder 의 원리를 사건 도메인에 적용합니다.

Wake Phase (각성 단계): 현재 라이브러리를 사용하여 각 사건 (Before/After 상태) 을 설명하는 프로그램 (연산자 시퀀스) 을 탐색합니다 (Beam Search 사용).
Sleep Phase (수면 단계): 성공적인 프로그램들에서 반복되는 패턴을 추출하여 새로운 라이브러리 항목을 제안합니다.
- 전문화 (Specialization): 특정 관계 (예: has, location) 를 자주 사용하는 연산자를 하드코딩하여 아리티 (arity, 인자 수) 를 줄입니다. (예: MOVE PROP $\rightarrow$ MOVE PROP has)
- 조합 (Composition): 빈번하게 순차적으로 나타나는 연산자 쌍을 하나의 복합 연산자로 병합합니다. (예: ATRANS + PTRANS $\rightarrow$ MAIL)
최적화 기준: 최소 설명 길이 (Minimum Description Length, MDL) 원칙.
- $MDL = L(Library) + \sum L(Program | Library)$
- 새로운 연산자가 라이브러리 비용보다 더 많은 설명 길이 절감 (압축) 을 가져올 때만 채택됩니다.

3. 주요 기여 (Key Contributions)

사건 상태 변환을 위한 DSL 개발: 세계 상태를 트리플로 표현하고, 이를 설명하는 타입 지정 조합 가능 연산자를 정의했습니다.
Wake-Sleep 알고리즘의 적응: 사건 도메인에 맞는 조합 발견 메커니즘을 구현하여, 복합 연산자 (예: "우편 발송" = 소유권 이전 + 물리적 이동) 를 자동으로 발견했습니다.
생크의 원시 연산자 자동 발견: 압축 압력만으로 ATRANS, PTRANS, MTRANS, INGEST 등 생크의 핵심 원시들이 자연스럽게 도출됨을 증명했습니다.
실제 데이터 (ATOMIC) 검증: 합성 데이터뿐만 아니라 실제 상식 지식 그래프 (ATOMIC) 에서도 유효함을 입증했습니다.
베이지안 MDL 프레임워크: 단순 비트 카운팅을 넘어, 확률적 비용을 포함한 엄격한 모델 비교 (Bayes Factors) 를 가능하게 했습니다.

4. 실험 결과 (Results)

4.1 합성 데이터 (Synthetic Data) 결과

원시 발견: 4 가지 시드 연산자에서 출발하여, 생크의 핵심 원시들 (MOVE PROP has $\approx$ ATRANS, CHANGE location $\approx$ PTRANS, SET knows $\approx$ MTRANS, SET consumed $\approx$ INGEST) 이 정확히 재발견되었습니다.
성능: 발견된 라이브러리는 생크의 수동 정의 원시보다 100% 의 사건을 설명하며 (생크는 81%), MDL 비용은 생크의 방법보다 4% 이내로 근사했습니다.
구조적 통찰: 시스템은 정보 전달 (MTRANS) 이 소유권 이전 (ATRANS) 과 구조적으로 다르다는 점 (출발지가 정보를 잃지 않음) 을 상태 변화 패턴만으로 정확히 구분했습니다.

4.2 실제 데이터 (ATOMIC Knowledge Graph) 결과

생크 이론의 한계: 생크의 원시들은 실제 자연어 상식 데이터 (ATOMIC) 의 단 10% 만 설명할 수 있었습니다.
새로운 원시 발견: 실제 데이터에서는 물리적 행동보다 정서적/심리적 상태 변화가 압도적으로 중요했습니다.
- 상위 3 개 연산자: CHANGE wants (20%), CHANGE feels (18%), CHANGE is (18%).
- 이 세 가지는 생크의 원래 분류에 존재하지 않습니다.
성능 비교: 발견된 라이브러리는 ATOMIC 데이터에서 100% 커버리지를 달성했으며, 베이지안 MDL 점수에서 생크의 라이브러리를 압도적으로 능가했습니다 (Log2 Bayes Factor = +1,380).

4.3 일반화 및 확장성

데이터 크기가 작아도 (50 개 사건) 핵심 원시들이 발견되었습니다.
학습 데이터와 테스트 데이터 간 분할 실험에서 발견된 연산자들이 완벽하게 일반화됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

생크의 메커니즘은 옳았으나 목록은 불완전함:
- 사건 의미론이 재사용 가능한 원시 집합으로 분해된다는 생크의 핵심 통찰은 정보 이론적 압축 원리에 의해 검증되었습니다.
- 그러나 생크가 제안한 목록은 물리적 행동과 정보 전달에 치우쳐 있었으며, 일상적 상식 추론에서 더 빈번한 정서, 목표, 속성 상태 변화를 누락했습니다.
압축이 의미론을 정의한다:
- 원시 연산자는 언어학적 직관이 아니라, 데이터의 **정보 이론적 최적성 (Information-Theoretic Optimality)**에서 도출됩니다. 가장 빈번하고 압축 효율이 높은 상태 변환이 원시가 됩니다.
새로운 패러다임 제안:
- "발견 (Discovery) 대 나열 (Enumeration)": 언어학자들이 원시를 나열하는 대신, 데이터 압축을 통해 원시를 자동 발견하는 접근법이 더 효과적입니다.
- JEPA 와의 통합: LeCun 의 JEPA(잠재 공간 예측) 는 '무엇이 상태인지'를 학습하고, 본 연구의 Wake-Sleep 루프는 '상태가 어떻게 변환되는지 (연산자)'를 학습하여, 기호적 추론과 신경망 표현을 결합할 수 있는 길을 제시합니다.

결론적으로, 이 논문은 신경망이 압축을 통해 생크의 원시 연산자를 재발견할 뿐만 아니라, 인간 사고의 실제 구조를 더 잘 반영하는 (심리적/정서적 요소가 포함된) 더 풍부하고 자동화된 원시 집합을 발견할 수 있음을 실증했습니다.