🤖 machine learning

Interestingness as an Inductive Heuristic for Future Compression Progress

본 논문은 '흥미로움'을 미래의 압축 진전을 위한 귀납적 휴리스틱으로 형식화하여, 이론적 분석과 실증 실험을 통해 과거의 획기적 발전이 미래의 발견을 지수적으로 예측하며, 길이 우선순위에 비해 알고리즘적 우선순위가 훨씬 더 낙관적인 전망을 제시함을 입증한다.

원저자: Vincent Herrmann, Jürgen Schmidhuber

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vincent Herrmann, Jürgen Schmidhuber

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"미래의 압축 진보를 위한 귀납적 휴리스틱으로서의 흥미로움"이라는 논문에 대한 설명을 비유를 사용하여 쉽고 일상적인 언어로 번역한 것입니다.

커다란 문제: 영원히 배우는 법

인간 교사 없이 스스로 더 똑똑해지며 영원히 학습해야 하는 로봇을 상상해 보세요. 이를 '개방형 지능'이라고 합니다.

이 로봇은 두 가지 일을 합니다:

학습: (교과서를 읽는 학생처럼) 데이터를 연구하여 패턴을 찾습니다.
생성: (새로운 퀴지를 만드는 교사처럼) 다음에 연구할 새로운 문제나 데이터를 만들어냅니다.

어려운 부분은 생성 단계입니다. 로봇이 무작위 소음을 만들어낸다면 아무것도 배우지 못합니다. 이미 아는 것을 만든다면 지루해집니다. 로봇은 너무 쉽지도 (지루하지도) 않고, 너무 어렵지도 (불가능하지도) 않은, 새로운 것을 가르쳐 줄 수 있는 '완벽한' 새로운 퍼즐을 선택할 방법이 필요합니다.

이 논문은 이렇게 묻습니다: 로봇은 아직 해결해 보지도 전에 어떤 새로운 퍼즐이 '흥미로운지' 어떻게 알 수 있을까요?

핵심 아이디어: '흥미로움'은 수정구슬이다

저자들은 '흥미로움'이 사물이 얼마나 cool 한지와는 관련이 없다고 주장합니다. 그것은 예측 도구입니다. *"내가 이걸 공부하는 데 시간을 쓴다면 나중에 '아하!' 하는 순간을 경험할까요?"*라고 추측하는 방법입니다.

이것을 **압축 진보 (Compression Progress)**라고 부릅니다.

압축은 긴 이야기를 짧은 문장으로 요약하는 것과 같습니다. 많은 데이터를 간단한 규칙으로 요약할 수 있다면, 당신은 그것을 '압축'한 것입니다.
진보는 당신의 요약을 더 짧게 만들어 주는 새로운 규칙을 발견할 때 발생합니다.

이 논문은 좋은 '흥미로움' 탐지기는 로봇의 과거를 살펴보고 이렇게 물어봐야 한다고 제안합니다: "지금까지 우리가 배워온 방식에 비추어 볼 때, 곧 새로운 단축경을 찾을 확률이 높은가요?"

실험: '정체' 미터

이를 테스트하기 위해 저자들은 로봇의 학습 역사를 그래프로 살펴보았습니다. 산 (데이터의 난이도를 나타냄) 을 내려가는 등산객을 상상해 보세요.

등산객이 내려가는 더 짧은 경로를 찾을 때마다, 그것은 그래프상의 '돌파구'나 '하락'입니다.
정체 길이 (Stagnation Length): 이는 등산객이 마지막 단축경을 찾은 이후로 걸어온 거리입니다.

주요 발견:
이 논문은 수학적으로 시간이 크기보다 더 중요하다는 것을 증명합니다.

로봇이 어제 돌파구를 찾았다면, 오늘 또 다른 돌파구를 찾을 확률이 높습니다.
로봇이 오랫동안 돌파구를 찾지 못했다면, 곧 돌파구를 찾을 확률은 절벽처럼 떨어집니다.

낚시와 같습니다. 방금 큰 물고기를 잡았다면, 그 물은 물고기로 가득 차 있을 가능성이 높으니 그 자리에서 계속 낚시를 해야 합니다. 같은 자리에서 세 시간 동안 낚싯대를 내렸는데 한 마리도 낚이지 않았다면, 지금 물고기를 잡을 확률은 거의 제로입니다. 새로운 곳으로 이동해야 합니다.

세 가지 '세계' (Prior)

저자들은 이 아이디어가 유효한지 확인하기 위해 데이터가 생성되는 방식을 수학적으로 모델링한 세 가지 다른 '우주'에서 이를 테스트했습니다.

'무작위 타이핑' 세계 (길이 Prior): 원숭이가 키보드를 두드리는 상황을 상상해 보세요. 짧은 문자열이 긴 것보다 더 흔합니다. 이 세계에서는 오랫동안 단축경을 찾지 못했다면, 곧 찾을 가능성은 매우 낮습니다.
'간단한 프로그램' 세계 (알고리즘적 Prior): 우주가 가능한 한 가장 간단한 컴퓨터 프로그램에 의해 생성된다고 상상해 보세요. 이것이 가장 '낙관적인' 세계입니다. 여기서는 오랫동안 막혀 있더라도 곧 큰 돌파구가 올 확률이 여전히 상당하지만, 여전히 마지막 돌파구 직후에 발생할 확률이 훨씬 더 높습니다.
'빠른 실행' 세계 (속도 Prior): 이 세계는 느린 프로그램을 싫어합니다. 만약 단축경이 존재한다면 이미 발견되었을 것입니다. 이 세계에서는 단축경을 찾지 못했다면 아마 영원히 찾지 못할 것입니다. 이는 가장 비관적인 관점입니다.

결과: 세 가지 세계 모두에서 이 규칙이 유효했습니다: 가장 최근의 돌파구가 다음 돌파구를 예측하는 가장 좋은 지표입니다. 승리 없이 기다리는 시간이 길어질수록 승리가 올 가능성은 줄어듭니다.

'낙관적인' 로봇 vs '비관적인' 로봇

이 논문은 '간단한 프로그램' 세계 (알고리즘적 Prior) 에 대해 놀라운 사실을 발견했습니다. 그것은 '무작위 타이핑' 세계보다 훨씬 더 낙관적입니다.

'무작위' 세계에서는 막히면 아마 영원히 막힐 것입니다.
'간단한 프로그램' 세계에서는 막혀 있더라도 단지 다음 큰 발견을 기다리는 것일 뿐이며, 잠재적 보상은 훨씬 큽니다 (제곱으로 증가).

이는 우리의 AI 가 세상이 발견 가능한 간단한 패턴으로 구성되어 있다고 가정한다면, 비록 조금 시간이 지났더라도 최근에 새로운 것을 가르쳐 준 것들에서 계속 학습하려고 노력해야 함을 시사합니다.

현실 세계 테스트

저자들은 수학만 한 것이 아니라 세 가지 다른 유형의 '컴퓨터'(2-Tag 시스템, Rule 110 셀룰러 오토마타, Brainfuck 코드) 를 사용하여 실제 컴퓨터 시뮬레이션을 실행했습니다.

그들은 수백만 개의 프로그램을 생성하고 그들이 어떻게 '학습' (데이터 압축) 하는지 관찰했습니다.
결과: 실제 세계 데이터는 수학 이론과 완벽하게 일치했습니다. '정체 길이 (마지막 승리 이후의 시간)'는 새로운 승리가 올 것인지에 대한 가장 강력한 신호였습니다.

결론

인간 boss 없이 로봇이 영원히 학습하려면 다음에 무엇을 공부할지 선택하는 간단한 규칙이 필요합니다:
"최근에 새로운 것을 가르쳐 준 것에 집중하세요."

만약 어떤 작업이 오랫동안 지루했다면, 시간을 낭비하지 말고 그만두세요. 만약 방금 새로운 통찰을 주었다면, 다음 큰 돌파구가 바로 코앞에 있을 가능성이 높으니 계속 집중하세요. 이 '흥미로움의 귀납적 속성'은 자기 개선 시스템이 앞으로 나아가게 만드는 나침반입니다.

기술적 요약: 미래 압축 진보를 위한 귀납적 휴리스틱으로서의 흥미로움

1. 문제 제기

본 논문은 재귀적 자기 개선이 가능한 개방형 지능 시스템의 개발에서 발생하는 치명적인 병목 현상, 즉 흥미로움 (interestingness) 의 과제를 다룹니다. 현재의 기계 학습 패러다임 (예: 경사 하강법, 강화 학습) 은 학습 단계 (데이터에서 패턴 추출) 에서 상당한 성과를 거두었지만, 생성 단계 는 여전히 해결되지 않은 문제로 남아 있습니다. 구체적으로, 인간 개입 필터링이나 수동으로 설계된 커리큘럼에 의존하지 않고 자율 시스템이 미래 진보의 잠재력을 지닌 작업, 데이터 또는 산물을 어떻게 선제적으로 식별할 수 있을까요?

기존의 흥미로움 측정 지표 (예: 예측 오차, 정보 이득, 학습 진보) 는 대부분 사후적 (post-hoc) 입니다. 이들은 계산 자원이 소모된 후 이미 학습된 내용을 정량화합니다. 자기 개선 시스템은 상당한 자원을 투입하기 전에 미래 학습 가능성을 예측할 수 있는 선제적 (prospective) 휴리스틱이 필요하며, 이는 학습 불가능한 것, 이미 학습된 것, 그리고 알려졌으나 학습 가능한 것 사이를 구분해야 합니다.

2. 방법론

저자들은 "흥미로움"을 미래 압축 진보를 위한 귀납적 휴리스틱으로 형식화합니다. 그들은 과거의 진보와 미래의 발견 사이의 관계를 분석하기 위해 알고리즘 정보 이론 (AIT) 과 알고리즘 통계학의 도구를 활용합니다.

핵심 개념

압축 진보: 흥미로움은 새로운 객체가 통합될 때 전체 설명 길이 (모델 복잡도 + 데이터 잔차) 의 예상 감소량으로 정의됩니다. 이는 최소 설명 길이 (MDL) 원칙과 부합합니다.
복잡도 대 실행 시간 프로파일 ( $D_x$ ): 저자들은 실행 시간 예산 $r$ 내에서 문자열 $x$ 를 계산하는 데 필요한 최단 프로그램 길이 $K_r(x)$ 의 궤적을 분석합니다. 이 프로파일에서의 "하락"은 압축의 돌파구를 나타냅니다.
로그 크기 대 복잡도 프로파일 ( $P_x$ ): 알고리즘 통계학을 활용하기 위해, 그들은 주어진 모델 복잡도에 대해 $x$ 를 포함하는 가장 작은 집합의 로그 크기를 설명하는 프로파일을 사용합니다.
$P_x \leftrightarrow D_x$ 대응 관계: 비시 비버 함수 (Busy Beaver function, $BB$) 를 사용하여, 저자들은 로그 크기/복잡도 프로파일과 복잡도/실행 시간 프로파일 사이의 아핀 변환 (affine transformation) 을 확립합니다. 이를 통해 $P_x$ 에서 도출된 이론적 결과를 계산적으로 관련된 $D_x$ 영역에 매핑할 수 있습니다.
귀납적 속성: 핵심 질문은 임계값 $t$ 까지 관찰된 프로파일의 형태 (마지막 관찰된 하락이 발생한 "정체 길이" $t - \hat{m}$ , 여기서 $\hat{m}$ 은 마지막 관찰된 하락) 가 미래의 하락 (추가 압축) 의 존재와 크기를 통계적으로 예측할 수 있는지 여부입니다.

조사된 사전 분포 (Priors)

이 연구는 계산 가능한 문자열에 대한 세 가지 서로 다른 사전 분포 하에서 귀납적 속성을 평가합니다:

길이 사전 분포 ( $L$ ): 문자열 길이에 대한 균일 확률.
알고리즘 사전 분포 ( $M$ ): 솔로모노프의 사전 분포로, 짧은 설명 (프로그램) 을 가진 문자열을 선호합니다.
속도 사전 분포 ( $S$ ): 프로그램 길이와 실행 시간 모두를 패널티로 부과하여, 빠르게 계산 가능한 문자열을 선호합니다.

3. 주요 기여

본 논문은 다음과 같은 이론적 및 실증적 기여를 합니다:

귀납적 흥미로움의 형식화: 저자들은 흥미로움의 귀납적 속성이 이론적으로 타당함을 증명합니다. 그들은 정체 길이 (마지막 관찰된 압축 돌파구 이후의 간격) 가 미래 진보의 주요 예측 변수임을 보여줍니다.
발견 확률의 지수적 감소: 새로운 압축 "하락"의 확률이 정체 길이가 증가함에 따라 지수적으로 소멸함을 증명합니다. 이는 더 이상의 참여에 가장 유망한 객체들이 가장 최근의 진보를 보이는 것들임을 시사합니다.
사전 분포 비교:
- 알고리즘 사전 분포는 길이 사전 분포보다 훨씬 더 "낙관적"임이 입증되었습니다. 동일한 관찰된 프로파일에 대해, 알고리즘 사전 분포는 길이 사전 분포에 비해 2 차 증가하는 예상 미래 압축 진보를 산출합니다.
- 속도 사전 분포는 가장 "보수적"입니다. 만약 더 빠른 압축 방법이 존재했다면 이미 발견되었을 것이라고 가정하여, 많은 경우 거의 0 에 가까운 예상 미래 진보를 도출합니다.
실증적 검증: 이론적 경향은 2-Tag 시스템, Rule 110 세포 자동자, Brainfuck (BF) 라는 세 가지 계산적으로 보편적인 패러다임에서 확인되었습니다. 모든 경우에서 데이터는 최근의 진보가 특히 알고리즘 사전 분포 하에서 미래 압축 가능성의 강력한 지표임을 뒷받침합니다.

4. 결과

이론적 경계: 길이 및 알고리즘 사전 분포 하에서, 미래 하락의 확률 $p(m_x \ge t | \hat{P})$ 는 대략 $2^{-(t-\hat{m})}$ 입니다. 예상 미래 압축 진보 또한 정체 길이에 따라 지수적으로 감소합니다.
사전 분포 민감도: 모든 사전 분포에 대해 지수적 감소가 성립하지만, 예상 진보의 크기는 다릅니다. 알고리즘 사전 분포는 길이 사전 분포보다 발견의 잠재력이 훨씬 높다고 예측하는 반면, 속도 사전 분포는 거의 추가 진보가 없을 것이라고 예측합니다.
실증적 확인: 2-Tag, Rule 110, Brainfuck 시스템에 대한 실험은 이론적 곡선과 일치합니다. 마지막 관찰된 진보 이후의 단계 수가 증가함에 따라 평균 잔여 압축 진보는 소멸합니다. 실증적 환경에서 속도 사전 분포의 결과는 이론적 극한보다 덜 두드러집니다 (특정 실험 설정에서 극도로 짧은 실행 시간이 부재하기 때문) 하지만, 정체로 인한 예상 진보 감소라는 일반적 경향은 유지됩니다.

5. 중요성과 주장

본 논문은 흥미로움을 객체의 고유한 속성이 아니라, 압축 진보의 궤적에 기반한 관계적, 선제적 휴리스틱으로 보아야 한다고 주장합니다.

자율성: 흥미로움을 선제적 평가로 형식화함으로써, 본 논문은 인간 개입 없이 자율 시스템이 작업을 선택할 수 있는 원칙적 기반을 제공합니다. 시스템은 "정체 길이"가 짧은 객체를 우선시해야 함을 시사합니다.
이론적 근거: 이 연구는 "호기심"이나 "흥미로움"이라는 직관적 개념을 알고리즘 정보 이론의 엄격한 프레임워크에 근거시켜, 휴리스틱적 정의를 넘어 증명 가능한 귀납적 속성으로 이동시킵니다.
한계 및 향후 방향: 저자들은 겸손하게도 그들의 이론적 결과가 물리적으로 실현 불가능한 실행 시간을 수반하는 비시 비버 함수에 의존한다고 지적합니다. 그러나 이러한 결과의 기계 독립성은 객체의 고유한 알고리즘적 속성을 반영한다고 주장합니다. 그들은 구조화된 영역 (예: 생물학적 시스템, 프랙탈) 에서는 마지막 하락의 시점뿐만 아니라 진보의 역사 (스케일 프리의 출현) 가 더 중요할 수 있음을 인정하며, 이는 현재 사전 분포로는 완전히 포착되지 않는다고 덧붙입니다. 그들은 진정한 개방성을 달성하기 위해 향후 연구는 자신의 "압축 최전선"을 명시적으로 모델링할 수 있는 내성적 (introspective) 모델 개발에 초점을 맞춰야 한다고 결론지었습니다.