Associative Memory for Non-Stationary Environments: A Self-Sizing Generalization of Hopfield Networks

핵심 아이디어: 서류함이 아닌, 정원처럼 성장하는 기억

당신에게 서류함(고전적인 홉필드 네트워크)이 있다고 상상해 보세요. 당신은 서류 한 세트를 넣고 서랍을 잠근 뒤, 절대 바꾸지 않습니다. 세상이 정지해 있다면 이 방식은 아주 잘 작동할 것입니다. 하지만 세상이 변한다면 어떨까요? 새로운 문서가 도착하고, 기존 문서가 약간씩 수정되며, 어떤 문서들은 몇 년 동안 사라졌다가 다시 돌아오기도 합니다.

만약 당신이 꽉 찬, 잠겨 있는 서류함에 억지로 새 서류를 밀어 넣으려 한다면, 다음 중 하나를 겪게 될 것입니다:

1. 기존 서류를 뭉개버림 (파괴적 망각).
2. 공간이 부족해짐 (서류함의 크기가 사전에 고정되어 있기 때문).
3. 혼란에 빠짐 (돌아온 서류가 원래 있던 것인지, 아니면 새로운 복사본인지 구분할 수 없기 때문).

이 논문은 **유리손 머신(Urysohn Machine)**이라는 새로운 종류의 기억 시스템을 제안합니다. 경직된 서류함 대신, 이것을 살아있는 정원이라고 생각하세요. 이 정원은 필요할 때 새로운 꽃밭을 만들 수 있고, 서로 동일해진 꽃밭들을 합칠 수도 있으며, 새로운 꽃들이 피어나는 동안에도 오래된 꽃들을 안전하게 지켜낼 수 있습니다.

핵심 문제: "두 가지 속도"의 딜레마

저자들은 세상이 변할 때 학습과 기억은 사실 같은 문제라고 주장합니다. 당신은 두 가지 일을 동시에 수행해야 하지만, 이 일들은 서로 다른 속도로 일어납니다:

1. 빠른 속도 (메트릭 루프/Metric Loop): 친구의 약간 흐릿한 사진을 봅니다. 당신은 빠르게 그것을 "밥(Bob)"이라고 인식하고, 흐릿함을 반영하여 밥에 대한 정신적 이미지를 조정합니다. 이것은 **메모리 내부의 적응(within-memory adaptation)**입니다.
2. 느린 속도 (토폴로지컬 루프/Topological Loop): 밥을 닮았지만 실제로는 낯선 사람을 보거나, 완전히 새로운 사람을 봅니다. 이때 당신은 멈춰서 "잠깐, 이건 새로운 기억이야"라고 말하며 그를 위한 새로운 폴더를 만들어야 합니다. 이것은 **구조적 변화(structural change)**입니다.

함정: 만약 "빠른 속도"가 "느린 속도"를 제어하게 내버려 둔다면, 당신의 기억은 통제 불능 상태가 됩니다. 흐릿한 사진을 볼 때마다 실수로 그것을 새로운 사람이라고 생각하여 새로운 폴더를 만들 수도 있습니다. 당신의 기억은 제대로 된 것이 없는 수천 개의 "밥" 폴더들로 가득 차게 됩니다. 이를 "채터링(chatter, 떨림 현상)"이라고 부릅니다.

해결책: "히스테리시스(Hysteresis)" 게이트 (이중 문 잠금 장치)

채터링을 막기 위해, 유리손 머신은 히스테리시스(또는 이중 임계값 게이트)라는 영리한 트릭을 사용합니다. 높이가 서로 다른 두 개의 문이 있는 문을 상상해 보세요:

• 높은 바 (High Bar/Thigh): 새로운 기억을 생성하려면(새 문을 열려면), 혼란도가 매우 높아야 합니다. 이것이 단순히 기존 기억의 흐릿한 버전이 아님을 정말로 확신해야 합니다.
• 낮은 바 (Low Bar/Tlow): 기존 기억을 유지하려면, 혼란도가 더 낮은 수준까지만 떨어지면 됩니다.

비유: "데드 존(dead zone)"이 있는 온도 조절기를 생각해 보세요.

• 방이 매우 뜨거워지면 에어컨이 켜집니다 (높은 바).
• 에어컨은 방이 단순히 "덥지 않은" 상태가 아니라, "꽤 시원해질" 때까지 계속 작동합니다 (낮은 바).
• 이 간격 덕분에 구름이 태양을 가릴 때마다 에어컨이 켜졌다 꺼졌다 하는 것을 방지할 수 있습니다.

이 논문의 기억 시스템에서, 이 간격은 작은 변동(노이즈)이 새로운 기억 생성을 유발하지 않도록 보장합니다. 시스템은 오류가 지속적이고 부정할 수 없을 정도로 확실할 때만 구조를 변경(새로운 기억 추가)합니다.

작동 방식: E-D-T 사이클

이 머신은 일과처럼 세 단계의 사이클로 작동합니다:

1. 탐색 (Navigate - 깨어 있는 단계): 시스템은 새로운 입력을 기존 기억에 맞추려고 시냅스를 시도합니다. 이는 익숙한 집 안을 걷는 것과 같습니다. 입력이 잘 맞으면, 세부 사항을 약간 업데이트할 뿐입니다.
2. 검색 (Search - 경보 단계): 입력이 충분히 잘 맞지 않으면(오류가 급증하면), 시스템은 "높은 바"에 부딪힙니다. 시스템은 "이것은 내가 아는 것의 지저式한 버전이 아니라, 무언가 새롭거나 고장 난 것이다"라고 깨닫습니다.
3. 종결 (Closure - 잠자는 단계): 시스템은 조치를 취합니다.
   • 할당(Allocates): 진정으로 새로운 것에 대해 완전히 새로운 기억 슬롯을 생성합니다.
   • 재결합(Re-binds): "새로운" 것이 사실은 (긴 여행에서 돌아온 친구처럼) 원래 있던 오래된 것이라는 것을 깨닫고, 그것을 예전 슬롯에 다시 넣습니다.
   • 병합(Merges): 만약 두 개의 기억 슬롯이 동일해졌다면, 공간을 절약하기 위해 하나로 합칩니다.

"자기 크기 조절"의 마법

이 논문의 가장 인상적인 주장은 이 시스템이 스스로 크기를 조절한다는 것입니다.

• 기존 방식: 당신은 "나는 100개의 아이템을 위한 메모리가 필요해"라고 추측해야 합니다. 추측이 틀리면, 공간을 낭비하거나 데이터를 잃게 됩니다.
• 새로운 방식: 시스템은 데이터의 "모양"(구체적으로는 서로 다른 기억들 사이의 경계의 복잡성)을 살펴봅니다. 그리고 **유리손 폭(Urysohn Width)**이라는 숫자를 계산합니다.
  • 비유: 당신이 지도를 색칠하고 있다고 상상해 보세요. "폭"은 서로 다른 국가 사이의 국경 총 길이입니다. 시스템은 그 경계들을 완벽하게 덮기 위해 얼마나 많은 붓(기억 슬롯)이 필요한지 계산합니다.
  • 시스템은 데이터를 덮기에 정확히 충분한 슬롯을 가질 때까지 성장합니다. 그 이상도, 그 이하도 아닙니다. 인간이 제한치를 설정할 필요가 없습니다.

실험 결과가 보여준 것

저자들은 합성 데이터(컴퓨터로 생성된 패턴)를 통해 이를 테스트했으며, 다음과 같은 결과를 얻었습니다:

1. 성장을 멈춤: 시스템이 데이터를 덮기에 충분한 슬лот을 확보하면, 새로운 것을 만드는 것을 멈춥니다. 이는 필요한 슬롯 수를 미리 알고 있는 "완벽한 오라클(oracle)"의 성능과 일치하지만, 아무런 추측 없이 이를 해냈습니다.
2. 망각 없음: 각 기억 슬롯은 한 번 확정되면 "동결"되기 때문에, 새로운 기억을 추가해도 기존의 것을 지우지 않습니다. 오래된 기억들은 각자의 분리된 방 안에 안전하게 보관됩니다.
3. 변화(Drift) 처리: 만약 기억이 시간이 지남에 따라 천천히 변한다면(drift), 시스템은 이를 추적합니다. 만약 어떤 기억이 사라졌다가 다시 나타나면, 시스템은 이를 인식하고 중복을 만드는 대신 원래의 슬롯에 다시 넣습니다.
4. 계층 구조 구축: 시스템은 기억을 레벨별로 조직할 수 있습니다. 단순한 기억의 루프들은 단일한 "슈퍼 메모리"로 응축될 수 있으며, 이를 통해 시스템은 복잡하고 중첩된 구조(예: 고리들의 고리)를 이해할 수 있습니다.

솔직한 한계 (하지 못하는 것)

저자들은 이 시스템이 무엇이 아닌지에 대해서도 매우 명확하게 밝히고 있습니다:

• 이 시스템은 개별 항목을 기존의 강력한 방법들보다 더 높은 정밀도로 기억하게 만드는 것이 아닙니다.
• 이 시스템의 초능력은 단일 흐릿한 이미지를 불러오는 데 있어 일반적인 시스템보다 반드시 더 "똑똑하다"는 것이 아니라, **유지(retention, 잊지 않음)**와 **자기 크기 조절(self-sizing, 필요한 만큼만 성장함)**에 있습니다.

요약

유리손 머신은 변화하는 세상을 위해 설계된 기억 시스템입니다. 정지된 서류함 대신, 이것은 다음과 같은 역동적인 정원입니다:

• 작은 오류 때문에 패닉에 빠져 새로운 기억을 만들지 않도록 "이중 문" 규칙을 사용합니다.
• 데이터가 요구하는 정확한 크기로 자동으로 성장합니다 (추측이 필요 없음).
• 새로운 것을 배우는 동안에도 오래된 기억을 안전하게 지킵니다.
• 오래된 것이 돌아왔을 때 이를 인식하고 원래의 집으로 돌려보냅니다.

이 시스템은 "얼마나 많은 메모리가 필요한가?"라는 문제를 추측 게임에서, 데이터 자체에 기반한 수학적으로 해결 가능한 계산의 문제로 바꿉니다.