Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

우리가 새로운 문제에 직면했을 때, 우리의 뇌는 단순히 최적의 해결책을 찾기 위해 숫자를 계산하지 않습니다. 대신, 우리는 과거로 거슬러 올라가 유사한 상황에 대한 구체적인 기억을 끌어올려 다음 움직임을 안내합니다. 관련 경험을 회상하고 그 경험을 바탕으로 자신의 선택을 설명하는 이 능력은 인간 지능의 특징입니다. 수십 년 동안 과학자들은 이러한 유연성을 모방하는 인공 시스템을 구축하기 위해 노력해 왔지만, 대부분의 성공적인 방식은 해석하기 어렵고 막대한 컴퓨팅 파워를 요구하는 복잡한 수학적 형태의 방대한 데이터를 저장하는 데 의존합니다. 이러한 시스템은 게임의 규칙이 바뀌거나 새로운 목표가 나타나면 어려움을 겪으며, 처음부터 다시 학습해야 하는 상황에 처하곤 합니다. 연구자들의 과제는 빠르게 학습하고, 새로운 제약 조건에 즉각적으로 적응하며, 평이한 용어로 자신의 결정을 설명할 수 있으면서도 작고 에너지 효율적인 장치에서 실행될 수 있는 시스템을 만드는 것이었습니다.

그라츠 공과대학교(Graz University of Technology)의 연구진은 '에피소드 인지 지도(Episodic Cognitive Map)', 즉 ECM이라 불리는 새로운 접근 방식을 개발하여 다른 길을 제시했습니다. 모든 지식을 추상적인 숫자로 압축하려고 시도하는 대신, 이 시스템은 자신의 경험을 상세히 기록하는 일기를 쓰는 인간의 마음처럼 작동합니다. 이 알고리즘은 무작위 보행(random walks)을 통해 환경을 탐색하며, 자신이 취하는 모든 발걸음을 하나의 뚜렷한 기억으로 기록합니다. 이 시스템을 독특하게 만드는 것은 기억을 저장하고 사용하는 방식입니다. 단순히 어디에 갔는지를 기억하는 것이 아니라, 방문한 모든 위치를 그것이 속했던 특정 여정과 연결합니다. 만약 시스템이 A 지점에서 B 지점으로 이동해야 한다면, 가능한 모든 경로의 거리나 가치를 계산하지 않습니다. 대신, 자신의 과거 여정 라이브러리를 살펴보고 다음과 같이 질문합니다. "나의 이전 여행 중 현재 내가 있는 곳과 내가 가고자 하는 곳을 모두 포함했던 적이 있었던가?" 이 질문에 대한 답은 직접적으로 최선의 다음 단계를 가리킵니다.

연구진은 수백 개의 위치가 있는 지도나 행동의 결과가 불확실한 상황을 포함하여 복잡한 의사 결정 과제를 모방한 시뮬레이션 환경에서 이 아이디어를 테스트했습니다. 이 테스트에서 ECM 알고리즘은 놀라울 정도로 효율적임을 입증했습니다. 이 시스템은 훨씬 더 복잡한 인공지능 방법들과 대등한 속도와 정확도로 어떤 시작점에서든 어떤 목표로든 이동하는 법을 배웠습니다. 결정적으로, 이 시스템은 기억 세포와 의사 결정 뉴런 사이의 단순한 이진(binary) 연결만을 사용하여 이를 달아냈습니다. 이는 시스템이 무거운 수학적 계산을 수행하거나 고정밀 숫자를 저장할 필요가 없음을 의미합니다. 시스템은 새로운 환경을 배우고, 내비게이션 문제를 해결하며, 자신의 선택을 뒷받침하는 구체적인 과거 경험을 지목함으로써 설명할 수 있으며, 이 모든 과정에서 목표가 바뀌더라도 다시 학습할 필요가 없습니다.

이 시스템의 힘은 즉각적으로 적응하는 능력에 있습니다. 많은 인공지능 모델에서 목표를 변경하거나 새로운 안전 규칙을 추가하려면 전체 시스템을 재학습시켜야 하며, 이 과정은 몇 시간 또는 며칠이 걸릴 수 있습니다. 그러나 ECM 알고리즘은 순식간에 행동을 조정할 수 있습니다. 만약 경로가 차단되거나 새로운 안전 제약 조건이 도입되면, 시스템은 단순히 자신의 기억 라이브러리를 필터링하여 차단된 경로를 포함하거나 위험한 구역을 포함하는 기억들을 제외합니다. 그런 다음 남은 유효한 기억들을 바탕으로 새로운 경로를 선택합니다. 이러한 유연성 덕분에 시스템은 도로가 폐쇄된 도시를 항해하거나 위험도가 높은 구역을 피하는 것과 같은 복잡한 시나리오를, 지도를 다시 학습하는 일 없이도 처리할 수 있습니다.

이것이 어떻게 작동하는지 이해하기 위해, 시스템이 거리가 아닌 연결 관계의 정신적 지도를 구축한다고 상상해 보십시오. 시스템이 새로운 구역을 탐색할 때, 각 여정의 기록을 생성합니다. 이 구역의 각 위치에는 해당 위치가 나타났던 특정 여정들이 태그로 붙습니다. 시스템이 목표를 향해 이동해야 할 때, 목표와 연관된 기억들을 활성화합니다. 그러면 이 기억들은 과거에 목표와 함께 자주 등장했던 위치들을 밝힙니다. 시스템은 단순히 목표와 가장 강력한 연결을 가진 위치로 이어지는 행동을 선택합니다. 이 과정은 매우 직접적이어서 복잡한 계산을 건너뜁니다. 시스템은 가능한 모든 미래 상태의 가치를 알 필요가 없습니다. 단지 과거의 경험 중 무엇이 현재와 원하는 미래를 연결하는지만 알면 됩니다.

연구진은 또한 이 시스템이 시간이 지남에 따라 어떻게 스스로를 개선할 수 있는지 탐구했습니다. 그들은 성공적인 계획 시도에서 얻은 새롭고 더 유용한 기억으로 오래된 기억을 가끔 교체함으로써, 메모리 크기를 늘리지 않고도 내부 지도를 정교화할 수 있다는 것을 발견했습니다. 재귀적 자기 개선(recursive self-improvement)이라고 알려진 이 과정은 알고리즘이 경험을 쌓음에 따라 더 짧은 경로를 찾는 데 더 효율적이 되도록 해주었습니다. 환경이 예측 불가능하여 행동이 때때로 예상치 못한 결과를 초래하는 경우에도, 시스템은 성공으로 이어진 빈도에 따라 기억의 가중치를 조절함으로써 신뢰할 수 있는 경로를 찾는 능력을 유지했습니다. 이를 통해 위험과 보상의 균형을 맞추는 전략을 학습했습니다.

이 연구의 가장 중요한 발견 중 하나는 시스템이 완전한 투명성을 가지고 자신의 결정을 설명할 수 있다는 점입니다. 모든 선택은 구체적인 과거 경험 세트에 기반하기 때문에, 시스템은 어떤 기억이 특정 행동을 이끌었는지 정확히 보여줄 수 있습니다. 만약 인간이 왜 특정 경로를 선택했는지 묻는다면, 시스템은 그 경로를 유망하게 만들었던 자신의 이력 속 특정 여정들을 지목할 수 있습니다. 이는 현대의 많은 인공지능 시스템이 복잡한 수학적 층위 속에 결정의 근거가 숨겨져 있는 '블랙박스'처럼 작동하는 것과 극명한 대조를 이룹니다. ECM 알고리즘은 효과적일 뿐만 아니라 이해 가능하고 신뢰할 수 있는 지능형 기계를 구축하는 방법을 제시합니다.

이 연구의 함의는 내비게이션을 넘어 확장됩니다. ECM 알고리즘의 원리는 가볍고 에너지 효율적이며 센서나 로봇과 같은 작은 장치에서 작동할 수 있는 인공지능을 구축하는 새로운 방법을 시사합니다. 시스템은 복잡한 부동 소수점 계산 대신 단순한 이진 연결에 의존하기 때문에, 전력을 매우 적게 사용하는 하드웨어에서도 구현될 수 있습니다. 이는 강력한 중앙 컴퓨터와의 연결 없이도 빠르고 지능적인 결정을 내려야 하는 엣지 컴퓨팅(edge computing)에 이상적인 후보가 됩니다. 새로운 맥락에 적응하고 그 근거를 설명할 수 있는 능력은 안전과 신뢰성이 매우 중요한 응용 분야에서 특히 가치가 높습니다.

연구진은 현재의 작업이 상태가 명확하게 정의되고 라벨이 붙은 환경에 집중하고 있음을 인정합니다. 그들은 시스템이 주변 환경을 이해하기 위해 이미지나 소리와 같은 가공되지 않은 감각 데이터를 해석해야 하는 더 복러한 상황으로 이 접근 방식을 확장할 계획입니다. 또한 현재의 시야가 자신이 어디에 있는지 알기에 충분한 정보를 제공하지 못하는 상황을 시스템이 어떻게 다룰 것인지도 탐구하고자 합니다. 이러한 미래의 과제에도 불구하고, 현재의 결과는 기억 기반의 단순한 접근 방식이 훨씬 더 정교한 방법들과 경쟁할 수 있는 성능 수준을 달성할 수 있음을 보여줍니다. 인간의 뇌가 에피소드 기억을 사용하는 방식에서 영감을 얻음으로써, 연구진은 때때로 가장 강력한 해결책은 과거와 현재 사이의 가장 단순하고 직접적인 연결에 달려 있다는 것을 증명했습니다.