Memory Is Communication: The Frontier Between Remembering and Signaling

생물학적이든 인공적이든 지능형 시스템의 세계에는, 개체가 무엇을 기억하고 무엇을 타인에게 물어야 하는가 사이의 끊임없는 긴장이 존재한다. 탐험가들이 어두운 숲을 항해하는 상황을 상상해 보자. 각 탐험가는 머릿속에 지도를 담아둘 수 있는 용량이 제한되어 있으며, 동료들에게 지시를 전달하기 위해 소리칠 수 있는 능력 또한 제한되어 있다. 만약 한 탐험가가 방금 지나온 경로를 기억한다면, 그는 길을 물을 필요가 없을 것이다. 반대로, 동료가 명확한 경고를 외친다면, 첫 번째 탐로가 기억해야 할 양은 줄어들 수 있다. 이러한 트레이드오프(trade-off)는 에이전트(컴퓨터 프로그램이든 로봇이든)가 지식의 부담을 어떻게 나누어 가질 것인가를 탐구하는 새로운 연구 분야의 핵심이다. 질문은 단순히 얼마나 많은 정보를 저장하거나 보낼 수 있느냐가 아니라, 과거의 이력을 유지하는 비용과 현재를 신호로 보내는 비용 사이에서 어떻게 균형을 맞출 것인가에 관한 것이다. 자원이 부족할 때 가장 효율적인 전략은 명확하지 않으며, 완벽한 균형점을 찾는 것은 더 똑똑하고 협력적인 기계를 만드는 데 도움이 될 수 있다.

앨버타 대학교와 응용 기술 네트워크(Network for Applied Technology)의 연구진은 이 균형을 지도화하기 시작했으며, 이를 "기억-신호 경계선(remembering–signaling frontier)"이라는 개념으로 제안했다. 이 경계선은 과제를 해결하기 위해 기억과 통신을 결합하는 가장 효율적인 방법을 나타낸다. 만약 에이전트가 과거의 사건을 회상하는 데 더 많은 메모리를 사용한다면, 메시지를 더 적게 보낼 수 있다. 반대로 메모리에 덜 의존한다면, 동일한 결과를 얻기 위해 더 많은 메시지를 보내야 한다. 연구진은 에이전트가 자신의 이력으로부터 유용한 정보를 많이 추출할 수 있다면, 동료로부터 받는 도움을 크게 줄일 수 있을 것이라고 가설을 세웠다. 이를 테스트하기 위해, 그들은 디지털 에이정들이 여러 선택지 중 특정 물체를 식별하려고 시도하는 '가리키기와 추측하기' 게임을 수행하게 했으며, 이때 저장하거나 전송할 수 있는 데이터의 양을 엄격히 제한했다.

실험은 단순화된 형태의 신호 게임(signaling game)에서 진행되었다. 각 라운드에서 '송신자(sender)' 에이전트는 화면에 나타난 네 개의 도형을 보는데, 각 도형은 색상, 크기, 형태의 독특한 조합을 가지고 있다. 이 중 하나가 목표물이다. 송신자는 A, B, 또는 C와 같은 기호로 이루어진 매우 짧은 코드를 사용하여 '수신자(receiver)' 에이전트에게 이 목표물을 전달해야 한다. 그런 다음 수신자는 올바른 도형을 추측해야 한다. 함정은 에이전트가 보낼 수 있는 기호의 수가 제한되어 있으며, 과거의 상호작용을 기억하기 위해 개인적인 노트를 활용해야 한다는 점이다. 연구진은 목표물이 어떻게 예측 가능해짐에 따라 에이전트들이 전략을 어떻게 조정하는지 보고 싶어 했다. 한 시나리오에서는 목표물이 이전 라운드의 것과 자주 반복되는 경우였고, 다른 시나리오에서는 에이전트들이 볼 수는 없지만 시간이 흐름에 따라 반복되는 숨겨진 순환 패턴을 따르는 경우였다.

결과는 에이전트들이 이 두 가지 유형의 예측 가능성을 어떻게 다르게 처리하는지에 대한 흥미로운 차이를 보여주었다. 목표물이 단순히 이전의 것을 반복할 때, 에이전트들은 반복 확률이 높아질수록 더 적은 기호로 성공을 달성했다. 반복도가 최고 수준에 도달했을 때, 그들은 단 하나의 기호만으로도 거의 항상 목표물을 식별할 수 있었다. 그러나 에이전트들이 개인 노트를 유지하고 실행 과정 전반에 걸쳐 학습된 기호 매핑을 보존했기 때문에, 이 결과가 오직 '이력'만의 기여를 분리해 낸 것은 아니다. 하지만 목표물이 숨겨진 순환 패턴을 따를 때는 상황이 극적으로 변했다. 이론적으로는 패턴이 완벽하게 규칙적이고 예측 가능했음에도 불구하고, 에이전트들은 순환이 더 일관되게 변함에 따라 메시지를 단축하지 못했다. 오히려 성공하기 위해 더 긴 메시지를 보내야 했다. 이 해석에는 한계가 있는데, 이는 규칙의 복잡성이나 마주하는 대상의 수 측면에서 목표물 프로세스가 달랐기 때문이지, 단순히 메모리를 사용할 수 없었기 때문만은 아니라는 점이다.

이러한 대조는 모든 이력이 동일하게 취급될 수 없음을 시사한다. 연구진은 통신 비용을 줄이는 능력이 저장된 정보의 성격에 크게 의존한다는 것을 발견했다. 과거가 현재를 단순한 방식으로 직접 예측할 때, 기억은 통신을 대체하는 강력한 수단이 된다. 하지만 패턴이 복잡하거나 숨겨져 있을 때, 단순히 과거를 기억하는 것이 자동으로 메시지의 단축으로 이어지지는 않는다. 연구팀은 에이전트들이 순환 패턴을 유용한 메모리 형식으로 압축하지 못하여, 신선한 정보를 보내는 것에 더 많이 의존하게 된 것으로 추측하고 있다. 대규모 언어 모델을 사용한 시뮬레이션에서 도출된 이 초기 결과들은 아직 최종적인 증명은 아니다. 연구진은 초기 테스트가 사용된 특정 모델과 게임의 짧은 지속 시간에 의해 제한적이었음을 인정한다.

이러한 예비적인 힌트를 넘어, 연구팀은 더 엄격한 테스트를 설계하고 있다. 그들은 완벽한 정답이 알려진, 수학적으로 해결 가능한 더 단순한 과제들을 사용하여 학습 에이전트가 달성한 성과를 이론적 최적치와 비교할 계획이다. 또한 지도 색칠하기나 리더 선출하기와 같은 문제를 해결하기 위해 에이전트 네트워크를 조율하는 것과 같이 더 복적인 그룹 과제로 실험을 확장할 예정이다. 메모리를 얼마나 사용할 수 있는지와 통신을 얼마나 허용할지를 체계적으로 변화시킴으로써, 그들은 다양한 유형의 문제에 대한 완전한 "기억-신호 경계선"을 그려내고자 한다. 목표는 에이전트가 언제 자신의 이력을 내부적으로 들여다봐야 하고, 언제 동료를 향해 외부를 바라봐야 하는지를 정확히 이해하는 것이다. 그때까지 이 연구는 우리가 마음속에 간직하는 것과 서로에게 말해야 하는 것 사이의 경계를 탐구하는 신중한 여정으로 남을 것이다.