Time-ordered free energy in correlated quantum systems: An agentic approach

당신이 기묘하고 변화무쌍한 숲속의 채집가라고 상상해 보십시오. 몇 걸음마다 나무에서 열매 하나가 떨어집니다. 때로는 달콤하고, 때로는 시며, 때로는 그저 돌덩이일 뿐입니다. 만약 숲이 완전히 무작위적이라면, 다음에 무엇이 올지 예측할 수 없습니다. 그저 손에 잡히는 대로 움켜쥐며 행운을 빌 뿐이죠. 하지만 만약 이 숲에 비밀스러운 리듬이 있다면 어떨까요? 만약 달콤한 열매 뒤에는 거의 항상 신 열매가 오거나, 달콤한 열매가 세 번 연속으로 나온 후에만 돌덩이가 나타난다면 어떨까요? 이 숲에서 최대한의 성과를 얻으려면, 이전에 보았던 것들을 기억해야 합니다. 패턴을 학습해야 하는 것이죠. 이것이 바로 에너지가 어떻게 이동하고 변화하는지를 연구하는 열역학이라는 분야의 핵심입니다. 보통 과학자들은 단일 시점에 주목하여, "지금 이 하나의 물체로부터 얼마나 많은 에너지를 얻을 수 있는가?"라고 묻습니다. 하지만 현실 세계에서 사물은 순차적으로 일어납니다. 숨겨진 패턴을 따르는 일련의 사건들로부터 에너지를 추출하려고 할 때, 당신은 새로운 도전에 직면하게 됩니다. 당신은 오직 이미 본 것에 근거해서만 행동할 수 있습니다. 미래를 엿볼 수는 없습니다. 이 논문은 지능적인 '에이전트'(로봇이나 살아있는 세포와 같은)가 과거만을 기억하며 시간의 규칙을 따라야 할 때, 양자 입자의 흐름으로부터 얼마나 많은 에너지를 짜낼 수 있는지 그 한계를 탐구합니다.

루오 청 황(Ruo Cheng Huang)과 마일 구(Mile Gu)가 이끄는 연구진은 양자 세계의 까다로운 문제를 다룹니다. 그들은 에이전트가 받는 연속적인 미세 양자 시스템(미세한 동전이나 빛의 비트라고 생각하십시오)의 흐름을 상상합니다. 이 시스템들은 무작위가 아닙니다. 에이전트가 볼 수 없는 숨겨진 '기계'에 의해 생성됩니다. 에이전트는 각 시스템이 도착할 때마다 하나씩 어떻게 에너지를 추출할지 결정해야 합니다. 문제는 무엇일까요? 에이전트는 단계 사이에 지속되는 양자 메모리를 가지고 있지 않습니다. 이전의 모든 시스템을 붙잡아 두었다가 나중에 함께 분석할 수 없습니다. 에이전트는 결정을 내리고, 얻을 수 있는 것을 추출한 뒤, 다음에 무엇이 올지 추측하기 위해 과거의 관찰 기록만을 사용하여 다음 단계로 넘어가야 합니다.

이 논문의 주요 발견은 이 에이전트가 수확할 수 있는 에너지에 대해 계산 가능한 특정한 한계가 존재하며, 저자들은 이를 '시간 순서적 자유 에너지(Time-Ordered Free Energy, TOFE)'라고 부른다는 점입니다. 그들은 동적 계획법(dynamic programming)이라는 기술을 사용하여 에이전트를 위한 절대적인 최적의 전략을 찾는 영리한 수학적 방법을 개발했습니다. 이 방법은 사건의 서열이 길더라도 컴퓨터에서 효율적으로 실행될 수 있을 만큼 정교합니다. 연구 결과에 따르면, 가장 똑똑한 전략은 항상 지금 당장 최대한 많은 에너지를 움켜쥐는 것이 아닙니다. 때때로 에이전트는 숨겨진 패턴에 대한 더 나은 정보를 얻기 위해 현재의 잠재적 에너지를 의도적으로 조금 '낭비'해야 합니다. 당장의 이득을 조금 희생함으로써, 에이전트는 숲의 리듬을 배우고 장기적으로 훨씬 더 많은 에너지를 수확할 수 있게 됩니다.

또한 이 연구는 시간이 한 방향으로만 흐르는 세상에서 살아가는 데 따르는 근본적인 비용을 밝혀냅니다. 설령 양자 시스템들이 완벽하게 상관되어 있다 하더라도, 에이전트가 미래를 볼 수 없다는 사실 때문에 전체 시퀀스를 한꺼번에 볼 수 있는 '마법 같은' 에이전트에 비해서는 항상 일부 잠재 에너지를 잃게 됩니다. 저자들은 이 손실된 에너지를 '인과적 소산(causal dissipation)'이라고 부릅니다. 그들은 이 손실이 에이전트가 시스템의 숨겨진 상태에 대해 얼마나 많이 '추측'해야 하는지와 직접적으로 연관되어 있음을 발견했습니다. '섭동된 동전(perturbed coin)' 모델(다음 상태를 결정하기 위해 특정 확률로 동전이 던져지는 모델)을 사용한 시뮬레이션에서, 그들은 예측 불가능한 상황에서는 탐욕스럽게 얻을 수 있는 것을 취하는 것이 최선의 전략임을 보여주었습니다. 하지만 예측 가능한 상황에서는 인내심을 갖고 전략적으로 행동하여, 단기적인 이득을 장기적인 지식과 맞바꾸는 것이 최선의 전략임을 보여주었습니다.

흥미롭게도, 이 논문은 최선의 전략이 매 단계마다 추출되는 에너지를 단순히 극대화하는 것이라는 생각에 반론을 제기합니다. 매 순간 가장 많은 에너지를 얻으려고 노력하는 '탐욕스러운' 에이전트는 숨겨진 패턴을 배우는 데 실패하기 때문에 결국 시간이 지남에 따라 더 적은 총 에너지를 얻게 됩니다. 최적의 에이전트는 이해력이 있는 존재입니다. 즉, 단기적인 이득을 위해 작은 '정보 세금'을 지불하여 미래에 대한 더 나은 지도를 구축하는 법을 아는 존재입니다. 저자들은 수학적으로 이러한 절충이 필수적임을 증명했으며, 그들의 방법이 엄격한 시간 제약 조건 하에서 가능한 정확한 최대 에너지를 계산할 수 있음을 입증했습니다.

이를 시각화하기 위해, 에이전트를 비밀 코드를 따르는 슬롯머신의 도박사라고 생각해 보십시오. 탐욕스러운 도박사는 즉각적인 승리를 기대하며 기계가 보상을 줄 것 같을 때마다 레버를 당깁니다. 하지만 똑똑한 도박사는 가끔 기계가 큰 잭팟을 '준비'하고 있다는 것을 깨닫고, 레버를 너무 빨리 당기는 것이 기회를 낭비하는 것임을 압니다. 똑한 도박사는 패턴을 파악하기 위해 몇 차례 차례를 건너뛰거나 적은 금액을 걸 수도 있으며, 결국 탐욕스러운 도박사가 놓치는 큰 승리를 거머쥐게 됩니다. 양자 세계에서 이 '건너뛰기'나 '적은 금액 걸기'는 정보를 얻기 위한 에너지의 소산입니다. 논문은 이 절충안이 양자 시스템에서 단순히 좋은 아이디어일 뿐만 아니라, 가능한 진정한 한계에 도달하기 위한 유일한 방법임을 보여줍니다.

연구진은 또한 양자 시스템이 완전히 무작위적이거나 완전히 예측 가능한 상태일 때 어떤 일이 일어나는지 탐구했습니다. 그들은 시스템이 완전히 무작위적이라면 배울 패턴이 없기 때문에 탐욕적인 접근 방식보다 더 나은 성과를 낼 수 없다는 것을 발견했습니다. 시스템이 완벽하게 예측 가능하다면, 에이전트는 결국 이를 완벽하게 학습하여 사용 가능한 거의 모든 에너지를 수확할 수 있습니다. 하지만 시스템이 부분적으로는 무작위적이고 부분적으로는 패턴을 가진 혼란스러운 중간 지대에 있을 때, 미래를 볼 수 없어서 발생하는 비용은 가장 높습니다. 이 '인과적 소산'은 우리가 시간을 거슬러 올라갈 수 없는 우주에서 살아가며 치러야 하는 대가입니다.

요약하자면, 이 논문은 실시간으로 행동해야 하는 상황에서 양자 사건의 흐름으로부터 에너지를 가장 효율적으로 수확하는 방법에 대한 로드맵을 제공합니다. 이는 최선의 전략이 얻을 수 있는 것을 취하는 것과 미래를 배우기 위해 에너지를 아끼는 것 사이의 섬세한 균형을 포함한다는 것을 입증합니다. 또한 이러한 조건 하에서 사용 가능한 정확한 에너지를 정량화하기 위해 TOFE라는 새로운 척도를 도입합니다. 수학적 계산은 복잡하지만, 핵심 메시지는 간단합니다. 숨겨진 패턴이 존재하는 세상에서는, 단순히 눈앞에 온 첫 번째 기회를 움켜쥐기보다는 기다리고, 배우고, 계획하는 것이 때로는 가장 현명한 선택이라는 것입니다. 이 연구는 양자 시스템에서의 에너지 수확의 근본적인 한계와 예측 그 자체에 따르는 열역학적 비용을 이해하는 데 도움을 줍니다.