Reinforcement learning for Quantum Tiq-Taq-Toe

한 물체가 누군가 그것을 관찰하기 전까지는 동시에 여러 장소에 존재할 수 있는, 논리의 규칙이 약간 다른 세상을 상상해 보십시오. 이것은 우주의 가장 작은 입자들의 행동을 지배하는 물리학의 한 분야인 양자 역학의 영역입니다. 이러한 원리들은 흔히 현실의 구조에 관한 복잡한 이론들을 위해 남겨두곤 하지만, 이제는 가장 친숙한 환경인 단순한 틱택토(Tic-Tac-Toe) 판에서 테스트되고 있습니다. 이 양자 버전의 게임은 정적인 X와 O의 표식으로 진행되는 것이 아니라, 평범한 경험을 거스르는 방식으로 조각들을 서로 연결하는 확률과 연결성으로 진행됩니다. 컴퓨터의 과제는 고정된 지침을 따르는 것이 아니라, 인간처럼 경험으로부터 배우는 방식으로 이 게임을 플레이하는 법을 익히는 것입니다. 이것이 바로 인공지능이 시도를 하고, 결과를 확인하며, 시간이 흐름에 따라 접근 방식을 조정함으로써 전략을 개선하는 방법인 강화 학습의 영역입니다. 연구자들은 컴퓨터가 이 혼란스럽고 변화무쌍한 양자 게임의 지형을 탐색하는 법을 배울 수 있다면, 결국 양자 컴퓨터의 오류를 수정하는 것과 같은 훨씬 더 어려운 문제들을 해결하는 데 도움을 줄 수 있다는 점 때문에 이 교차점에 주목하고 있습니다.

최근의 한 연구에서 네덜란드 라이덴 대학교의 연구진은 이러한 학습 기계들이 특정 양자 변형 틱택토를 마스터할 수 있는지 알아보기로 했습니다. 그들은 이론에서 자주 사용되는 표준적인 이 상태 시스템보다 더 풍부한 종류의 움직임을 허용하는 3상태 양자 단위를 사용하는 버전을 선택했습니다. 게임 자체는 매우 까다로운데, 그 이유는 플레이어에게 보드가 결코 완전히 투명하게 드러나지 않기 때문입니다. 칸 안에 확정적인 X나 O가 보이는 대신, 플레이어는 표식이 어디에 있을 수 있는지 보여주는 확률 지도와 서로 다른 칸들이 어떻게 연결되어 있는지에 대한 기록을 보게 됩니다. 플레이어가 움직임을 할 때마다 이러한 연결은 붕sel(collapse)될 수 있으며, 이전에는 불확실성만 존재했던 곳에 갑자기 확정적인 상태를 드러냅니다. 이론을 테스트하기 위해 연구팀은 인공지능 에이전트들이 자기 자신과 대결하는 디지털 경기장을 구축했습니다. 그들은 두 가지 다른 버전의 게임 규칙을 만들었습니다. 첫 번째 버전은 다소 제한적이어서, 어떤 복잡한 양자 움직임이라도 반드시 보드 위의 빈 공간 하나 이상을 포함해야 했습니다. 두 번째 버전은 더 개방적이었으며, 더 넓은 범위의 상호작용과 칸들 사이의 더 복잡한 얽힘을 허용했습니다.

연구진은 에이전트들이 서로 수천 번의 게임을 치르며 승리, 패배, 무승부로부터 배우는 방식으로 에이전트를 훈련시켰습니다. 그들은 에이전트들이 잘 플레이하기 위해 어떤 종류의 정보가 필요한지 알고 싶었습니다. 그들은 세 가지 유형의 플레이어를 테스트했습니다: 확률 지도만을 볼 수 있는 플레이어, 연결된 조각들의 이력만을 볼 수 있는 플레이어, 그리고 두 가지 모두에 접근할 수 있는 플레이어입니다. 더 제한적인 버전의 게임에서는 시뮬레이션 결과 명확한 패턴이 나타났습니다: 먼저 움직이는 플레이어가 뚜렷한 우위를 점했습니다. 비록 이 게임에는 승리를 보장할 수 없는 무작위성이 포함되어 있음에도 불구하고, 선공 플레이어는 후공 플레이어보다 더 자주 승리로 가는 경로를 찾아낼 수 있었습니다. 이는 변화하는 규칙이 존재하는 게임에서도 학습 기계가 발견할 수 있는 식별 가능한 전략이 존재함을 시사합니다. 결과는 가장 잘 훈련된 에이전트들을 서로 맞붙여 시각화되었으며, 이를 통해 첫 번째 플레이어가 일관되게 더 많은 승리를 확보함을 보여주었습니다.

연구진이 더 다양한 양자 상태와 상호작용을 허용하는 더 복잡한 버전의 게임으로 넘어갔을 때, 역학 관계는 변했습니다. 이 시나리오에서는 단 한 가지 유형의 정보만으로는 충분하지 않았습니다. 에이전트들은 현재의 확률 지도와 조각들이 얽힌 이력을 모두 볼 수 있을 때 가장 좋은 성과를 냈습니다. 이 조합은 인공지능이 이전 턴에서 형성된 복잡한 관계를 기억하는 동시에 실시간 보드 상태를 이해할 수 있게 해주었습니다. 그 결과, 결과가 플레이어들 사이에 더 공평해지는 더 균형 잡힌 게임이 되었습니다. 이 발견은 정보가 숨겨져 있거나 부분적으로만 보이는 환경에서는 현재와 과거의 전체적인 그림을 모두 갖는 것이 좋은 결정을 내리는 데 매우 중요하다는 점을 강조합니다.

이 연구는 이 양자 버전의 틱택토가 양자 시스템을 위한 더 나은 인공지능을 개발하기 위한 유용한 시험장 역할을 한다고 결론짓습니다. 연구진은 보드의 가시성이 부분적으로 제한됨으로써 발생하는 이 게임 특유의 어려움이, 제어와 이해가 필수적인 실제 양자 컴퓨팅에서 직면하는 과제들을 반영한다고 언급했습니다. 현재의 연구는 에이전트를 훈련시키는 데 집중했지만, 저자들은 향후 연구에서 과거의 순서를 기억하는 메모리 시스템이나 더 발전된 처리 모델을 사용하는 것과 같이 기계가 이러한 불확실성을 다루도록 돕는 다른 방법들을 탐구할 수 있다고 제안합니다. 현재로서는, 이 연구는 강화 학습이 양자 게임의 기묘한 논리를 성공적으로 탐색할 수 있음을 보여주며, 머신 러닝과 미래의 양자 기술을 통합하는 명확한 길을 제시하고 있습니다.