Trainable Quantum-Native Language Models: Dissipative Memory, Capacity Limits, and Hardware Validation

언어를 이해하는 기계를 구축하려는 탐구 과정에서, 과학자들은 양자 세계의 기묘한 법칙들이 새로운 종류의 사고 기계를 제공할 수 있을지 오랫동안 궁금해해 왔습니다. 우리가 매일 사용하는 고전적 컴퓨터는 정보를 0 또는 1인 비트로 저장합니다. 반면 양자 컴퓨터는 여러 상태가 동시에 중첩된 섬세한 혼합 상태로 존재할 수 있는 양자 비트, 즉 큐비트를 사용합니다. 이러한 특성은 양자 컴퓨터가 고전적 메모리와는 근본적으로 다른 방식으로 복잡한 정보를 보유할 수 있게 해줍니다. 그러나 기계가 학습하고 적응하기 위해서는 반드시 '망각'할 수 있어야 합니다. 인간의 뇌가 현재에 집중하기 위해 무관한 세부 사항을 버리는 것처럼, 학습 시스템은 새로운 입력을 위한 공간을 만들기 위해 오래된 데이터를 놓아줄 수 있어야 합니다. 양자 영역에서는 물리적인 엄격한 규칙이 종종 이를 가로막습니다. 만약 시스템이 에너지 손실이나 환경과의 상호작용 없이 진화한다면, 그 시스템이 보유한 정보는 삭제되거나 압축될 수 없으며 오직 재배열될 수만 있습니다. 이는 양자 두뇌를 구축하는 데 있어 역설을 만듭니다. 양자 컴퓨터에 힘을 실어주는 바로 그 법칙이, 역설적이게도 그들을 망각할 수 없는 상태에 가두는 것처럼 보이기 때문이며, 망각 없이는 효과적으로 학습할 수 없습니다.

최근 한 연구자는 이러한 양자 부품들로만 언어 학습 기계를 만들 수 있는지, 만약 그렇다면 성공을 위해 어떤 규칙을 따라야 하는지를 테스트하기 위해 나섰습니다. 그는 단순히 표준 컴퓨터로 시뮬레이션만 한 것이 아니라, 모델을 구축하고 훈련시킨 뒤 실제 양자 프로세서에서 실행하여 물리학적 원리가 제대로 작동하는지 확인했습니다. 그의 연구는 이 기술을 위한 명확한 경로를 보여주는 동시에, 현재 이 기술가 기억할 수 있는 양에 대한 단단한 천장을 드러냈습니다. 연구자는 모든 정보를 완벽하게 온전하게 유지하려는 순수 양자 메모리는 언어를 학습하는 데 실패한다는 것을 발견했습니다. 그것은 정보를 버릴 수 없기 때문에 오래되고 쓸모없는 데이터를 계속 짊어진 채 정체됩니다. 이를 해결하기 위해 그는 시스템이 의도적으로 정보를 잃도록 허용하는 메커니즘, 즉 소산(dissipation)이라고 알려진 과정을 도입해야 했습니다. 양자 시스템이 통제된 방식으로 망각하도록 가르침으로써, 그는 유용한 정보를 몇 단계 동안 기억할 수 있는 모델을 만들어냈습니다. 그러나 이 기억력은 매우 취약하고 제한적입니다. 최선의 기술을 사용하더라도, 시스템은 양자 세계의 노이즈와 크기의 한계로 인해 실패하기 전까지 약 두 단계 정도의 정보만을 유지할 수 있었습니다.

실험은 단순한 질문으로 시작되었습니다: 자신의 생각을 양자 상태로 저장하는 기계가 문장에서 다음 글자를 예측하는 법을 배울 수 있을 것인가? 연구자는 '숨겨진 상태(hidden state)'—즉 맥락을 유지하는 뇌의 부분—가 작은 양자 비트 레지스터가 되도록 시스템을 설계했습니다. 기계가 각 글자를 읽을 때마다 이 양자 상태를 업데이트하게 됩니다. 첫 번째 시도에서 그는 양자 상태를 완벽하게 격리하여 정보 손실이 없도록 하는 방법을 사용했습니다. 이것은 물이 한 방울도 쏟아지지 않게 가득 찬 유리잔을 옮기는 것과 같습니다. 당신은 유리잔을 움직일 수는 있지만, 물을 따를 수는 없습니다. 결과는 실망스러웠습니다. 기계는 바로 직전의 글자 하나만을 보는 훨씬 단순한 버전보다 성능이 떨어졌습니다. 그 이유는 기계가 지금까지 본 모든 글자를 강제로 짊어져야 했고, 이로 인해 무관한 과거의 기록들로 메모리를 어지럽혔기 때문입니다. 기계는 과거를 무시하는 법을 배울 수 없었고, 그 능력이 없었기에 미래를 예측할 수 없었습니다.

이를 해결하기 위해 연구자는 규칙을 변경했습니다. 그는 양자 시스템이 환경과 상로작용하며 의도적으로 오래된 정보를 버리는 방법인 '소산(dissipation)' 채널을 도입했습니다. 그는 이 망각 과정을 읽히고 있는 현재의 글자에 의존하게 만들어, 기계가 맥락에 따라 무엇을 유지하고 무엇을 버릴지 결정할 수 있게 했습니다. 이 접근 방식은 효과가 있었습니다. 이제 망각할 수 있게 된 새로운 모델은 모든 것을 기억하려고 했던 버전보다 성능이 현저히 뛰어났습니다. 그것은 정보를 단 한 단계 이상 유지하는 법을 배웠으며, 이는 망각 능력이 오류가 아니라 학습 시스템을 위한 필수적인 기능임을 보여주었습니다. 그러나 이 개선에는 날카로운 한계가 있었습니다. 이 망각 능력을 갖추었음에도 불구하고, 모델은 결코 두 글자보다 더 멀리 내다보는 법을 배울 수 없었습니다. 연구자가 긴 문장에 대해 테스트했을 때, 모델의 성능은 이전 두 글자만을 보는 단순한 시스템과 일치하며 정체되었습니다. 더 깊이 들어갈 수 없었던 것입니다.

연구자는 이 한계가 왜 존재하는지 조사했습니다. 그는 기계에게 사전에서 단어를 찾는 것과 유사하게 키(key)와 값(value)의 쌍을 기억하도록 하는 일련의 테스트를 수행했습니다. 그는 양자 메모리의 크기를 4개에서 7개의 큐비트로 늘렸습니다. 4개의 큐비트가 있을 때 기계는 하나의 쌍을 안정적으로 기억할 수 있었습니다. 6개 또는 7개의 큐비트가 있을 때는 두 개의 쌍을 기억할 수 있었습니다. 하지만 세 개의 쌍을 기억하도록 요청하자, 큐비트의 수와 상관없이 매번 실패했습니다. 이는 작은 양자 메모리가 보유할 수 있는 정보의 양이 가용 큐비트 수에 의해 엄격하게 제한된다는 점을 시사합니다. 연구자는 이 한계가 양자 시스템에서 얼마나 많은 고전적 정보를 추출할 수 있는지를 규정하는 '홀레보 한계(Holevo bound)'라는 근본적인 물리 법칙과 일치한다고 언급했습니다. 그가 이 법칙이 실패의 유일한 원인임을 증명한 것은 아니지만, 증거는 기계가 필요한 세부 사항을 저장할 공간이 부족하다는 점을 강력하게 시사했습니다.

자신의 발견이 단순히 컴퓨터 시뮬레이션의 결과가 아님을 확실히 하기 위해, 연구자는 자신의 모델을 실제 양자 컴퓨터, 구체적으로 IBM의 156 큐비트 프로세서로 가져갔습니다. 그는 수학적 모델을 기계 하드웨어에서 실행할 수 있는 물리적 회로로 변환했습니다. 그는 단계별로 시스템을 테스트하여 양자 상태가 예측대로 진화하는지, 그리고 다음 글자의 확률이 시뮬레이션과 일치하는지 확인했습니다. 결과는 물리학적인 측면에서 성공적이었습니다. 기계는 이론이 예측한 대로 정확하게 작동했으며, 측정된 다음 글자의 확률은 예상값에 근접했습니다. 시스템은 양자 상태의 물리적 측정에 기반하여 바이트 단위로 텍스트를 생성했습니다. 그러나 생성된 텍스트는 유창하거나 의미가 있지는 않았습니다. 그것은 약했고 가장 단순한 고전적 언어 모델보다도 질이 떨어졌습니다. 연구자는 자신이 언어의 질이나 고전 컴퓨터에 대한 속도 우위를 주장하는 것이 아님을 분명히 했습니다. 대신, 그는 '망각을 배우는' 특정 유형의 양자 아키텍처가 실제 하드웨어에서 구축되고 실행될 수 있음을 증명하고 있는 것이라고 밝혔습니다.

이 연구는 양자 네이티브 언어 모델이라는 꿈이 물리적으로는 가능하지만, 현재 기술은 고전적 시스템과 경쟁하기에는 갈 길이 멀다는 결론을 내립니다. 연구자는 양자 메모리가 학습하기 위해서는 정보를 잃을 수 있어야 하지만, 이 메모리는 크기에 의해 심하게 제약받는다는 것을 보여주었습니다. 그는 오늘날 사용 가능한 적은 수의 큐비트를 가진 상황에서는 시스템이 단 두 단계의 메모리 이후에 벽에 부딪힌다는 것을 발견했습니다. 더 긴 문장을 이해할 수 있는 기계를 만들기 위해서는, 아직 존재하지 않는 오류 수정 시스템을 포함한 훨씬 더 큰 양자 메모리가 필요할 것이라고 그는 제안했습니다. 이 연구는 이 분야에 중요한 현실적 점검 역할을 하며, 앞으로 나아가기 위해 필요한 것이 단순히 더 많은 동력이 아니라, 양자 시스템에게 어떻게 망각을 가르칠 수 있는지에 대한 더 깊은 이해라는 점을 명확히 보여줍니다. 양자 언어 모델로 가는 길은 열려 있지만, 그 길은 멀며, 첫걸음은 장애물이 정확히 어디에 있는지를 우리에게 보여주었습니다.