Triple descent in quantum linear regression

양자 기계 학습이라는 신흥 분야에서, 컴퓨터는 양자 역학의 기묘하고 확률적인 영역에 존재하는 데이터로부터 패턴을 학습하려고 시도합니다. 화면의 숫자를 읽는 대신, 이 기계들은 양자 상태—즉, 입자들의 취약한 구성—와 상호작용한 뒤, 정보를 추출하기 위해 이를 측정합니다. 이 과정은 본질적으로 노이즈가 많습니다. 양자 측정은 확률적이기 때문에, 단 한 번의 양자 시스템 관찰만으로는 전체 이야기를 다 보여주지 못하는 경우가 많습니다. 신뢰할 수 있는 판독값을 얻기 위해 연구자들은 측정을 여러 번 반복해야 하며, 이 과정을 "샷(shots)"을 취한다고 하며, 그 결과들을 평균 냅니다. 더 많은 샷을 취할수록 그림은 더 선명해지고, 무작위 노이즈의 간섭은 줄어듭니다. 수년간 지배적이었던 통념은 이 노이즈가 단순히 성가신 존재, 즉 더 많은 데이터를 모으는 것만으로도 완화할 수 있는 일시적인 장애물이라는 것이었습니다. 만약 컴퓨터가 측정 과정의 우연한 실수로 인해 오류를 범한다면, 해결책은 명확하다고 가정되었습니다. 즉, 다시 측정하면 된다는 것이었습니다.

하지만 한 연구팀은 이러한 직관이 불완전하다는 것을 보여주었습니다. 양자 측정에 기반해 값을 예측하는 방법인 양자 선형 회귀(quantum linear regression)에 관한 연구에서, 그들은 이러한 측정으로부터 발생하는 노이즈가 단순히 사라지는 것이 아님을 발견했습니다. 대신, 노이즈는 학습 과정이 작동하는 방식을 근본적으로 재편하여, 표준적인 기대치를 벗어나는 예상치 못한 오차의 정점(peaks)을 만들어낼 수 있습니다. 연구진은 측정 결과의 수가 증가함에 따라 예측 오차가 단순히 꾸준히 떨어지는 것이 아니라, "삼중 하강(triple descent)"이라 부르는 세 가지 뚜렷한 단계를 거치며 복잡한 패턴과 함께 상승하고 하강한다는 사실을 발견했습니다. 이 현상은 노이즈 자체가 때로는 학습 과정을 돕기도 하지만, 때로는 더 많은 데이터로도 해결할 수 없는 깊고 견고한 함정을 만들 수도 있음을 드러냅니다.

이 연구는 양자 장치가 특징(features)을 생성하고, 이 특징들이 측정 결과의 서로 다른 확률들로 구성되는 특정 유형의 학습 문제에 초점을 맞춥니다. 그다음 고전 컴퓨터가 이 특징들을 통해 타겟 값을 예측하기 위한 선을 맞추려고 시도합니다. 연구진은 무작위 양자 측정과 훈련 데이터를 사용하여 이 과정을 시뮬레이션했으며, 측정 결과의 수와 각 상태를 측정하는 횟수를 변화시켰습니다. 그들은 예측 오차가 특정한 경로를 따르는 것을 관찰했습니다. 처음에 측정 결과의 수가 증가함에 따라 오차는 감소합니다. 그러다 첫 번째 정점에 도달합니다. 이 첫 번째 정점은 측정 설정이 양자 상태에 대한 모든 정보를 이론적으로 포착할 수 있을 만큼 충분히 복잡해지는 지점, 즉 정보 완결성(informational completeness)이라 알려진 지점에서 발생합니다. 이 순간, 측정의 수학적 구조는 불안정해지며 오차를 급증시킵니다. 이는 데이터 포인트가 문제를 해결하기에 딱 적당할 때 솔루션이 매우 민감해질 수 있다는 고전 통계학의 알려진 문제입니다. 연구진은 이 첫 번째 정점이 측정의 기하학적 구조에 의해 주도되는 "고전적" 효과임을 확인했습니다.

그러나 이야기는 여기서 끝나지 않습니다. 연구진이 더 많은 측정 결과를 계속 추가함에 따라, 오차는 단순히 계속 떨어지지 않았습니다. 오차는 두 번째의 뚜렷한 정점을 향해 다시 상승했습니다. 이 두 번째 정점은 측정 결과의 수가 훈련 예제의 수와 일치하는 지점인 보간 임계값(interpolation threshold)에서 나타납니다. 첫 번째 정점과 달리, 이것은 순수하게 "양자적" 기원을 가집니다. 이는 확률을 추정하는 데 사용된 유한한 샷의 수가 무작위 변동을 유발하여 가짜 특징들을 만들어내기 때문에 발생합니다. 이 가짜 특징들은 실제 양자 상태에는 존재하지 않는, 순수한 노이즈입니다. 측정 결과의 수가 훈련 상태의 수와 일치할 때, 학습 알고리즘은 이러한 노이즈만을 가진 특징들에 완벽하게 적합하려고 시도합니다. 알고리즘은 이들에게 거대한 가중치를 할당하며, 근본적인 패턴보다는 무작위 노이즈를 암기하는 효과를 냅니다. 이는 첫 번째와는 근본적으로 다른 두 번째 오차 스파이크를 생성합니다.

가장 놀라운 발견은 이 두 정점이 더 많은 데이터에 어떻게 반응하는가 하는 점입니다. 측정 기하학에 의해 발생하는 첫 번째 정점은 훈련 단계에서 더 많은 샷을 취함으로써 억제될 수 있습니다. 연구진이 각 훈련 상태에 대한 측정 횟수를 늘리면 노이즈가 평균화되어 첫 번째 정점이 평탄해졌습니다. 그러나 양자적 기원을 가진 두 번째 정점은 다르게 행동했습니다. 연구진이 모델을 훈련하기 위해 엄청나게 많은 샷을 사용하더라도, 이 두 번째 정점은 사라지지 않았습니다. 이는 훈련 특징들이 무한한 정밀도를 가진 완벽한 상태일 때의 이론적 극한에서만 사라집니다. 데이터를 유한하게 사용하는 모든 실제 상황에서 이 정점은 남아 있습니다. 연구진은 더 많은 훈련 샷을 추가하는 것이 결국 모델이 노이즈에 적합하도록 확신을 갖게 만들기 때문에, 이 정점을 오히려 악화시킨다는 것을 보여주었습니다. 이는 단순히 더 많은 데이터를 모으는 것이 만병통치약이 아님을 의미합니다. 사실, 양자 영역에서는 더 많은 데이터가 때때로 모델의 실수를 고착화할 수 있습니다.

연구팀은 특히 랜덤 행렬 이론(random matrix theory)이라 불리는 고급 수학 도구를 사용하여 이 오차 곡선의 정확한 형태를 도출했습니다. 그들은 이 정점들의 높이와 너비가 측정 결과의 수, 훈련 상태의 수, 그리고 취해진 샷의 수 사이의 균형에 달려 있음을 증명했습니다. 또한, 단일 특징에 너무 많은 중요성을 부여하는 것을 방지하기 위해 작은 페널티를 더하는 리지 규제화(ridge regularization) 기법이 이러한 정점들을 완화할 수 있음을 보여주었습니다. 이는 양자 노이즈가 근본적인 불안정성을 생성하긴 하지만, 적절한 수학적 제약을 통해 관리될 수 있음을 시사합니다. 결과적으로, 양자 특징들이 완벽하게 알려진 것처럼 취급될 수 있다는 생각에 도전합니다. 만약 연구자들이 노이즈를 무시하고 특징들이 정확하다고 가정한다면, 그들은 측정 기하학에 의한 불안정성을 과소평가할 것이며, 노이즈 자체로부터 발생하는 새로운 양자 특유의 불안정성을 완전히 놓치게 될 것입니다.

이 연구는 양자 시스템에서 측정 정밀도와 학습 안정성 사이의 미묘하지만 결정적인 관계를 강조합니다. 이는 정확한 예측을 향한 길이 직선이 아님을 보여줍니다. 시스템이 취약해지는 특정 임계값이 존재하며, 그 취약성의 본질은 측정 설정이 정보를 포착하기에 충분히 복잡해진 것인지, 아니면 모델이 노이즈에 적합하려고 하는 것인지에 따라 달라집니다. 연구진은 양자 학습 시스템을 설계하려면 세심한 균형이 필요하다고 결론짓습니다. 측정 결과의 수와 샷의 수를 독립적으로 단순히 늘릴 수는 없습니다. 측정 결과의 수를 얼마나 사용할지는 훈련 세트의 크기 및 가용 샷 예산과 반드시 조율되어야 합니다. 이러한 요소들이 정렬되지 않으면, 측정 자체가 더 정밀해지더라도 측정 결과의 수를 늘리는 것이 오히려 예측을 악화시킬 수 있습니다. 이 연구는 이러한 불안정성을 이해하는 로드맵을 제공하며, 양자 학습 모델이 언제 어려움을 겪을지 예측하고 삼중 하강의 함정을 피하기 위해 어떻게 튜닝할 수 있는지에 대한 방법을 제시합니다.