당신이 로봇에게 노을 그림을 그리도록 가르치고 있다고 상상해 보세요. 당신에게는 두 가지 주요 선택지가 있습니다. 아주 작고 단순한 붓을 주어 직선만 그을 수 있게 하거나, 상상할 수 있는 모든 모양, 색상, 질감을 만들어낼 수 있는 거대하고 마법 같은 붓을 건네주는 것입니다. 오랫동안 과학자와 엔지니어들은 더 크고 강력한 도구가 항상 더 낫다고 믿었습니다. 논리는 간단했습니다. 도구가 많을수록 무엇이든 만들 수 있다는 것이었죠. 이 아이디어는 컴퓨터가 내부 설정을 조정하며 문제를 해결하는 방법을 배우는 '머신 러닝'이라는 분야의 핵심입니다. 복잡한 물리 법칙을 사용하여 초강력 컴퓨터를 구축하는 '양자 머신 러닝'의 세계에서, 연구자들은 '유효 차원(Effective Dimension)'이라고 불리는 특정 측정치에 집착해 왔습니다. 이것을 점수판이라고 생각하면, 모델이 학습하는 동안 얼마나 다양한 방향을 탐색할 수 있는지를 알려줍니다. 높은 점수는 모델이 거대한 지도를 가진 야생의 탐험가라는 것을 의미하고, 낮은 점수는 집중된 경로를 가진 신중한 등산객이라는 것을 의미합니다. 모두가 던졌던 질문은 이것이었습니다: "더 큰 지도(높은 점수)를 갖는 것이 항상 보물(정답)을 더 빨리 찾게 해줄까?"

독일 항공우주센터와 브레멘 대학교의 연구진이 작성한 이 논문은 이 논쟁에 놀라운 반전을 가지고 뛰어듭니다. 그들은 단순히 몇 번의 테스트를 수행한 것이 아닙니다. 그들은 복잡한 양자 컴퓨터와 '푸리에 모델(음악을 개별 음표로 분해하는 것과 같은 수학적 방식)' 사이의 수학적 가교를 구축했습니다. 이를 통해 그들은 모델의 '탐색 점수'와 작업에 얼마나 잘 '정렬'되어 있는지 사이의 관계를 보기 위해 수천 번의 훈련 세션을 시뮬레이션할 수 있었습니다. 그들은 답이 단순히 "예"가 아니라는 것을 발견했습니다. 대신, 그것은 로봇이 이미 무엇을 찾고 있는지에 따라 완전히 달라집니다. 만약 로봇이 노을에 대해 전혀 모른다면, 크고 거친 지도가 색을 더 빨리 찾는 데 도움이 됩니다. 하지만 로봇이 이미 머릿속에 노을의 대략적인 스케치를 가지고 있다면, 거대한 지도는 오히려 방해가 됩니다. 왜냐하면 너무 많은 잘못된 길로 주의를 돌리기 때문입니다. 요컨대, 이 논문은 "너무 똑똑하거나" 혹은 "너무 유연한" 것이 때로는 단점이 될 수 있으며, 적합한 도구는 당신이 문제에 대해 이미 얼마나 알고 있는지에 달려 있다고 제안합니다.

거대한 지도 vs 나침반

저자들의 발견을 이해하기 위해, 당신이 광활하고 안개 낀 숲속에서 숨겨진 보물 상자를 찾고 있다고 상상해 봅시다.

'유효 차원' (지도)
머신 러닝의 세계에서 '유효 차원'은 당신이 들고 있는 지도의 크기와 같습니다. 유효 차원이 높은 모델은 수천 개의 가능한 경로, 숨겨진 계곡, 비밀 동굴을 보여주는 거대하고 상세한 지도를 가지고 있습니다. 그것은 거의 어디든 갈 수 있습니다. 유효 차원이 낮은 모델은 몇 개의 주요 길만을 보여주는 작고 단순한 지도를 가지고 있습니다.

오랫동안 머신 러닝의 경험칙은 "더 큰 지도, 더 나은 기회"였습니다. 모델이 더 많은 방향을 탐색할 수 있다면 완벽한 해결책을 우연히 발견할 가능성이 높다는 아이디어였습니다. 이 논문의 저자들은 이러한 모델들이 어떻게 '훈련'하는지(훈련이란 모델이 수학 문제를 풀어서 A를 받을 때까지 연습하는 학생처럼, 작업을 더 잘 수행하기 위해 설정을 조정하는 과정을 말합니다)를 관찰함으로써 이 아이디어를 테스트했습니다.

'편향' (나침반)
하지만 두 번째 재료가 있습니다: 바로 **편향(Bias)**입니다. 이 논문에서 편향은 불공평하다는 뜻이 아니라, 정답이 어떤 모습일지에 대한 "선행 지식"이나 "내장된 추측"을 의미합니다.

• 편향되지 않은 모델: 당신이 보물이 어디에 있는지 전혀 모르는 채 숲에 던져졌다고 상상해 보세요. 당신은 완전히 무지한 상태입니다. 보물이 바위 아래에 있는지, 나무 안에 있는지, 아니면 동굴 안에 있는지 알 수 없습니다.
• 편형된 모델: 당신에게 보물이 있는 방향을 대략적으로 가리키는 나침반이 있다고 상상해 보세요. 아마도 당신은 보물이 반드시 바위 아래에 있다고 알고 있어서 나무나 동굴은 무시합니다. 당신의 모델은 정답이 특정 유형의 장소에 있다는 것에 '편향'되어 있습니다.

놀라운 발견

연구진은 대규모 실험을 설정했습니다. 서로 다른 지도 크기(높은 유효 차원과 낮은 유효 차원)를 가진 디지털 모델을 만들고, 서로 다른 수준의 '나침반'(편향)을 부여했습니다. 그런 다음 이 모델들이 회귀 작업(데이터에 곡선을 맞추거나 선을 긋는 것을 의미함)을 얼마나 빠르고 잘 해결하는지 관찰했습니다.

그들이 발견한 것은 다음과 같으며, 이는 기존의 규칙을 뒤집습니다:

1. 아무것도 모를 때(Unbiased), 큰 지도가 필요합니다.
모델이 정답이 어떤 모습인지 모른다면(편향되지 않았다면), 높은 유효 차원은 초능력이 됩니다. 모델이 거대한 공간을 탐색하고 있기 때문에, 우연히 정답을 발견할 확률이 더 높기 때문입니다. 그것은 마치 거대한 그물을 가진 것과 같습니다. 물고기가 어디 있는지 모를 때는 그물이 클수록 더 많은 물고기를 잡을 수 있습니다. 시뮬레이션에서 이러한 "야생의 탐험가" 모델들은 작은 지도를 가진 모델들보다 더 빠르게 학습하고 더 나은 결과에 도달했습니다.

2. 힌트가 있을 때(Biased), 작은 지도가 더 좋습니다.
이것이 반전입니다. 모델이 이미 정답에 대한 좋은 추측을 가지고 있다면(편향되었다면), 낮은 유효 차원이 실제로 더 낫습니다. 왜일까요? 거대한 지도는 주의를 분산시키는 요소들로 가득 차 있기 때문입니다. 만약 당신이 보물이 바위 아래에 있다는 것을 알고 있다면, 산을 오르거나 강을 건너는 법을 알려주는 지도는 필요하지 않습니다. 그 추가적인 경로들은 당신을 혼란스럽게 하고, 모델이 정답을 찾았다고 착각하게 만드는 '지역 최솟값(local minima, 가짜 정답)'으로 빠지게 합니다. 작은 지도를 가진 모델은 방해 요소들을 무시하고 정답을 향해 곧장 달려갑니다. 논문의 시뮬레이션에서 이러한 "집중된 등산객" 모델들은 거대하고 혼란스러운 지도를 가진 모델들보다 훨씬 더 잘 학습했습니다.

그들은 어떻게 이것을 알았을까요?

저자들은 단순히 추측한 것이 아니라 수학적으로 증명했습니다. 그들은 **피셔 정보 행렬(Fisher Information Matrix, FIM)**이라는 도구를 사용했습니다. FIM은 모델이 변화에 얼마나 민감한지를 측정하는 센서라고 생각하면 됩니다. 설정을 조금 바꿨을 때, 모델의 출력이 크게 변하나요, 아니면 적게 변하나요? 이 센서를 분석함으로써 그들은 '유효 차원'을 정확하게 계산할 수 있었습니다.

또한 그들은 **텐서 네트워크(Tensor Networks)**라는 영리한 기법을 도입했습니다. 해변의 모래알 하나하나를 세려고 한다고 상상해 보세요. 그것은 불가능합니다. 하지만 모래를 양동이에 담아 양동이를 세면 관리가 가능해집니다. 저자들은 이 "양동이" 방식을 사용하여 엄청난 수의 특징과 매개변수를 가진 모델을 시뮬레이션했고, 문제가 매우 크고 복잡해지더라도 그들의 발견이 유효하다는 것을 입증했습니다.

결론

이 논문은 단 하나의 "최고의 모델"은 존재하지 않는다고 결론짓습니다. 단순히 "가장 높은 점수를 가진 모델을 주세요!"라고 말한다고 해서 항상 승리할 수는 없습니다.

• 새로운 미지의 문제, 즉 규칙을 모르는 문제를 다룰 때는 높은 유효 차원(크고 유연한 지도)을 가진 모델을 원해야 합니다.
• 정답에 대한 좋은 아이디어가 이미 있는 문제(편향된 작업)를 다룰 때는 낮은 유효 차원(집중되고 단순한 지도)을 가진 모델을 원해야 합니다.

이 발견은 매우 중요합니다. 왜냐하면 미래에 AI나 양자 컴퓨터를 설계할 때, 단순히 모델을 최대한 크고 강력하게 만들기만 해서는 안 된다는 것을 알려주기 때문입니다. 대신, 우리가 해결하려는 구체적인 문제에 주목해야 합니다. 만약 우리가 문제에 대해 어느 정도 알고 있다면, 모델이 더 빠르고 정확하게 학습할 수 있도록 오히려 모델의 자유를 제한해야 합니다. 이는 때때로 '적은 것이 더 많은 것(less is more)'이며, 어디를 보아야 하는지를 아는 것이 세상 전체의 지도를 갖는 것보다 더 중요하다는 사실을 일깨워줍니다.