A Variational Analysis of Kernel Learning with Learnable Linear Transformations

당신이 컴퓨터에게 지저집한 데이터 더미 속에서 패턴을 인식하는 법을 가르치려 한다고 상상해 보십시오. 예를 들어 날씨를 예측하거나 사진 속에서 고양이를 식별하는 것과 같은 일 말입니다. 컴퓨터는 단순히 원시 픽셀만을 보는 것이 아니라, 정보의 구조를 이해해야 합니다. 머신러닝의 세계에는 "커널 리지 회귀(kernel ridge regression)"라는 고전적인 도구가 있습니다. 이 도구는 입력값(예: 온도나 픽셀 색상)과 출력값(예: 비 또는 "고양이") 사이의 관계를 포착하기 위해 컴퓨터가 사용하는 매우 유연하고 신축성 있는 그물이라고 생각할 수 있습니다. 이 그물은 "커널"이라는 수학적 규칙에 의해 결정되는 특정한 형태를 가집니다. 보통 이 형태는 미리 정해져 있으며, 마치 특정한 그물코 크기를 가진 그물을 사용하는 것과 같습니다. 데이터가 미세하다면 거친 그물은 세부 사항을 놓칠 것이고, 데이터가 굵다며 미세한 그물은 노이즈에 엉키게 될 것입니다. 컴퓨터는 적절한 그물코 크기가 무엇인지, 혹은 데이터의 어떤 부분이 실제로 중요한지를 알지 못해 어려움을 겪습니다.

이 논문은 이보다 더 똑똑한 버전의 문제를 다룹니다. 고정된 그물을 사용하는 대신, 저자들은 다음과 같이 질문합니다. "만약 컴퓨터가 데이터에 완벽하게 맞도록 그물 자체를 스스로 늘리고, 줄이고, 회전시킬 수 있다면 어떨까?" 그들은 컴퓨터가 조절할 수 있는 특별한 "조절 손잡이"($U$라고 불리는 수학적 행렬)를 도입합니다. 이 손잡이는 두 가지 마법 같은 일을 수행합니다. 첫째, 적절한 척도(scale)를 찾기 위해 줌 인/아웃을 할 수 있고(예를 들어, 거대한 숲 전체를 볼 것인지 아니면 단 하나의 잎사귀를 볼 것인지 결정하는 것), 둘째로 데이터의 무관한 부분들을 완전히 무시할 수 있습니다(예를 들어, 고양이의 귀에만 집중하고 배경은 무시하는 것). 이 논문은 이러한 조절 과정을 단순한 컴퓨터 기술이 아니라, 깊이 있는 수학적 지형(landscape)으로 취급하며, 이 손잡이의 최적 설정값이 어디에 존재하는지, 그리고 왜 그것들이 작동하는지를 탐구합니다.

모양을 바꾸는 그물

이야기는 고전적인 문제인 "데이터에 곡선 맞추기"에서 시작됩니다. 그래프 위에 점들이 흩어져 있고, 그 점들을 통과하는 매끄러운 선을 그리려고 한다고 상상해 보십시오. 만약 선이 너무 많이 꿈틀거리면, 점들은 완벽하게 맞추지만 새로운 점을 예측하는 데는 실패합니다("과적합"). 반대로 선이 너무 직선적이라면 패턴을 완전히 놓치게 됩니다. 이를 해결하기 위해 수학자들은 "정규화(regularization)" 항을 사용하는데, 이는 선이 너무 꿈틀거리는 것에 대해 벌칙을 주는 역할을 합니다. 여기서 "커널"은 무엇이 "꿈틀거림"인지를 결정하는 규칙입니다.

전통적인 설정에서 커널은 정적입니다. 이는 마치 변경할 수 없는 단 하나의 조각 모양으로 퍼즐을 맞추려는 것과 같습니다. 퍼즐 조각들의 크기가 모두 다르다면, 하나의 모양으로는 모두 맞출 수 없을 것입니다. 저자인 양 리(Yang Li)와 펑 루안(Feng Ruan)은 동적인 해결책을 제안합니다. 그들은 커널이 데이터를 보기 전 단계에서 입력을 변형시키는 변수 $U$를 도입합니다. $U$를 마법의 안경이라고 생각해 보십시오. 줌 인 기능을 가진 안경을 쓰면 세상이 거대하고 상세하게 보이고, 줌 아웃을 하면 모든 것이 작고 흐릿하게 보입니다. 적절한 "안경"($U$ 행렬)을 학습함으로써, 컴퓨터는 커널이 제 역할을 할 수 있도록 데이터를 딱 알맞은 상태로 만들 수 있습니다.

"진공(Vacua)"의 지형

저자들은 단순히 "최적의 $U$를 찾아보자"라고 말하는 데 그치지 않습니다. 그들은 한 걸음 물러나 $U$에 대한 가능한 모든 설정의 전체적인 "지형"을 살펴봅니다. 그들은 최적의 설정을 **진공(vacua)**이라고 부릅니다(이는 물리학에서 시스템의 가장 낮은 에너지 상태를 의미하는 용어를 빌려온 것입니다). 산맥에서 가장 깊은 골짜기를 찾으려는 등산객을 상상해 보십시오. 어떤 골짜기는 깊고 넓으며(전역 최솟값, global minima), 어떤 골짜기는 얕은 움푹 팬 곳(지역 최솟값, local minima)입니다. 컴퓨터의 목표는 예측값과 실제 데이터 사이의 오차가 가장 작은, 즉 가장 깊은 골짜기를 찾는 것입니다.

이 논문은 이 지형이 믿을 수 없을 정도로 복잡하며 놀라운 것들로 가득 차 있다는 사실을 밝혀냅니다. 이곳은 단순히 공을 굴려 바닥으로 내려갈 수 있는 매끄러운 언덕이 아닙니다. 대신, 수많은 서로 다른 골짜기가 존재하는 울퉁불퉁한 지형입니다. 저자들은 이 지형을 그려내기 위해 고급 수학(변분 분석, variational analysis)을 사용합니다. 그들은 이 지형의 모양이 데이터의 본질적인 성격에 크게 의존한다는 것을 증명합니다.

줌 인과 줌 아웃: 척도와 선택

논문은 학습된 "안경"($U$)이 제공하는 두 가지 주요 초능력을 식별합니다: **척도 탐지(Scale Detection)**와 **변수 선택(Variable Selection)**입니다.

척도 탐지는 적절한 줌 수준을 찾는 것에 관한 것입니다. 저자들은 데이터가 매우 다른 크기의 특징들을 가지고 있을 때(예: 거대한 산과 작은 자갈이 공존하는 풍경), 고정된 커널은 혼란을 겪는다는 것을 보여줍니다. 산을 볼 때는 노이즈 없이 충분히 날카로울 수 없고, 자갈을 볼 때는 너무 세밀하지 못할 수 있습니다. 논문은 "진공"(최적의 설정)이 자연스럽게 서로 다른 척도에 대응하는 여러 골짜기로 나뉜다는 것을 증명합니다. 어떤 골짜기는 산에 완벽할 수 있고, 다른 골짜기는 자갈에 완벽할 수 있습니다. 컴퓨터는 어떤 척도를 사용할지 알려줄 필요가 없습니다. 문제의 수학적 구조가 데이터의 내재된 크기에 맞는 골짜기를 찾도록 강제하기 때문입니다.

변수 선택은 노이즈를 무시하는 것에 관한 것입니다. 집값을 예측하려고 한다고 가정해 봅시다. 방의 개수, 건축 연도, 우편함 색상, 이전 집주인의 이름 등의 데이터가 있습니다. 우편함 색상과 주인 이름은 무관한 "노이즈"입니다. 논문은 최적의 "안경"($U$)이 무관한 차원(우편함 색상 같은)을 크기 0으로 압축하여 없애버리는 법을 배울 것이라고 보여줍니다. 수학적 지형에서 이는 변환이 쓸모없는 변수들을 효과적으로 삭제하여, 필수적인 변수(방의 개수와 건축 연도)만이 작업을 수행하도록 남겨두는 "경계 진공(boundary vacuum)"에 해당합니다.

클러스터의 마법

가장 흥고한 발견 중 하나는 시스템이 뚜렷한 "클러스터(군집)"로 들어오는 데이터를 어떻게 처리하는가 하는 점입니다. 어떤 점들이 방의 한쪽 구석에 빽빽하게 모여 있고, 다른 점들은 아주 멀리 떨어진 다른 구석에 있는 데이터셋을 상상해 보십시오. 저자들은 이 클러스터들이 서로 멀리 떨어져 있거나(또는 규모가 매우 다를 때), 컴퓨터의 "그물"이 자연스럽게 탈동조화(decouple)된다는 것을 증명합니다. 즉, 모든 것을 위한 하나의 거대한 곡선을 맞추려고 시도하는 것을 멈춥니다. 대신, 수학적 지형은 솔루션이 각 클러스터에 대한 독립적인 미니 문제들로 분리되도록 강제합니다. 이는 마치 컴퓨터가 "아, 이 두 그룹의 데이터는 완전히 다른 이야기구나. 각각 따로 풀어야겠다"라고 깨닫는 것과 같습니다.

또한 논문은 "안경"을 무한대로 높였을 때(극한의 줌) 어떤 일이 발생하는지도 탐구합니다. 저자들은 놀라운 규칙을 발견했습니다. 만약 데이터가 연속적(매끄럽게 퍼져 있음)이라면, 줌을 무한대로 높일 경우 컴퓨터는 포기하고 아무것도 예측하지 못하게 됩니다(오차가 높은 상태로 유지됨). 하지만 데이터에 "이산적(discrete)"인 부분(예: 뚜렷하고 분리된 그룹들)이 있다면, 컴퓨터는 무한 줌 상태에서도 해당 그룹들에 대해 완벽한 적합을 찾아낼 수 있습니다. 이 연속적 데이터와 이산적 데이터 사이의 구분은 학습 과정이 어떻게 행동할지를 결정하는 날카로운 수학적 경계입니다.

이것이 왜 중요한가

이 연구는 단순히 '어떻게(how)'가 아니라, 머신러닝의 '왜(why)'에 대한 깊은 탐구입니다. 이 논문은 슈퍼컴퓨터에서 실행할 새로운 알고리즘을 제안하는 것이 아니라, 문제 공간에 대한 엄밀한 수학적 지도를 제공합니다. 이는 학습의 "지능"이 단순히 숫자를 더 빨리 계산하는 것이 아니라, 문제 자체의 기하학에 관한 것임을 알려줍니다. 논문은 데이터의 최적의 표현(컴퓨터가 세상을 보는 방식)이 수학적 지형에 의해 "선호된다"는 것을 시사합니다. 컴퓨터는 적절한 척도를 찾거나 잘못된 변수를 무시하도록 명시적으로 프로그래밍될 필요가 없습니다. 데이터의 구조와 손실 함수의 본질이 자연스럽게 컴퓨터를 그러한 "진공"으로 안내하기 때문입니다.

요컨대, 리와 루안은 컴퓨터가 데이터를 바라보는 법을 배우게 되면, 단순히 추측하는 것이 아니라 복잡한 수학적 지형을 항해한다는 것을 보여주었습니다. 그 지형의 가장 깊은 골짜기들은 가장 의미 있는 통찰, 즉 적절한 척도, 적절한 변수, 그리고 노이즈 속에 숨겨진 서로 다른 이야기들을 분리하는 방법을 나타냅니다. 이 논문은 이 지형의 정적인 "지도"에 초점을 맞추고 있지만, 실제 세계에서 역동적인 학습 과정(예: 경사 흐름, gradient flow)이 어떻게 이러한 경로를 탐색할 수 있는지에 대한 기초를 마련합니다. 결과는 수학적으로 증명되었으며, 왜 특정 학습 전략이 실제 현장에서 매우 잘 작동하는지에 대한 견고한 토대를 제공합니다.