당신이 광활하고 안개가 자욱한 산맥에서 가장 낮은 지점을 찾으려고 노력하고 있다고 상상해 보십시오. 이것은 데이터로부터 학습하는 컴퓨터들의 일상적인 도전 과제이며, 이를 머신러닝이라고 불리는 분야입니다. 컴퓨터를 가르치기 위해, 우리는 그것에게 완벽한 정답으로부터 얼마나 떨어져 있는지를 알려주는 "지도"(목적 함수)를 제공합니다. 컴퓨터의 임무는 이 지도를 따라 미끄러져 내려가 가장 깊은 골짜기, 즉 최선의 해결책을 나타내는 지점을 찾는 것입니다.

가장 단순한 방법은 바로 발밑의 경사(기울기)를 보고 아래쪽으로 한 걸음 내딛는 것입니다. 이것은 마치 등산객이 지팡이로 지면을 느끼는 것과 같으며, "1차(first-order)" 사고라고 불립니다. 하지만 때때로 지형은 까다로울 수 있습니다. 땅이 평평해 보이지만 실제로는 안장 모양(두 봉우리 사이의 고개)이거나 작은 혹일 수도 있습니다. 또한, 골짜기가 길고 좁다면, 단순한 등산객은 끝없이 지그재그로 움직이며 바닥에 도달하는 데 너무 많은 시간을 허비할 수도 있습니다.

이를 해결하기 위해, 똑똑한 등산객들은 "2차(second-order)" 접근 방식을 사용합니다. 그들은 단순히 경사를 느끼는 것에 그치지 않고, 지형의 곡률(휘어진 정도)을 살핍니다. 그들은 "이곳이 급격한 웅덩이인가, 아니면 완만한 그릇 모양인가?"라고 묻습니다. 이를 통해 더 크고 자신감 있게 발걸음을 옮길 수 있습니다. 하지만 산 전체의 곡률을 살펴보는 것은 엄청나게 힘든 작업입니다. 그것은 마치 골짜기에 있는 모든 돌과 자갈을 한꺼번에 지도에 그려 넣으려는 것과 같습니다. 산이 거대하다면(이는 우리가 엄청난 양의 데이터를 가질 때 발생합니다), 이 전체 지도를 계산하는 데 너무 많은 시간과 에너지가 소모되어 등산객은 시작하기도 전에 지쳐버릴 수 있습니다.

이 지점에서 EPFL의 머신러닝 및 최적화 연구실(Machine Learning and Optimization Laboratory)에서 나온 새로운 논문의 이야기가 시작됩니다. 연구원들인 El Mahdi Chayti, Martin Jaggi, Nikita Doikov는 매 단계마다 전체 산을 다시 그리지 않고도 이러한 강력한 "곡률 지도"를 사용할 수 있는 영리한 방법을 찾아냈습니다. 그들은 이 새로운 전략을 "헬퍼 프레임워크(Helper Framework)"라고 부릅니다.

---

"헬퍼(Helper)"의 기술: 시스템의 효율화

이 논문은 머신러닝에서 사용되는 특정 유형의 수학 문제, 즉 데이터가 노이즈가 많거나 방대할 때 모델의 최적의 설정을 찾는 문제를 다룹니다. 저자들은 이전에 개별적으로 사용되었던 여러 가지 기술들을 결합하는 통합적인 방법을 제안합니다. 이것은 최적화 알고리즘을 위한 "맥가이버 칼(Swiss Army Knife)"이라고 생각하면 됩니다.

핵리 아이디어는 간단합니다: 모든 힘든 일을 직접 하지 말고, '조력자(helper)'를 구하십시오.

당신이 거대한 직소 퍼즐(주요 문제)을 풀고 있다고 상상해 보십시오. 보통은 조각이 어디에 들어가는지 알아내기 위해 모든 조각을 하나하나 살펴봐야 합니다. 이는 느립니다. 저자들은 "조력자 퍼즐"을 가져올 것을 제 제안합니다. 이 조력자 퍼즐은 실제 퍼즐은 아니지만, 실제와 어느 정도 유사합니다. 아마도 흐릿한 버전이거나, 혹은 더 적고 큰 조각들로 만들어진 퍼즐일 수도 있습니다.

여기에 마법이 있습니다: 당신은 조력자를 사용하여 조각들의 대략적인 형태(곡률 또는 헤시안 행렬)를 파악합니다. 조력자는 더 단순하기 때문에 빠르게 살펴볼 수 있습니다. 그런 다음, 실제의 비싼 퍼즐 조각들은 오직 실수를 바로잡기 위해서만 가끔씩 확인합니다.

이 논문은 조력자가 얼마나 유사해야 하는지를 선택할 수 있는 프레임워크를 소개합니다.

1. 재사용되는 조력자(The Reused Helper): 당신은 여러 단계 동안 동일한 조력자 지도를 계속 사용할 수 있습니다. 매 걸음을 내디딜 때마다 지도를 업데이트하지 않는 것입니다. 이것은 새로운 지도를 그리는 데 시간이 너무 오래 걸리기 때문에, 약간 빛바랜 오래된 지도를 당분간 사용하는 것과 같습니다. 저자들은 매우 큰 문제(고차원 문제)에서 이 "재사용" 방식이 엄청난 시간을 절약해 준다는 것을 보여줍니다.
2. 분산 감소 조력자(The Variance-Reduced Helper): 때때로 조력자는 노이즈가 섞여 있을 수 있습니다(마치 떨리는 손으로 그린 지도처럼). 저자들은 이 노이즈 섞인 조력자와 실제 지도에 대한 몇 번의 신중한 점검을 결합하여 노이즈를 상쇄하는 방법을 보여줍니다. 이것은 흐릿한 사진을 빠르게 훑어본 다음, 세부 사항을 수정하기 위해 선명한 사진을 한 장 찍는 것과 같습니다.
3. 보조 조력자(The Auxiliary Helper): 이것은 가장 흥미로운 부분입니다. 당신이 피아노를 배우고 있는데(주요 과업), 친구가 바이올린을 배우고 있다고(보조 과업) 상상해 보십시오. 두 악기는 다르지만, 음악 이론은 비슷합니다. 저자들은 만약 바이올린 과업의 "음악 이론"(수학적 구조)이 피아노 과업과 충분히 가깝다면, 바이올린 연습을 통해 피아노를 더 빨리 배울 수 있음을 보여줍니다. 컴퓨터 용어로 말하자면, 정답이 없는 데이터(unlabeled data)를 사용하여 학습 과정을 가속화하는 조력자 지도를 구축할 수 있다는 것입니다.

발견한 내용: 등반 속도의 향상

저자들은 단순히 멋진 아이디어만 낸 것이 아닙니다. 그들은 수학적으로 이것이 작동함을 증로했습니다. 그들은 자신들의 "헬퍼 프레임워크"가 이러한 문제들을 해결하기 위해 사용되는 기존의 가장 좋은 방법들을 모두 재현할 수 있을 뿐만 아니라, 더 빠른 새로운 방법들도 열어준다는 것을 보여주었습니다.

그들의 가장 큰 발견은 **"재사용된 확률적 2차 방법(Reused Stochastic Second-Order Method)"**입니다.
과거에는 강력한 "곡률" 정보(헤시안)를 사용하고 싶다면, 매 단계마다 이를 다시 계산해야 했습니다. 이것은 매 걸음을 내디딜 때마다 지도를 새로 그리느라 멈춰 서는 것과 같았습니다. 정확하긴 했지만 너무나 느렸습니다.
새로운 "재사용" 방식은 다음과 같이 말합니다: "매 m 단계마다 한 번씩만 지도를 다시 그리자."
논문은 큰 문제(변수의 개수 $d$가 데이터 포인트의 개수 $n$의 $2/3$ 승보다 큰 경우)에서 이 재사용 방식이 엄격하게 더 우월하다고 증명합니다. 가장 비용이 많이 드는 계산 부분(행렬 분해, 즉 factorization)을 자주 수행할 필요가 없기 때문에 시간을 절약해 줍니다.

또한 그들은 "경사 지배적(gradient-dominated)" 함수라고 불리는 특수한 클래스의 문제들도 살펴보았습니다. 이 문제들은 경사가 항상 전역 최적해를 향해 어느 정도 기울어져 있는 문제들입니다(마치 숨겨진 골짜기가 없는 그릇 모양처럼). 이러한 문제들에 대해, 그들의 방법은 단순히 국소적인 웅덩이가 아닌 절대적인 최적해를 찾는 것을 보장하며, 기존 방법들보다 더 빠르게 수행합니다.

증명은 결과와 코드로 나타납니다

저자들은 수학에서 멈추지 않았습니다. 그들은 이론이 실제 세상에서도 통하는지 실험을 통해 확인했습니다.

• "재사용" 테스트: 그들은 "a9a"라는 표준 데이터셋(약 32,000개의 데이터 포인트와 123개의 특징을 가짐)에 대해 그들의 방법을 테스트했습니다. 그들은 자신들의 "Reused VR" 방법을 매번 지도를 업데이트하는 "Full VR" 방법 및 일반적인 경사 하강법(Gradient Descent) 등과 비교했습니다.
  • 결과: "Reused VR" 방법은 "Full VR" 방법과 동일한 수준의 정확도에 도달했지만, 훨씬 적은 시간과 적은 컴퓨터 계산량으로 이를 달acia했습니다.
• "차원" 테스트: 그들은 문제의 크기(특징의 개수, $d$)를 키웠습니다. 문제가 커짐에 따라(100차원에서 400차원으로), "Reused" 방식과 "Full" 방식 사이의 격차는 더 벌어졌습니다. "Reused" 방식은 문제가 복잡해질수록 더 많은 시간을 절약했으며, 이는 그들의 이론이 예측한 바와 정확히 일치했습니다.
• "조력자" 테스트: 그들은 로지스틱 회귀 문제를 위해 "정답이 없는 데이터(unlabeled data)"를 조력자로 사용해 보았습니다. 그들은 정답이 없는 데이터에 무작위로 라벨을 붙이더라도, 만약 그 데이터가 라벨이 있는 데이터와 동일한 분포에서 왔다면 조력자 함수가 학습 속도를 개선한다는 것을 발견했습니다.

이것이 당신에게 의미하는 바

이 논문은 머신러닝의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 이것이 모든 유형의 데이터에 적용된다거나 세심한 튜닝의 필요성을 없애준다고 말하지도 않습니다. 실제로 저자들은 조력자가 얼마나 유사해야 하는지(즉, "유사성 상수")를 파악하는 것이 여전히 더 많은 연구가 필요한 미스터리라는 점을 인정합니다. 또한 좋은 조력자를 만드는 것이 항상 쉬운 일은 아니며, 이를 어떻게 구성할지에 대해 영리해야 한다고 언급합니다.

하지만 이 논문은 여러 가지 기법을 통합하는 견고하고 입증된 프레임워크를 제공합니다. "재사용"하고(이전 계산을 재사용하고) "조력자"를 사용함으로써(근사치나 관련 과업을 활용함으로써), 우리는 강력한 2차 최적화 방법을 거대한 실제 문제들에 적용 가능하게 만들 수 있다는 것을 보여줍니다.

요약하자면, 저자들은 우리에게 새로운 등산화를 건네주었습니다. 이 신발이 산을 작게 만드는 것은 아니지만, 좋은 지도(또는 좋은 조력자)가 있다면 여정 중 가장 힘든 부분을 건너뛰게 함으로써 훨씬 더 빠르게 산을 오를 수 있게 해줍니다. 거대한 데이터셋으로부터 학습해야 하는 AI 시스템을 구축하는 사람들에게, 이것은 그 시스템들을 더 빠르고 효율적으로 만드는 데 있어 중요한 진전입니다.