당신이 거대한 퍼즐을 풀려는 탐정이라고 상상해 보세요. 다만 퍼즐의 조각은 그림이 아니라 격자 안에 배열된 숫자들입니다. 이것이 선형 대수학의 세계이며, 이 분야는 컴퓨터가 튀어 오르는 공의 물리 법칙부터 당신이 즐겨 보는 스트리밍 서비스의 추천 시스템까지 모든 것을 이해하도록 돕는 수학의 한 분야입니다. 이 세계의 중심에는 '고유값(eigenvalues)'이라 불리는, 숫자 격자 안에 숨겨진 "숨겨진 주파수"를 찾는다는 고전적인 문제가 자리 잡고 있습니다. 이 고유값들을 드럼을 쳤을 때 연주되는 독특한 음표라고 생각하면 됩니다. 이 음표들을 알면 드럼의 모양과 장력을 포함한 모든 것을 알 수 있습니다. 거의 2세기 동안 수학자들은 이 음표들을 찾기 위해 "자코비 방법(Jacobi method)"이라는 방식을 사용해 왔습니다. 이 방식은 마치 "두더지 잡기" 게임과 같습니다. 격자가 완벽하게 조용해지고 음표들이 드러날 때까지, 가장 크고 짜증 나는 소음(주 대각선에서 벗어난 가장 큰 숫자)을 반복해서 두드리는 것입니다. 하지만 이 오래된 게임에는 결함이 있습니다. 때때로 실제로 중요하지 않은 소음을 두드리는 데 시간을 낭비하거나, 음악을 망칠 수 있는 아주 작고 미세한 속삭임을 무시하기도 합니다.

이 논문은 이 게임을 수행하는 영리하고 새로운 방법을 소개합니다. 즉, 단순히 소리의 크기만이 아니라 소음의 맥락에 귀를 기울이는 법입니다. 저자인 니안 샤오(Nian Shao)와 유지 나카츠카사(Yuji Nakatsukasa)는 모든 큰 소음이 위험한 것은 아니며, 모든 작은 소음이 무해한 것도 아니라는 사실을 깨달았습니다. 그들은 만약 두 음표가 매우 가까이 있다면(즉, "클러스터링된" 주파수라면), 그 사이의 아주 작고 보이지 않는 속삭임조차 전체 노래의 음정을 틀어지게 할 수 있다는 것을 발견했습니다. 반면, 음표들이 서로 멀리 떨어져 있다면 거대한 포효가 들려도 음악에 별다른 영향을 주지 않을 수 있습니다. 저자들은 "섭동 이론(perturbation theory)"이라는 수학적 규칙을 사용하여, 이 규칙이 어떤 음표를 건드렸을 때 얼마나 흔들릴지를 예측하는 원리를 이용해 새로운 전략을 만들었습니다. 이들은 단순히 가장 큰 숫자를 골라 해결하는 대신, 노래의 정확도에 재앙을 초래할 가능성이 가장 높은 숫자를 선택하는 방식을 택했습니다. 이 새로운 전략을 빠르고 정밀도가 낮은 수학과 느리고 정밀도가 높은 수학을 혼합한 컴퓨터 환경에서 테스트했을로, 결과적으로 클러스터링된 음표가 있는 문제를 기존의 '탐욕스러운(greedy)' 방식보다 훨씬 더 빠르고 정확하게 해결할 수 있음을 발견했습니다.

새로운 전략: 속삭임에 귀 기울이기

자코비 방법의 이야기는 인내의 이야기입니다. 1846년 이래로 이 방법은 믿을 수 없을 정도로 정확하기 때문에 고유값을 찾는 표준으로 자리 잡았습니다. 약간 지저지고 복잡한 숫자들의 거대한 스프레드시트를 가지고 있다고 상상해 보세요. 목표는 모든 숫자를 주 대각선(왼쪽 상단에서 오른쪽 하단으로 이어지는 선) 위에 두고 나머지는 모두 0으로 만들어 깔끔하게 정리하는 것입니다. 그렇게 하면 대각선 위의 숫자들이 바로 당신의 고유값이 됩니다. 이를 수행하는 전통적인 방식은 "탐욕적인" 전략입니다. 매번 전체 스프레드시트를 살펴보고, 대각선에 있지 않은 숫자 중 가장 큰 숫자를 찾아 특별한 수학적 회전을 사용하여 그 숫자를 0으로 만듭니다. 격자가 완전히 깨끗해질 때까지 이 과정을 반복합니다.

"탐욕적"이라는 것의 문제는 잘못된 목표를 쫓을 수도 있다는 점입니다. 저자들은 숫자의 크기가 항상 그 숫지가 일으키는 문제의 정도를 나타내는 것은 아니라고 지적합니다. 그들은 생생한 예를 들어 설명합니다. 어떤 행렬(숫자 격자)에서 한 쌍의 숫자는 서로 멀리 떨어져 있고(예: 1과 2), 다른 한 쌍은 매우 가깝다(예: 1과 1.0000000001)고 가정해 봅시다. 첫 번째 경우, 두 숫자를 연결하는 비교적 큰 숫자가 있더라도, 음표 사이의 "간격"이 매우 넓기 때문에 그 연결이 음악을 망치지 않습니다. 하지만 두 번째 경우처럼 음표들이 거의 동일하다면, 미세한 연결조차 계산 전체를 망가뜨릴 수 있습니다. 기존의 탐욕적인 방식은 멀리 떨어진 음표들 사이의 큰 연결에 집중하는 대신, 가까운 음표들 사이의 아주 작은 연결은 작아 보인다는 이유로 무시해 버립니다. 이는 마치 요리사가 냄비 속의 거대한 돌덩이를 제거하느라 너무 바쁜 나머지, 섬세한 수프 속에 들어있는 아주 작은 소금 입자를 무시하는 것과 같습니다.

저자들은 다음에 어떤 숫자를 수정할지 결정하는 새로운 방법을 제안합니다. 숫자의 크기만을 보는 대신, 숫자의 크기와 대각선 숫자들 사이의 거리(근접도)를 모두 고려하는 공식을 사용합니다. 그들은 이를 $L_{ij}(A)$라고 부릅니다. 이것은 마치 "위험 측정기"와 같아서 이렇게 말해줍니다. "이봐, 이 작은 숫자는 연결된 음표들이 너무 가깝기 때문에 사실 시한폭탄이야!" 이 새로운 방식은 위험 측정기 수치가 가장 높은 숫자를 항상 선택함으로써, 가장 중요한 곳에 에너지를 집중합니다.

혼합 정밀도의 마법

이 새로운 전략을 더욱 빠르게 만들기 위해, 저자들은 "혼합 정밀도 프리컨디셔닝(mixed-precision preconditioning)"이라는 기술을 결합합니다. 이것은 최종 버전을 멋진 노트에 적기 전에 냅킨 위에 초안을 작성하는 것과 같습니다. 먼저, 컴퓨터는 "저정밀도(low precision)" 수학(빠르지만 다소 부정확한, 예: 단정밀도)을 사용하여 해결책의 대략적인 버전을 빠르게 계산합니다. 그런 다음, 이 대략적인 스케치를 사용하여 메인 고정밀도 계산을 위한 문제를 설정합니다. 이 단계는 본질적으로 스프레드시트를 "사전 정리"하여, 남은 작업들을 훨씬 다루기 쉽게 만듭니다. 저자들이 이 "사전 정리된" 스프레드시트에 새로운 "위험 측정기" 전략을 적용했을 때, 결과는 인상적이었습니다.

실험에서 저자들은 고유값들이 "클러스터(cluster)"를 이루는(즉, 음표들이 매우 빽빽하게 모여 있는) 인공 행렬들을 만들었습니다. 음표들이 빽빽하게 모여 있을 때(어려운 실제 세계의 문제를 시뮬레이션할 때), 새로운 전략은 기존의 탐욕적인 방식보다 훨씬 빠르고 정확했습니다. 한 테스트에서 기존 방식이 여전히 해롭지 않은 "큰" 소음들을 정리하느라 애쓰고 있을 때, 새로운 방식은 이미 "작지만" 위험한 소음들을 해결하여 훨씬 더 빨리 정답에 도달했습니다. 그들은 또한 스프레드시트가 깨끗해지는 과정을 타임랩스 비디오처럼 관찰하는 "수렴 이력(convergence history)"도 살펴보았습니다. 그들은 기존 방식이 쉬운 부분들을 먼저 정리하고 어렵고 클러스터링된 부분을 마지막으로 남겨둔다는 것을 확인했습니다. 반면, 새로운 방식은 어려운 클러스터링 부분을 즉시 해결함으로써, 무엇을 고칠지 아는 것이 어떻게 고칠지를 아는 것만큼 중요하다는 것을 증명했습니다.

규칙이 바뀌는 순간: 힐베르트 행렬(Hilbert Matrix)

이 논문은 숫자가 매우 민감하여 풀기가 극도로 어렵기로 유명한 "힐베르트 행렬"이라는 까다로운 사례도 탐구합니다. 이 경우, 저자들은 자신들의 표준적인 새로운 전략이 한계에 부딪힌다는 점을 인정합니다. 이 특정 시나리오에서는 아주 작은 오류조차 결과를 망칠 수 있으므로, "위험 측정기"에 약간의 조정이 필요합니다. 그들은 대각선 숫자 자체의 크기를 고려하도록 공식을 수정하여 변형된 버전의 전략을 만들었습니다. 100x100 힐베르트 행렬에 대해 이 테스트를 진행했을 때, 결과는 놀라웠습니다. 새로운 방식은 무작위 접근법(숫자를 무작위로 골라 수정하는 방식)이 수천 번의 시도 후에도 따라잡지 못했던 수준의 정확도를 달립했습니다. 새로운 방식은 약 100,000단계 만에 높은 정확도에 도달한 반면, 무작위 방식은 200,000단계가 지난 후에도 여전히 고군분투하고 있었습니다.

핵심 요약

이 논문의 핵심 결론은 "가장 큰 숫자를 골라라"라는 오래된 규칙이 이러한 수학적 퍼즐을 푸는 최선의 방법은 아니라는 것입니다. 섭동 이론을 사용하여 왜 특정 숫자가 중요한지를 이해함으로써, 저자들은 더 똑똑하고 표적화된 접근 방식을 만들어냈습니다. 그들은 고유값들이 클러스터링되어 있을 때, 기존의 탐욕적인 방식은 해롭지 않은 소음에 시간을 낭비하는 반면, 새로운 방식은 정답을 결정짓는 미세하고 위험한 속삭임에 집중한다는 것을 보여주었습니다. 이 논문은 이 방식이 많은 유형의 행렬, 특히 클러스터링된 고유값을 가진 행렬에서 잘 작동함을 입증하지만, 힐베르트 행렬과 같이 극도로 민감한 문제의 경우 공식에 추가적인 튜닝이 필요하다는 점도 인정합니다. 궁극적으로 이 연구는 수치 컴퓨팅의 세계에서, 무엇을 고칠지 영리하게 판단하는 것이 단순히 빠르게 처리하는 것보다 더 강력할 수 있음을 시사합니다.