1-Lipschitz Neural Networks on Hadamard Manifolds

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 하지만 세상은 종이처럼 평평하지 않습니다. 대신 구(sphere)나 말 안장(saddle)처럼 굽어 있습니다. 인공지능의 세계에서 대부분의 로봇은 평평한 유클리드 평면 위에서 훈련됩니다. 그들은 격자 위에서 직선을 긋고 거리를 측정하는 데 능숙합니다. 하지만 나무 구조처럼 데이터가 성장하거나 재료가 늘어나고 뒤틀리는 방식처럼, 많은 현실 세계의 문제들은 이러한 곡면 위에 존재합니다. 이것이 바로 '기하학적 딥러닝(geometric deep learning)'의 영역입니다. 과학자들은 데이터의 자연스러운 곡률을 존중하는 AI를 구축하려고 노력하고 있습니다.

하지만 여기에는 함정이 있습니다. 로봇이 굽은 세상을 항해하도록 가르칠 때, 로봇이 통제 불능 상태에 빠지지 않도록 주의해야 합니다. 만약 당신이 로봇의 입력값을 아주 미세하게 건드린다면, 출력값이 완전히 다른 곳으로 튀어버려서는 안 됩니다. 수학에서 이러한 안정성을 '1-립시츠(1-Lipschitz)'라고 부릅니다. 이것을 로봇의 뇌에 적용되는 속도 제한이라고 생각해보세요. 당신이 아무리 밀더라도 로봇은 특정 속도보다 빠르게 움직일 수 없습니다. 과학자들이 평평한 세상에서는 로봇에게 속도 제한을 두는 방법을 알아냈지만, 곡면 위에서 똑같은 일을 하는 것은 까다로운 퍼즐이었습니다. 이 논문은 이 퍼즐을 해결하여, 바닥이 굽어 있어도 차분하고 안정적인 상태를 유지하는 새로운 종류의 AI 레이어를 만드는 것에 관한 것입니다.

---

굽은 길과 속도 제한

당신이 산길을 하이킹하고 있다고 상상해 보세요. 평평한 도시에서는 한 걸음 앞으로 가면 정확히 한 걸음만큼 앞으로 나아갑니다. 하지만 산 위에서는 지면이 굽어 있습니다. 한 걸음을 내디디면 경로가 당신으로부터 멀어지거나, 나란히 출발한 두 명의 하이커가 서로 가까워지지 않은 채 각자 다른 방향으로 걷게 될 수도 있습니다. 이것이 '하다마르 다양체(Hadamard manifolds)'에서 일어나는 일입니다. 이는 공간이 구처럼 다시 제자리로 돌아오지는 않지만 굽어 있는 공간을 뜻하는 멋진 수학 용어입니다.

이 논문의 저자들은 이러한 굽은 길 위에서 살아가는 신경망(AI의 일종)을 만들고자 했습니다. 하지만 그들에게는 구체적인 목표가 있었습니다. 바로 네트워크가 '1-립시츠'가 되도록 하는 것이었습니다. 일상적인 언어로 말하자면, 이는 네트워크가 '좋은 이웃'이 된다는 것을 의미합니다. 입력을 약간만 바꾸어도 출력은 아주 조금만 변합니다. 결코 과잉 반응하지 않습니다. 이는 안전을 위해 매우 중요합니다. 질병을 진단하거나 로봇을 제어하는 데 AI를 사용한다면, 데이터의 작은 오류가 거대하고 위험한 실수로 이어지는 것을 원치 않을 것입니다.

문제는 대부분의 AI 레이어가 평평한 지면을 위해 설계되었다는 점입니다. 이들을 억지로 굽은 산 위로 끌고 가려고 하면, 종종 '좋은 이웃'으로서의 성질을 잃어버립니다. 그들은 과잉 반응하기 시작하여 전체 시스템을 불안정하게 만들 수 있습니다. 저자들은 질문했습니다. 우리는 평평한 지면에서와 마찬가지로 굽은 표면에서도 자연스럽게 안정적인 AI 레이어를 만들 수 있을까?

'부스만(Busemann)' 나침반의 마법

이를 해결하기 위해 저자들은 **부스만 함수(Busemann function)**라고 불리는 매우 특정한 유형의 수학적 도구에 주목했습니다. 만약 굽은 산이 저 멀리 지평선을 향해 영원히 뻗어 있다고 상상한다면, 부스만 함수는 저 멀리 있는 특정 지점을 가리키는 나침반과 같습니다. 그것은 특별한 방식으로 당신이 그 지평선으로부터 얼마나 '멀리' 떨어져 있는지를 측정합니다.

저자들은 만약 이 부스만 나침반을 사용하여 AI 레이어를 구축한다면, 레이어가 자연스럽게 '경사 하강법(gradient descent)'처럼 행동한다는 것을 발견했습니다. 공이 언덕 아래로 굴러 내려가는 장면을 상상해 보세요. 수학에서 '경사 하강법'은 단순히 가장 가파른 경사를 따라 내려가 바닥을 찾는 과정입니다. 저자들은 부스만 함수로 정의된 언덕 아래로 공을 굴리면, 공이 매우 예측 가능하고 통제된 방식으로 움직인다는 것을 증명했습니다. 공은 결코 너무 빨라지거나 이리저리 튀지 않습니다.

그들은 이러한 부스만 기반의 단계를 사용함으로써, 1-립시츠인 AI 레이어를 만들 수 있다는 것을 증명했습니다. 이는 레이어에 내장된 속도 제한이 있다는 뜻입니다. 데이터가 어떻게 휘어지든 상관없이, 네트워크의 반응은 안전하고 예측 가능한 범위 내에 머뭅니다. 또한 그들은 이 레이어들이 '준-알파-강한 비확장성(quasi-α-firmly nonexpansive)'을 가진다는 것을 보여주었습니다. 이는 어려운 표현이지만, 이 레이어를 반복해서 계속 적용하더라도 시스템이 통제 불능으로 회전하는 대신 안정적인 답을 찾아낼 것이라는 점을 보장한다는 의미입니다.

이론을 시험에 들게 하다

저자들은 단순히 수학적 이론에 그치지 않고, 실제로 작동하는지 확인하기 위해 두 가지 매우 다른 시나리오에서 이 네트워크를 구축하고 테스트했습니다.

1. 쌍곡 분류 게임 (The Hyperbolic Classification Game)
먼저, 그들은 쌍곡 공간(hyperbolic space)을 나타내는 방법인 '푸앵카레 디스크(Poincaré disk)'에서 네트워크를 테스트했습니다. 그들은 AI가 점들을 서로 다른 그룹으로 분류하는 게임을 만들었습니다. 그리고 그들의 새로운 '부스만 네트워크'를 다음 두 가지 유형과 대결시켰습니다:

• 표준적인, 제약이 없는 네트워크 (즉, '거친' 네트워크)
• 점들을 완벽한 회전을 통해서만 이동시키는 네트워크 (즉, '경직된' 네트워크)

결과는 흥الب로웠습니다. '거친' 네트워크는 모든 것이 완벽할 때는 점들을 매우 잘 분류했습니다. 하지만 저자들이 AI를 혼란스럽게 만들기 위해 '노이즈'(작고 까다로운 섭동)를 추가하자마자, 거친 네트워크는 무너졌습니다. 그것은 불안정해졌습니다. 경직된 네트워크는 안정적이었지만 점들을 충분히 잘 분류하지 못했습니다. 그러나 부스만 네트워크는 '골디락스(Goldilocks, 딱 적당한)' 솔루션이었습니다. 노이즈에 당황하지 않고 처리할 수 있을 만큼 안정적이면서도, 점들을 정확하게 분류할 수 있을 만큼 유연했습니다. 이는 이러한 '속도 제한'을 추가하는 것이 AI를 공격에 더 강하게 만든다는 것을 입증했습니다.

2. 미스터리 공분산 퍼즐 (The Mystery Covariance Puzzle)
두 번째 테스트는 마치 탐정 소설 같았습니다. 목표는 복잡한 퍼즐의 잃어버린 조각, 즉 '공분산 행렬(covariance matrix, 서로 다른 것들이 어떻게 연관되어 있는지를 설명하는 숫자 표)'을 재구성하는 것이었습니다. 이 경우 데이터는 '마스크드 와샤트(masked-Wishart)' 문제에서 왔는데, 이는 그림의 일부만 보고 나머지를 추측해야 함을 의미합니다.

그들은 부스만 네트워크를 '디노이저(denoiser)'—즉, 지저고 불완전한 데이터를 정화하는 도구—로 사용했습니다. 그들은 이를 '로그-유클리드(Log-Euclidean)' 디노이징이라는 표준 방식과 비교했습니다. 결과는 부스만 네트워크가 행렬의 누락된 부분을 재구성하는 데 더 뛰어나다는 것을 보여주었습니다. 그것은 단순히 눈에 보이는 데이터에 맞추는 것에 그치지 않고, 안정적인 기하학적 이해를 바탕으로 숨겨진 부분을 더 정확하게 추측했습니다. 저자들은 이 방법이 다른 방법들에 비해 오차를 크게 줄였다는 것을 발견했으며, 이는 '속도 제한'이 AI가 보이지 않는 세상을 더 똑똑하게 추측하도록 돕는다는 것을 시사합니다.

이것이 의미하는 바

이 논문이 AI의 모든 문제를 해결했다고 주장하는 것은 아닙니다. 이것이 안정적인 네트워크를 만드는 유일한 방법이라고 말하는 것도 아니며, 모든 상황에서 이 네트워크가 완벽하다고 주장하는 것도 아닙니다. 대신, 이 논문은 새롭고 신뢰할 수 있는 도구를 제시합니다. 저자들은 부스만 함수를 사용함으로써, 우리는 굽은 공간의 기하학적 구조를 존중하면서도 차분하고 안정적인 상태를 유지하는 신경망을 구축할 수 있음을 보여줍니다.

저자들은 이 접근 방식이 의료 영상(뇌 스캔이 종종 굽은 표면으로 분석되는 분야)이나 재료 과학과 같이 데이터가 자연스럽게 굽어 있는 분야에서 더 강력한 AI를 위한 문을 열어준다고 제안합니다. 이 레이어들이 수학적으로 안정적임을 증명하고 시뮬레이션을 통해 이를 보여줌으로써, 그들은 밑바닥의 지면이 굽어 있더라도 똑똑할 뿐만 아니라 안전하고 신뢰할 수 있는 AI를 구축하기 위한 토대를 마련했습니다.