검은 상자와 투명한 수정의 미스터리

당신이 컴퓨터에게 대출 신청자가 위험한지 혹은 환자가 질병을 앓고 있는지 예측하는 것과 같은 결정을 내리는 법을 가르치려 한다고 상상해 보십시오. 오랫동안 우리에게는 이를 수행할 수 있는 두 가지 주요 방법이 있었습니다. 한쪽에는 기본적인 자(ruler)와 같이 단순하고 정직한 모델이 있었습니다. 당신은 그것을 보고 "아, 이 특징은 점수를 5점 더하고, 저 특징은 2점을 뺀다"라고 말할 수 있습니다. 이해하기는 쉬웠지만, 현실 세계의 복잡하고 무질서한 패턴을 포착하기에는 너무 단순했습니다. 다른 한쪽에는 신경망이라 불리는 거대하고 매우 똑똑한 "검은 상자(black boxes)"가 있었습니다. 이것들은 믿기 힘들 정도로 복able하고 복잡한 것들을 학습할 수 있으며 규모가 커질수록 더 나아졌지만, 불투와(opaque)했습니다. 그것을 만든 사람들조차 컴퓨터가 왜 특정한 선택을 했는지 항상 설명할 수는 없었습니다. 그것은 마치 완벽하게 작동하지만 두껍고 어두운 유리로 만들어진 수정구슬과 같았습니다. 답은 볼 수 있지만, 그 안에서 기어들이 어떻게 돌아가는지는 볼 수 없었던 것입니다.

이 논문은 단순한 자와 어두운 수정구슬 사이의 그 간극 속으로 들어갑니다. 그리고 질문합니다. "거대한 검은 상자만큼 똑똑하고 확장 가능하면서도, 여전히 내부를 들여다보고 어떻게 작동하는지 확인할 수 있는 모델을 만들 수 있을까?" 저자는 새로운 종류의 "뉴런"(이 모델의 기본 구성 요소)을 소개하는데, 이는 "고윳값(eigenvalues)"이라는 고급 수학의 기법을 사용합니다. 고윳값을 단순한 숫자가 아니라, 어떤 형태 내부의 특별한 "분위기(vibe)"나 "긴장감(tension)"이라고 생각해 보십시오. 형태(행렬)를 통해 모델을 구축하고 그 "분위기"를 읽음으로써, 저자는 투명성을 잃지 않으면서도 복잡해질 수 있는 시스템을 만들어냅니다.

스펙트럴 뉴런: 투명한 유리를 가진 수정구슬

저자인 알렉스 쇼프(Alex Shoff)와 동료들은 이 모델을 **스펙트럴 뉴런(spectral neuron)**이라고 제안합니다. 이를 이해하기 위해, 무서운 수학 기호들은 잠시 접어두고 비유를 사용해 봅시다.

표준적인 컴퓨터 뉴런은 재료를 섞는 요리사와 같습니다. 그들은 숫자 목록(나이 또는 소득과 같은 입력 특징)을 가져와 각 숫자에 특정 가중치(숫자)를 곱하고, 그것들을 더한 다음, 최종 답을 얻기 위해 결과를 필터로 압착합니다. 그것은 숫자의 직선적인 흐름입니다.

스펙트럴 뉴런은 다릅니다. 재료를 하나의 숫자로 섞는 대신, 그것들을 하나의 **형태(shape)**로 섞습니다. 구체적으로, 이 모델은 입력 숫자들을 가져와 거대하고 다차원적인 기하학적 객체(행렬)를 구축하는 데 사용합니다. 레고 브릭 한 봉지가 있다고 상상해 보십시오. 일반적인 모델에서는 브릭을 하나의 탑으로 쌓습니다. 하지만 이 새로운 모델에서는 입력 숫자들을 사용하여 브릭을 복잡한 3D 조각품으로 배치하는 방식을 결정합니다.

일단 조각품이 완성되면, 모델은 전체를 보는 것이 아닙니다. 대신 아주 구체적인 질문을 던집니다. "이 형태가 견딜 수 있는 **가장 좁은 압박(tightest squeeze)**은 무엇인가?" 또는 "가장 **느슨한 늘어남(loosest stretch)**은 무엇인가?" 수학적으로 이것은 **고윳값(eigenvalue)**을 읽는 것이라고 불립니다. 이것은 조각품을 쿡 찔러보고 그 조각품이 연주하는 음을 듣는 것과 같습니다. 그 음이 바로 최종 예측입니다.

이것이 왜 멋진 일일까요? 이 형태들의 "음(eigenvalues)"은 매우 예측 가능한 수학적 규칙을 가지고 있기 때문입니다.

• 형태가 이야기를 통제한다: 만약 당신이 조각품을 "그릇 모양(convex, 볼록)"이 되도록 강제한다면, 모델은 항상 그릇 모양의 방식으로 예측할 것입니다. 만약 당신이 그것을 "언덕 모양(concave, 오목)"이 되도록 강제한다면, 모델 역시 그렇게 할 것입니다. 저자는 브릭이 배치되는 규칙(행렬)을 변경함으로써 모델이 항상 증가하거나 항상 감소하는 **단조성(monotone)**을 갖거나, 한 방향으로 휘어지는 **볼록성(convexity)**을 갖도록 강제할 수 있음을 보여줍니다. 이는 매우 중요한데, 현실 세계에서 우리는 특정 사실이 반드시 성립해야 한다는 것을 알고 있기 때문입니다. 예를 들어, 경매에서 더 많은 돈을 입찰하면 당첨될 확률은 반드시 올라가야 하며 절대 내려가서는 안 됩니다. 이 모델을 사용하면, 이 규칙을 브릭 자체에 직접 심을 수 있으므로, 모델이 아무리 많은 데이터를 학습하더라도 그 법칙을 어길 수 없습니다.
• 규모가 커질수록 더 똑똑해진다: 거대한 검은 상자 신경망과 마찬가지로, 이 모델은 조각품을 더 크게 만들수록(행렬 크기를 키울수록) 더 강력해집니다. 작은 조각품은 단순한 예측만 할 수 있지만, 거대하고 복잡한 조각품은 믿기 힘들 정도로 정교한 패턴을 학습할 수 있습니다. 논문은 이 모델 군이 "보편적 근사치(universal approximator)"라고 제안하는데, 이는 조각품을 충분히 크게 만든다면 당신이 던져주는 거의 모든 매끄러운 곡선을 흉내 낼 수 있다는 의미입니다.
• 비밀은 브릭 안에 있다: 가장 좋은 점은 투명성입니다. 일반적인 검은 상자에서 "왜 '고위험'이라고 했나요?"라고 물으면, 답은 수백만 개의 숫자가 뒤엉킨 혼란스러운 상태입니다. 스펙트럴 뉴런에서 "가중치"는 브릭 그 자체입니다. 저자는 특정 브릭(행렬)을 살펴보고, 그 단일 특징(예: "나이")이 결과값을 정확히 얼마나 변화시킬 수 있는지 계산할 수 있음을 보여줍니다. 이것은 "만약 '나이' 브릭을 바꾼다면, 음이 최대 이 정도까지 변할 수 있다"라고 말해주는 설명서와 같습니다. 이는 모델이 변화에 얼마나 민감한지에 대한 확고한 수학적 보증을 제공하며, 이는 규제 기관과 설명 가능한 AI(XAI)에게는 꿈과 같은 일입니다.

실험 결과가 보여준 것

저자는 단순히 상상만 한 것이 아니라, 실제로 이를 구축하고 테스트했습니다. 그들은 가짜 데이터(단순한 곡선)와 실제 데이터(광고 클릭 예측이나 입자 물리학 이벤트 등)를 사용하여 이 스펙트럴 뉴런을 훈련시켰습니다.

실험 결과는 다음과 같습니다:

1. 학습이 가능하다: 모델은 실제로 데이터로부터 학습할 수 있습니다. "조각품"을 더 크게 만들수록(행렬 차원을 높일수록), 모델은 복잡한 형태에 더 잘 들어맞았으며, 이는 저자들이 희망했던 대로였습니다.
2. 규칙을 준수한다: 모델이 단조성(항상 증가함)을 갖도록 강제했을 때, 모델은 학습하는 동안에도 완벽하게 단조성을 유지했습니다. 이는 특수한 복잡한 기법 없이는 표준 신경망으로 수행하기 매우 어려운 일입니다.
3. 경쟁력이 있다: 가장 유명한 딥러닝 모델들과 비교했을 때 모든 작업에서 절대적으로 가장 빠르거나 단일하게 최고는 아닐지라도, 매우 우수한 성능을 보입니다. 즉, 종종 표준 모델들과 비슷한 수준의 성능을 냅니다. 트레이드오프(trade-off)는 3D 조각품의 "음"을 만들고 읽는 것이 단순히 숫자를 더하는 것보다 더 많은 수학적 계산을 필요로 하기 때문에 계산 속도가 약간 느릴 수 있다는 점입니다. 그러나 저자는 투명성과 안전성(모델이 규칙을 어기지 않을 것이라는 확신)을 얻는 것이 속도의 손실을 감수할 가치가 있다고 주장합니다.

결론

이 논문은 "똑똑하지만 신비로운 것"과 "단순하지만 멍청한 것" 사이에서 하나를 선택하도록 강요하지 않는, AI를 구축하는 새로운 방법을 제시합니다. 형태의 기하학적 구조와 그 "음(eigenvalues)"을 사용함으로써, 스펙트럴 뉴런은 그 중간 지점을 제공합니다. 이는 현실 세계가 복잡해짐에 따라 함께 성장할 수 있으면서도, 내부 로직을 시각화하고 제어할 수 있는 모델입니다. 이것은 마치 투명한 유리로 만든 수정구슬을 만드는 것과 같습니다. 미래를 여전히 볼 수 있지만, 이제는 빛이 그곳에 도달하기 위해 어떻게 굴절되는지도 정확히 볼 수 있게 된 것입니다. 저자는 이것이 시작일 뿐이며, 더 빠르게 만들고 더욱 다재다능하게 만들기 위해 더 많은 작업이 필요하다고 인정하지만, 이 "스펙트럴" 접근 방식이 머신러러닝의 미래를 위한 실행 가능하고 강력하며 놀라울 정도로 투명한 도구임을 입증했습니다.