From Classification to Regression: Using a Fruitfly to Solve Equations

컴퓨터에게 미래를 예측하는 법을 가르치려 한다고 상상해 보십시오. 보통 우리는 컴퓨터에게 세상이 시작부터 끝까지 어떻게 돌아가는지 설명하는 거대하고 포괄적인 규칙책, 즉 하나의 거대한 공식 하나를 통째로 암기하도록 요구합니다. 이는 마치 첫 수를 두기도 전에 체스의 모든 가능한 수를 전부 외우라는 것과 같습니다. 이 방식은 작동은 하지만, 슈퍼컴퓨터급의 두뇌가 필요하며 실행하는 데 시간이 엄청나게 오래 걸립니다. 하지만 자연에는 더 똑똑한 방법이 있습니다. 주방을 날아다니는 초파리를 생각해 보십시오. 초파리는 자신의 작은 머릿속에 집 전체의 거대한 지도를 가지고 있지 않습니다. 대신, 초파리는 주변 환경을 감지하고, 익숙한 '냄새'나 패턴(예: 썩은 과일 냄새)을 인식하며, 그 특정 장소에 대해 학습한 내용을 바탕으로 반응합니다. 초파리는 집 전체의 물리학을 알 필요가 없습니다. 그저 지금 눈앞에 보이는 것에 따라 무엇을 해야 하는지만 알면 됩니다.

"분류에서 회귀로: 방정식을 풀기 위해 초파리 이용하기(From Classification to Regression: Using a Fruitfly to Solve Equations)"라는 제목의 이 논문은, 이 초파리 전략을 모방하여 컴퓨터가 복잡한 수학 문제를 풀도록 가르치는 새로운 방법을 탐구합니다. 과학의 세계에서 '회귀(regression)'란 입력과 출력 사이의 관계를 찾는 것을 뜻하는 멋진 용어입니다. 예를 들어, 금속 막대를 얼마나 오래 가열하느냐에 따라 온도가 어떻게 변할지 예측하는 것과 같습니다. 보통 과학자들은 이를 위해 하나의 거대하고 복잡한 모델을 구축하려고 노력합니다. 하지만 이 논문은 하나의 거대한 뇌를 만드는 대신, '패턴'들의 작은 도서관을 만드는 방식을 제안합니다. 이것은 마치 '당신의 선택에 따라 이야기가 달라지는(choose-your-own-adventure)' 책과 같습니다. 모든 상황마다 새로운 이야기를 쓰는 대신, 몇 가지 핵심 장면(패턴)을 두고, 그 순간의 이야기를 들려주기 위해 그것들을 어떻게 혼합할지에 대한 규칙을 정하는 것입니다. 저자들은 문제를 "이것이 어떤 패턴과 가장 닮았는가?"(분류)라는 게임으로 취급하고, 그 답들을 혼합함으로써 컴퓨터가 훨씬 더 빠르고 적은 메모리를 사용하면서도 놀라울 정도로 정확하게 복잡한 방정식을 풀 수 있음을 보여줍니다.

초파리의 비밀: 공기 중의 냄새를 맡아 방정식을 풀다

저자인 Shady E. Ahmed와 Panos Stinis(태평양 북서부 국립연구소 소속)는 영리한 묘책을 제안합니다. 전체 지도를 배우려 하지 말고, 이정표를 배우라는 것입니다.

전통적인 머신러닝에서, 만약 당신이 컴퓨터에게 시스템이 시간에 따라 어떻게 변하는지(예: 날씨나 행성의 움직임) 예측하게 하고 싶다면, 보통 "전역 대리 모델(global surrogate)" 역할을 하는 거대한 신경망을 훈련시킵니다. 이는 전체 입력 공간을 한 번에 이해하려고 시도하는 하나의 복잡한 모델입니다. 문제는 이러한 모델들이 너무 커지고, 비용이 많이 들며, 느려진다는 점입니다. 이는 단 한 권의 책을 찾기 위해 배낭에 의회 도서관 전체를 담으려는 것과 같습니다.

저자들은 대부분의 과학적 데이터가 실제로 전체 공간을 채우지 않는다고 주장합니다. 행성은 우주를 무작위로 날아다니지 않고 특정한 궤도를 따릅니다. 초파리는 벽을 뚫고 직선으로 날아가지 않고 음식의 향기를 따라 움직입니다. 이러한 시스템은 동일한 '체제(regimes)'나 행동을 반복해서 나타냅니다. 논문은 전역적인 규칙을 배우는 대신, **대표적인 국소 패턴(representative local patterns)**의 유한한 라이브러리를 구축해야 한다고 제안합니다.

"초파리 회귀 모델(Fruitfly Regressors)"이 냄새라는 비유를 사용하여 작동하는 방식은 다음과 같습니다:

1. 냄새의 도서관 (패턴): 당신에게 '냄새'(패턴)의 도서관이 있다고 상상해 보십시오. 각 냄새는 시스템의 특정하고 반복되는 행동을 나타냅습니다. 흔들리는 진자의 경우, 한 패턴은 "왼쪽으로 빠르게 흔들림"일 수 있고, 다른 패턴은 "꼭대기에서 천천히 멈춤"일 수 있습니다.
2. 냄새 테스트 (유사성): 새로운 상황(질의, query)이 발생했을 때, 컴퓨터는 방정식 전체를 처음부터 풀려고 하지 않습니다. 대신, 상황의 '냄새'를 맡습니다. 컴퓨터는 현재 상태를 도서관에 있는 모든 냄새와 비교합니다.
3. 가중치 혼합 (재구성): 컴퓨터는 단 하나의 최적의 냄새만을 고르는 것이 아닙니다. 현재 상황이 각 냄계와 얼마나 닮았는지 계산합니다. 만약 상황이 "빠른 왼쪽"의 냄새를 60%, "느린 꼭대기"의 냄새를 40% 가지고 있다면, 이 두 패턴에 대한 알려진 답을 혼합합니다 (답 A의 60% + 답 B의 40%). 이를 통해 최종 예측을 얻습니다.

이 접근 방식은 어려운 회귀 문제(연속적인 숫자를 예측하는 것)를 분류 문제(어떤 패턴이 존재하는지 파악하는 것)와 간단한 수학 문제(답을 혼합하는 것)로 전환합니다.

이 논문이 실제로 발견한 것

저자들은 이 아이디어를 두 가지 매우 다른 유형의 문제, 즉 동역학계(Dynamical Systems) (행성이나 유체처럼 시간에 따라 변하는 것)와 일반 회귀(General Regression) (데이터 간의 관계를 찾는 것)에 적용하여 테스트했습니다.

1. 움직이는 초파리 (동역학계)
그들은 이 방법을 로트카-볼테라 시스템(포식자와 피식자 개체군이 어떻게 상호작용하는지에 대한 모델)과 로렌츠 시스템(혼돈스러운 날씨 패턴을 보여주는 유명한 모델)에 적용했습니다.

• 결과: 매우 작은 패턴 라이브러리(적게는 4개에서 많게는 32개)만으로도, 모델은 높은 정확도로 이러한 시스템의 미래 행동을 예측할 수 있었습니다.
• 놀라운 점: 그들은 패턴 사이의 '경계'가 시스템의 안정적인 지점(예: 폭풍의 중심) 주변에 자연스럽게 형성된다는 것을 발견했습니다. 특정 영역에서 특정 패턴이 '승자'가 아니더라도, 그 패턴은 최종 답에 기여하여 예측을 매끄럽고 안정적으로 만들었습니다.
• "알 수 없는" 방정식: 한 실험에서는 시스템을 지배하는 방정식을 아예 모르는 상태였습니다. 그들은 패턴을 학습하기 위해 임시 "조력자(helper)" 모델을 사용했지만, 일단 패턴을 찾은 후에는 조력자를 버렸습니다. 최종 모델은 오직 패턴과 그에 따른 반응만을 저장하면 되었습니다. 이는 일반적으로 요구되는 거대 신경망에 비해 최종 모델의 크기가 매우 작다는 점에서 메모리 측면의 큰 승리입니다.
• 지속적 학습: 시스템이 변화할 때(예: 날씨가 새로운 패턴으로 바뀔 때), 기존의 것을 잊지 않고 도서관에 몇 개의 새로운 "냄새" 패턴을 추가하기만 하면 된다는 것을 보여주었습니다. 이는 AI가 새로운 것을 배울 때 기존의 교훈을 잊어버리는 "파괴적 망각(catastrophic forgetting)" 문제를 방지합니다.

2. 실험실의 초파리 (일반 회귀)
그들은 또한 포물선에 곡선을 맞추거나, 열이나 전기가 어떻게 퍼지는지를 설명하는 물리 방정식인 **1차원 푸아송 방정식(1D Poisson equation)**을 푸는 것과 같은 표준 수학 문제에 이 방법을 테스트했습니다.

• 설정: 입력 변수(예: 선 위의 위치)를 하나의 "냄새"로 취급하고, 패턴을 고유한 "냄ç 클라우드"를 가진 고정된 점들로 취급했습니다.
• 결과:
  • 단순한 포물선의 경우, 10개의 패턴을 사용하여 **0.1%**의 테스트 오차를 얻었습니다.
  • 10개의 서로 다른 사인파로 이루어진 복잡한 파동의 경우, 30개의 패턴을 사용하여 약 **1%**의 오차를 얻었습니다.
  • 날카로운 모서리가 있는 까다로운 물리 문제(한쪽은 0이고 다른 쪽은 곡선인 포물선)의 경우, 100개의 패턴을 사용하여 약 **10%**의 오차를 얻었습니다. 논문은 이 높은 오차가 예상된 결과라고 언급하는데, 함수가 매끄럽지 않은 날카로운 경계를 가지고 있으며 "냄새"의 확산이 해당 형태에 완벽하게 튜닝되지 않았기 때문입니다.
• 속도: 논문은 단순한 문제의 경우 패턴 값을 구하는 데 표준 맥북에서 단 0.01초밖에 걸리지 않았으며, 가장 복잡한 문제조차도 3.5초밖에 걸리지 않았음을 강조합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 복잡한 문제를 해결하기 위해 항상 거대하고 모든 것을 아는 뇌를 구축할 필요는 없다는 점을 시사합니다. 문제를 작은, 인식 가능한 "패턴"들의 라이브러리로 나누고 유사성에 기초하여 이들을 혼합함으로써, 우리는 다음과 같은 모델을 만들 수 있습니다:

• 더 작음: 저장하는 데 훨씬 적은 매개변수가 필요합니다.
• 더 빠름: 온라인 예측 단계는 거대한 계산이 아니라 유사성 확인과 가중치 합산일 뿐입니다.
• 더 유연함: 새로운 데이터가 들어올 때 쉽게 업데이트할 수 있습니다.

하지만 논문은 이 방법이 모든 것에 대한 마법의 해결책이라고 주장하는 것은 아님을 주의 깊게 명시하고 있습니다. 저자들은 명시적으로 이 방법이 데이터가 "반복되는 행동"이나 국소적 구조를 가지고 있어야 한다는 점에 의존한다고 언급했습니다. 만약 시스템이 완전히 무작위적이고 결코 패턴을 반복하지 않는다면, 이 라이브러리 방식은 어려움을 겪을 수 있습니다. 또한, 결과가 유망하기는 하지만 이는 시뮬레이션과 특정 수학적 예시에 기반한 것이며, 이 논문이 실제 세계의 기후 모델링이나 생물학적 시스템을 해결했다고 주장하는 것은 아닙니다. 다만 그 방향성을 제시하고 있습니다.

저자들은 또한 아직 완전히 파악하지 못한 부분들도 지적했습니다. 예를 들어, 패턴의 "분산(variance, 냄새의 퍼짐 정도)"을 정확히 어떻게 정해야 할지 확신하지 못합니다. 그들은 분산을 도메인의 크기를 패턴의 수로 나눈 값으로 설정하는 것이 가장 잘 작동한다는 것을 발견했는데, 이는 직관에 어긋나는 느낌(마치 무작위 보행자가 직선으로 움직일 것이라고 기대하는 것과 같은)이었지만 테스트에서는 효과적이었습니다. 또한 그들은 패턴의 수를 적응형으로 만들어, 시스템이 현재 라이브러리보다 복잡해질 때만 늘어나도록 만들 수 있다고 제안했습니다.

결국, 이 논문은 관점을 바꾸는 유쾌하면서도 강력한 통찰을 제공합니다. 전체 바다를 통째로 외우려 하지 말고, 해류를 배우십시오. 초파리가 국소적인 냄새를 인식하여 항해하는 능력을 모방함으로써, 우리는 훨씬 더 가벼운 손길로 세상의 가장 어려운 방정식들을 풀 수 있을지도 모릅니다.