당신이 로봇에게 북적이는 도시 거리의 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 낮 시간의 거리 사진 수천 장을 보여주었고, 로봇은 자동차, 보행자, 신호등을 완벽하게 그리는 법을 배웠습니다. 하지만 당신이 로봇에게 같은 거리를 밤의 모습으로 그려보라고 요청하자, 로봇은 처참하게 실패합니다. 로봇은 가로등 대신 태양을 계속 그려 넣고, 사람들이 코트를 입는다는 사실도 잊어버립니다. 이것이 바로 "분포 드리프트(distribution drift)"의 문제입니다. 세상은 변하지만, 로봇의 훈련 데이터는 과거에 갇혀 있는 것입니다.

이 논문은 "시계열 그래프(temporal graphs)"와 관련된 이 문제의 구체적이고 고도의 기술적인 버전을 다룹니다. 그래프를 단순한 차트가 아니라, 특정 순간의 사회적 네트워크나 통신 시스템의 스냅샷이라고 생각해 보세요. "시계열 그래프"는 이러한 스냅샷들로 만들어진 영화와 같으며, 시간이 흐름에 따라 연결이 형성되고 끊어지는 모습을 보여줍니다. 과학자들은 이전 프레임들을 바탕으로 이 영화의 다음 프레임을 예측하기 위해 특수한 AI 모델을 사용합니다. 여기서 핵심 질문은 이것입니다. 만약 AI가 영화의 전반부 규칙을 학습했다면, 갑자기 줄거리가 바뀔 때도 후반부를 예측할 수 있을까요? 만약 예측할 수 없다면, 새로운 프레임들이 도착하는 것을 단순히 "지켜보고" AI에게 "이봐, 규칙이 바뀌었으니 그림을 수정해!"라고 말해줄 수 있을까요?

이 논문의 저자들인 톈진 대학교와 항저우 전기 대학교의 연구팀은 놀랍고도 다소 실망스러운 답을 내놓았습니다. 그들은 이러한 특정 유형의 AI 모델의 경우, 단순히 새로운 데이터가 들어오는 것을 관찰하고 그에 따라 모델을 수정하려는 시도가 수학적으로 제대로 작동하는 것이 불가능하다는 것을 증න්න했습니다. 그들은 AI가 과거의 과업을 완벽하게 수행하려고 노력할수록 새로운 과업에는 더 서툴러진다는 것을 보여주었으며, "과거를 들여다보는 것"만으로는 미래를 해결할 수 없음을 밝혀냈습니다.

"샤프닝-드리프트(Sharpening-Drift)"의 함정

연구진은 그들이 "샤프닝-드리프트 텐션(sharpening-drift tension)"이라고 부르는 기묘한 트레이드오프를 발견했습니다. 당신이 1920년대에 관한 역사 시험을 공부하는 학생이라고 상상해 보세요. 당신은 그 10년의 모든 세부 사항을 완벽하게 암기할 정도로 열심히 공부했습니다. 하지만 시험 주제가 1930년대로 바뀝니다. 당신이 1920년대를 더 완벽하게 알면 알수록, 1930년대에 대해서는 더 힘들어하게 됩니다.

실험에서 연구팀은 AI 모델이 "훈련 기간"(1920년대)을 예측하는 데 능숙해질수록, "배포 기간"(1930년대)에서의 성능은 오히려 떨어진다는 것을 발견했습니다. 이는 단순히 조금 나빠지는 수준이 아니라 직접적인 수학적 트레이드오프였습니다. 그들은 "거듭제곱 법칙(power law)" 관계를 찾아냈습니다. 즉, 모델이 오래된 데이터에서 한 단계 개선될 때마다, 새로운 데이터에서의 성능은 현저히 저하되었습니다. 구체적으로, 그들은 -0.605라는 거듭제곱 지수를 측정했는데, 이는 오래된 데이터의 오차를 절반으로 줄이면 새로운 데이터의 오차는 약 1.5배 증가한다는 것을 의미합니다. 모델은 본질적으로 과거에 "과적합(overfitting)"되어, 과거의 규칙에 너무 확신을 가진 나머지 새로운 규칙을 다룰 수 없게 된 것입니다.

움직이지 않는 "오차 하한선(Error Floor)"

보통 AI가 실수를 할 때, 우리는 더 많은 컴퓨와 파워를 주거나 더 오래 "생각"하게 함으로써(이를 "샘플링 예산(sampling budget)"을 늘린다고 합니다) 이를 해결할 수 있다고 생각합니다. 만약 AI가 그림을 그리는 데 1단계 대신 50단계를 거친다면, 진실에 훨씬 더 가까워질 것이라고 기대할 수 있습니다.

이 논문은 데이터가 드리프트(변화)할 때 이 방법이 통하지 않는다는 것을 보여줍니다. 연구진은 AI의 오차가 어떤 노력을 기울여도 뚫고 나갈 수 없는 "하한선(floor)"에 부딪힌다는 것을 발견했습니다. AI가 1단계를 수행하든 50단계를 수행하든, 새로운 데이터에 대한 오차는 거의 동일하게 유지되었으며, 노력을 50배나 늘렸음에도 불구하고 오차 변화는 6% 미만이었습니다. 그러나 이 하한선은 정상적인 수준보다 훨씬 높습니다. 테스트 결과, 새로운 데이터의 오차 하한선은 기존 데이터의 오차 하한선보다 2.2배에서 34.3배까지 높았습니다. AI는 단순히 느린 것이 아니라, 추가적인 노력을 기울여도 해결할 수 없는 높은 수준의 부정확함에 갇혀 있는 것입니다.

왜 "과거를 보는 것"이 효과가 없는가

이 논문의 가장 중요한 부분은 "불가능성 결과(impossibility result)"입니다. 변화하는 세상에 대응하는 명백한 해결책은 "새로운 데이터가 들어올 때마다 그것을 지켜보고, 어떻게 다른지 측정하여 AI에게 조정하도록 알려주는 것"처럼 보입니다. 하지만 저자들은 이 전략이 실패할 운명임을 수학적으로 증명했습니다.

그들은 두 가지 유형의 "교정자(corrector)"를 비교했습니다.

1. 오라클(The Oracle): 새로운 세상의 규칙을 즉각적으로 정확히 알고 있는 마법 같은 존재입니다. 이 존재는 오류의 60%를 해결할 수 있습니다.
2. 옵저버(The Observer): 과거의 스냅샷만을 보고 새로운 규칙을 추측하는 일반적인 AI입니다.

연구진은 수학적으로 옵저버가 결코 오라클에 도달할 수 없음을 증명했습니다. 새로운 데이터는 "빠른 평균 회귀적 랜덤 워크(fast mean-reverting random walk)"처럼 행동합니다. 술 취한 사람이 집으로 걸어가는 모습을 상상해 보세요. 그들은 왼쪽, 오른쪽, 다시 왼쪽으로 비틀거리며 걷습니다. 만약 당신이 두 단계 전의 위치를 바탕으로 다음 단계의 위치를 예측하려 한다면, 당신은 틀릴 가능성이 높습니다. 왜냐하면 그들의 다음 발걸음은 그 자체로 하나의 커다로 된 "혁신(innovation)"이며, 드리프트 자체만큼이나 크기 때문입니다.

데이터에 따르면 네트워크의 변화는 "평균 회귀적(mean-reverting)"이었으며 "추세가 없었습니다(trendless)". 변화가 매우 무작위적이고 예측 불가능하기 때문에, 과거의 이력을 살펴보는 것은 도움이 되지 않습니다. 옵저버가 할 수 있는 최선은 오라클이 해결할 수 있는 오차의 단 5.7%만을 복구하는 것이었습니다.

"외삽(Extrapolation)"의 실수

많은 이들이 이 문제를 해결하기 위해 "외삽(extrapolating)", 즉 추세를 보고 미래를 예측하는 방법을 시도합니다. 예를 들어, 네트워크가 지난주에 5% 성장했다면 이번 주에도 5% 성장할 것이라고 추측하는 식입니다. 이 논문은 이것이 아무것도 하지 않는 것보다 엄격하게 더 나쁜 결과를 초래한다고 보여줍니다.

연구진은 이 "추세 외삽"을 단순히 마지막 관측치를 신뢰하는 방식과 비교했습니다. 그 결과, 추세를 예측하는 것이 단순히 마지막 순간이 다음 순간과 같을 것이라고 가정하는 것보다 AI의 예측을 1.27배에서 1.51배 더 악화시킨다는 것을 발견했습니다. AI가 따르려 했던 "추세"는 실제로 존재하지 않았으며, 데이터는 그저 노이즈(noise)였을 뿐입니다. 무작위적인 노이즈 속에서 추세를 예측하려는 시도는 오차를 더 키울 뿐입니다.

최선의 방법과 최악의 방법

마지막으로, 연구팀은 새로운 데이터가 들어옴에 따라 AI를 "재학습(retrain)"시키는 경우(이를 "테스트 시점 적응(Test-Time Adaptation)"이라 합니다) 어떤 일이 발생하는지 테스트했습니다. 당신은 "AI가 새로운 데이터에 서투르다면, 그냥 새로운 데이터를 가르치면 되잖아!"라고 생각할 수도 있습니다.

결과는 반직관적이었습니다. 새로운 데이터에 기반해 AI의 기본 확률을 아주 약간만 조정하는 단순한 방식인 "한계 앵커(marginal anchor)"가 모델 전체를 무겁게 재학습시키는 것보다 더 효과적이었습니다. 무거운 재학습은 오히려 상황을 악화시켰습니다. 왜일까요? 새로운 데이터는 너무 빠르게 움직이고 무작위로 변하기 때문에, AI가 "새로운" 규칙을 배우는 데 시간이 걸리는 동안 규칙은 이미 또 바뀌어 버리기 때문입니다. 무거운 훈련은 잘못된 목표에 대해 모델을 "과하게 날카롭게(over-sharpening)" 만들어, 모델을 더욱 혼란스럽게 만듭니다.

결론

이 논문은 변화하는 네트워크의 미래를 예측하는 AI를 구축하려는 모든 이들에게 냉혹한 진실을 전달합니다. 단순히 "보고 배우는 것"만으로는 분포 드리프트를 극복할 수 없습니다. 수학적으로 증명되었듯, 세상이 빠르고 무작위적이며 예측 불가능하게 변한다면, 관찰에 기반한 그 어떤 교정도 AI의 실수를 바로잡을 수 없습니다. 이를 해결하는 유일한 방법은 "사이드 정보(side information, 예: 세상이 왜 변하고 있는지에 대한 이유)"를 갖거나, 과거에 완벽해지려고 애쓰지 않는 모델을 구축하는 것뿐입니다. 그때까지 최선의 전략은 AI가 높은 오차 하한선에 도달할 것임을 받아들이고, 움직이는 타겟을 억지로 학습시키려 노력하는 것을 멈추는 것일지도 모릅니다.