Why we should condition denoising diffusion generative models on windows of past observations

날씨를 예측하는 것은 시간과 혼돈을 상대로 벌이는 끊임없는 경주입니다. 기상학자들은 위성과 지상 관측소로부터 얻은 새로운 측정값을 대기 컴퓨터 모델과 결합하는 '데이터 동화(data assimilation)'라고 불리는 과정에 의존합니다. 이 과정을 지도와 자신의 위치를 끊임없이 대조하며 달리는 러너에 비유해 보십시오. 만약 확인을 멈춘다면 경로에서 벗어나게 될 것입니다. 전통적인 일기 예보에서 이러한 확인 작업은 엄격한 주기로 이루어집니다. 즉, 예보가 만들어지고, 새로운 데이터가 도착하면, 예보를 수정하고, 다음 순간을 위한 새로운 예보를 생성하는 방식입니다. 이 주기가 작동하는 이유는 컴퓨터 모델이 마지막 확인 이후에 일어난 모든 일을 기억하여, 그 이력을 바탕으로 미래에 대한 더 나은 추측을 구축하기 때문입니다. 그러나 차세대 인공지능 도구들, 특히 '확산 모델(diffusion model)'로 알려진 유형의 모델들은 이 주기를 따라잡는 데 어려움을 겪어 왔습니다. 이러한 AI 도구들은 방대한 양의 역사적 데이터로부터 패턴을 학습하는 데는 탁-월하지만, 보통 그 데이터를 정적인 스냅샷으로 취급합니다. 이들은 현재의 순간에 이르게 된 일련의 사건들을 자연스럽게 기억하지 못하며, 이로 인해 전통적인 방식보다 더 큰 오류를 범하게 됩니다.

연구자 마티아스 모르츠펠트(Matthias Morzfeld)와 다니엘 호디스(Daniel Hodyss)는 새로운 예보가 필요할 때마다 AI가 모든 것을 처음부터 다시 학습하도록 강요하지 않고도 이 기억력 문제를 해결할 수 있는 방법을 발견했습니다. 그들은 이 AI 모델들이 단 하나의 가장 최근 관측값만을 보는 대신, 과거 관측값들의 짧은 창(window)을 살펴보도록 훈련시키면 현재 사용되는 복잡한 순환 시스템과 동일한 높은 정확도를 달ien할 수 있다는 것을 발견했습니다. 실제 대기를 단순화한 수학적 모델을 통해 테스트한 그들의 연구는, AI가 날씨의 전체 역사를 기억할 필요는 없다는 것을 보여줍니다. 대신, 최근의 몇 단계만을 기억하면 충분하다는 것입니다. 이러한 통찰은 AI가 효율적으로 작동하게 하여, 매번 재학습을 해야 하는 과도한 계산 비용을 피하면서도 정확한 예측에 필요한 필수 정보를 포착할 수 있게 해줍니다.

핵심적인 도전 과제는 이러한 AI 모델이 어떻게 구축되는지에 있습니다. 표준 확산 모델은 거대한 데이터셋으로부터 학습하며, 본질적으로 전형적인 날씨 패턴이 어떤 모습인지를 암기합니다. 일단 훈련되면, 이들은 새롭고 현실적인 날씨 시나리오를 생성할 수 있습니다. 그러나 예보에 사용될 때, 이 모델들은 대개 '사전 정보(prior)', 즉 최신 데이터를 보기 전의 날씨에 대한 일반적인 기대치에 의존합니다. 전통적인 순환 시스템에서는 이 기대치가 끊임없이 업데이트됩니다. 어제의 최선의 추측이 오늘의 시작점이 되는 식입니다. 반면 표준적인 AI 설정에서는 이 기대치가 수십 년간의 평균 날씨를 바탕으로 고정되어 있습니다. 이러한 정적인 관점은 현재의 폭풍이나 폭염을 일으킨 구체적인 사건의 사슬을 무시하며, 결과적으로 덜 정확한 결과를 초라는 데 이르게 됩니다. 연구자들은 이러한 AI 모델을 예보에 적합하게 만들기 위해서는 모델에 일종의 단기 기억을 부여해야 한다는 점을 깨달았습니다.

이 아이디어를 테스트하기 위해 저자들은 대기의 단순화된 선형 모델을 만들었습니다. 이는 실제 세계를 수학적으로 단순화한 '토이 버전'으로, 분석하기는 쉽지만 정보가 어떻게 흐르는지 보여줄 만큼은 충분히 복잡하게 설계되었습니다. 그들은 두 가지 다른 유형의 AI 시스템을 설정했습니다. 첫 번째는 관측값 세트를 바탕으로 대기의 현재 상태를 추정하도록 설계되었는데, 이는 '데이터 동화'라고 불리는 작업입니다. 두 번째는 다음 관측값이 무엇일지를 예측하도록 설계되었으며, 이는 '직접 관측 예측'이라고 불리는 작업입니다. 두 경우 모두, AI가 가장 최근의 관측값 하나만을 보는 방식과 슬라이딩 윈도우(sliding window)를 통해 지난 여러 번의 관측값을 보는 두 가지 방식으로 훈련되었습니다.

결과는 명확하고 결정적이었습니다. AI 모델이 가장 최근의 데이터 포인트만을 보도록 훈련되었을 때, 그 예측은 현저히 정확도가 떨어졌습니다. 모델은 마치 바로 직전의 일들을 모두 잊어버린 것처럼 행동했습니다. 그러나 모델이 과거 관측값들의 윈도우를 고려하도록 훈련되었을 때, 성능은 극적으로 향 향상되었습니다. 시뮬레이션 결과, 과거 데이터의 윈도-우가 특정 길이(그들의 설정에서는 약 9단계)에 도달하자, 오류율은 모든 것을 기억하는 완벽한 전체 순환 시스템과 동일한 수준으로 떨어졌습니다. 이는 AI 모델 자체가 사이클 사이에 재학습되지 않았음에도 불구하고 일어난 일이었습니다. 모델은 단순히 과거의 윈도우를 고정된 입력값으로 사용하여, 전통적인 시스템의 기억력을 과도한 계산 부담 없이 효과적으로 모방했습니다.

연구진은 또한 이 모델들이 일반적으로 AI를 구동하는 복잡한 뇌 구조와 같은 신경망을 사용할 때 어떤 일이 일어나는지도 탐구했습니다. 그들은 신경망 훈련에 내재된 불완전함에도 불구하고, 과거 관측값의 윈도우를 사용하는 것의 이점이 유지된다는 것을 발견했습니다. 윈도우를 가진 모델들이 그렇지 않은 모델들보다 일관되게 더 정확했습니다. 이는 이러한 개선이 완벽한 수학적 설정 덕분에 나타난 우연한 결과가 아니라, 이러한 AI 도구들이 예보에서 잘 작동하기 위한 근본적인 요구 사항임을 시사합니다. 연구는 과거 관측값이 현재의 날씨 상태에 미치는 영향이 연못의 파문이 사라지는 것처럼 빠르게 소멸한다는 것을 확인해 줍니다. 따라서 AI 모델은 무한한 기억을 가질 필요가 없습니다. 효과적으로 작동하기 위해서는 최근의 과거만을 기억하면 됩니다.

이 발견은 해당 분야의 오래된 가설에 도전합니다. 수십 년 동안 표준적인 접근 방식은 모델이 단계별로 업데이트되며 분석의 전체 이력을 전달하는 엄격한 반복 주기를 고수하는 것이었습니다. 저자들은 이러한 엄격한 고수가 AI 기반 시스템에는 더 이상 필요하지 않을 수 있다고 주장합니다. 과거 데이터의 고정된 윈도우를 사용함으로써, 이 모델들은 진정한 순환 시스템이 요구하는 값비싼 잦은 재학습 없이도 최적에 가까운 정확도를 달성할 수 있습니다. 이는 AI가 모든 세부 사항을 기억하느라 쩔쩔매지 않으면서도 과거로부터 학습할 수 있는, 더 효율적이고 강력한 AI 기상 예보기의 길을 열어줍니다.

이 연구는 또한 우리가 기상 예측을 어떻게 생각해야 하는지에 대한 더 넓은 함의를 다룹니다. 이는 '순환 패러다임(cycling paradigm)'이 인공지능의 시대에도 적응 가능할 수 있음을 시사합니다. 전통적인 시스템이 정확성을 유지하기 위해 작고 점진적인 업데이트에 의존하는 반면, 완전한 비선형 능력을 갖춘 AI 시스템은 더 큰 정보의 도약을 처리할 수 있습니다. 이를 통해 AI는 이전에 권장되지 않았던 방식으로 과거의 관측값을 재사용할 수 있습니다. 연구는 이러한 AI 도구의 잠재력을 끌어올리는 열쇠가 기존의 방식을 똑같이 흉내 내도록 강요하는 것이 아니라, 최근의 과거를 집중적으로 바라보는 적절한 종류의 기억을 부여하여 가장 진보된 전통적 시스템만큼 정밀하게 학습하고 예측할 수 있도록 하는 것임을 보여줍니다.

결국, 모르츠펠트와 호디스의 연구는 차세대 기상 예보를 위한 실질적인 청사진을 제공합니다. 이들은 강력한 생성 모델을 과거 관측값의 윈도우에 조건화함으로써, 모델의 자연스러운 망각 성향을 극복할 수 있음을 입증했습니다. 이 간단한 조정은 이들을 정적인 패턴 매처에서 현재 사용되는 가장 정교한 시스템들과 경쟁할 수 있는 역동적인 예보 도구로 변화시킵니다. 앞으로 나아갈 길은 모든 것을 기억하려고 노력하는 더 크고 복잡한 모델을 만드는 것이 아니라, 미래를 제대로 맞추기 위해 과거의 어느 정도를 보아야 하는지 정확히 아는 더 스마트한 모델을 만드는 것입니다.