당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 백만 장의 고양이 사진을 보여주며, 단순히 고양이를 인식하는 것을 넘어 이전에 존재하지 않았던 완벽하고 새로운 고양이를 발명하기를 원합니다. 이것이 인공지능에서 "생성 모델(generative models)"이 부리는 마법입니다. 이를 위해 로봇은 단순하고 지루한 세상(무작위 숫자의 주머니 같은 곳)과 복잡하고 무질서한 세상(당신의 사진 갤러리 같은 곳)을 연결하는 지도가 필요합니다. 과거에 과학자들은 이 지도를 엄격하고 경직된 규칙을 사용하여 구축했는데, 이는 수학적으로는 쉽지만 로봇의 두뇌를 매우 제한적으로 만들었습니다. 최근에는 새로운 아이디어가 등장했습니다. 두 개의 별도 두뇌를 만드는 것입니다. 하나는 사진을 비밀 코드로 압축하는 것(인코더, encoder)이고, 다른 하나는 그 코드를 다시 사진으로 압축 해제하는 것(디코더, decoder)입니다. 만약 이 두 두뇌가 완벽한 반대라면, 매우 강력한 지도를 만들 수 있습니다. 하지만 문제가 있습니다. 이 둘을 완벽한 반대로 만드는 것은 매우 어렵고, 기존의 학습 방식은 로봇의 두뇌를 통제 불능 상태로 만들어 시스템 전체를 충돌시키곤 했습니다.

이 논문은 이러한 충돌을 해결하기 위해 **정규화 오토인코더(Normalizing AutoEncoder, NAE)**라는 영리한 새로운 학습 방법을 소개합니다. 저자들은 기존의 두 두뇌를 가르치는 방식이 결함이 있다는 것을 발견했습니다. 왜냐하면 마치 자동차 핸들을 왼쪽으로 돌리려는 사람과 오른쪽으로 꺾으려는 사람이 동시에 존재할 때처럼, 두 두뇌를 서로 반대 방향으로 움직이게 만들기 때문입니다. 저자들은 로봇이 제대로 학습하기 위해서는 "압축"하는 두뇌와 "압축 해제"하는 두뇌가 이미지를 재구성(reconstruction)한다는 목표 아래 완벽한 조화를 이루며 학습해야 한다는 것을 증명했습니다. 그들의 새로운 방법인 NAE는 실시간으로 학습 과정을 지켜보는 똑똑한 심판 역할을 합니다. NAE는 이미지를 개선하기 위해 로봇이 가야 할 방향이 어디인지 끊임없이 확인하고, 그 방향과 일치하는 학습 규칙을 즉각적으로 선택합니다. 이렇게 함으로써 NAE는 충돌을 막고 로봇이 그 어느 때보다 빠르고 효과적으로 학습하도록 도와, 고품질의 이미지, 분자, 그리고 데이터 패턴을 생성하며 새로운 기록을 세웁니다.

문제점: 두 개의 두뇌, 하나의 무질서한 춤

**정규화 흐름(Normalizing Flow)**을 마법의 터널이라고 생각해 보세요. 당신은 단순하고 지루한 찰흙 덩어리(무작위 노이즈)와 함께 터널로 들어가며, 터널을 지나가는 동안 찰흙은 뒤틀리고 회전하며 상세한 조각상(복잡한 이미지나 분자)으로 변합니다. 이것이 작동하려면 터널은 반드시 가역적(reversible)이어야 합니다. 즉, 조각상에서부터 정확히 원래의 찰흙 덩어리로 되돌아가는 길을 걸어갈 수 있어야 합니다.

오랫동안 과학자들은 이 가역성을 보장하기 위해 매우 구체적이고 경직된 형태(결합 층 등)를 사용하여 이 터널을 구축했습니다. 하지만 이는 마치 사각형 벽돌로만 터널을 만드는 것과 같았습니다. 안전하긴 했지만, 아주 흥미로운 모양을 만들 수는 없었습니다.

최근 연구자들은 다른 접근 방식을 시도했습니다. 바로 **플로 오토인코더(Flow Autoencoder)**입니다. 하나의 경직된 터널 대신, 두 개의 별도 기계를 만들었습니다:

1. 인코더(Encoder): 복잡한 조각상을 작은 비밀 코드로 압축하는 기계.
2. 디코더(Decoder): 그 코드를 가져와 조각상을 재건하는 기계.

만약 이 두 기계가 완벽한 반대라면, 가역적인 터널을 형성하게 됩니다. 문제는 이들을 학습시키는 것이 까별하다는 점입니다. 컴퓨터는 기계를 어떻게 변화시킬지 추정하기 위해 "손실 함수(loss function)", 즉 로봇이 얼마나 못하고 있는지를 알려주는 성적표를 사용합니다. 기존 방식은 두 가지 서로 다른 성적표(대리 함수, surrogates)를 사용했습니다. 하나는 인코더에 집중했고, 다른 하나는 디코더에 집중했습니다.

저자들은 인코더의 성적표는 잘 작동했지만, 디코더의 성적표가 종종 학습을 불안정하게 만든다는 것을 발견했습니다. 이는 마치 디코더에게는 제자리에서 돌라고 명령하면서, 인코더에게는 직선으로 달리라고 명령하는 것과 같았습니다. 로봇은 혼란에 빠졌고, 수학적 계산은 깨졌으며, 모델은 학습에 실패했습니다.

발견: "기울기 충돌(Conflicting Gradient)"의 미스터리

University of Hildesheim의 연구팀은 왜 이런 일이 발생하는지 알아내기 위해 수학적으로 깊이 파고들었습니다. 그들은 시스템의 목표가 두 가지라는 것을 깨달았습니다.

1. 재구성(Reconstruction): 로봇은 이미지를 압축했다가 다시 압축을 풀어 원래의 이미지를 얻을 수 있어야 합니다 (마치 완벽한 복사본처럼).
2. 우도(Likelihood): 로봇은 새로운 현실적인 샘플을 생성하기 위해 확률 분포(데이터의 "형태")를 학습해야 합니다.

그들은 "재구성" 목표가 인코더와 디코더를 정렬시키려는 숨겨진 힘으로 작용한다는 것을 발견했습니다. 그러나 기존의 학습 방식은 이 숨겨진 힘에 귀를 기울이지 않았습니다. 때때로 인코더의 성적표는 올바른 방향을 가리키지만, 디코더의 성적표는 잘못된 방향을 가리키기도 했습니다.

빗자루를 손 위에 세우려고 노력하는 상황을 상상해 보세요.

• 인코더 대리 함수는 당신에게 "손을 왼쪽으로 움직여!"라고 말하는 친구와 같습니다.
• 디코더 대리 함수는 "손을 오른쪽으로 움직여!"라고 말하는 또 다른 친구와 같습니다.
• **재구성 손실(Reconstruction Loss)**은 빗자루 그 자체이며, 자연스럽게 똑바로 서 있으려고 합니다.

저자들은 시스템의 현재 상태에 따라, 한 친구는 옳고 다른 친구는 틀릴 수 있다는 것을 증명했습니다. 만약 두 친구의 말을 맹목적으로 다 따른다면, 당신은 빗자루를 떨어뜨리게 될 것입니다. 기존 방식은 종종 틀린 친구의 말을 따랐고, 이는 불안정성을 초로 이어졌습니다.

해결책: 똑똑한 심판 (NAE)

이를 해결하기 위해 저자들은 **정규화 오토인코더(Normalizing AutoEncoder, NAE)**를 만들었습니다. 단순히 하나의 성적표나 다른 성적표를 맹목적으로 따르는 대신, NAE는 똑똑한 심판 역할을 합니다.

작동 방식은 다음과 같습니다:

1. 로봇은 데이터의 특정 부분("프로브", probe)을 살펴봅니다.
2. 인코더가 가고자 하는 방향과 디코더가 가고자 하는 방향을 각각 계산합니다.
3. 이 중 어떤 방향이 재구성(이미지를 다시 얻는 것)이라는 목표와 일치하는지 확인합니다.
4. 마법의 단계: NAE는 재구성 목표와 일치하는 성적표만을 동적으로 선택하고, 일치하지 않는 성적표는 무시합니다.

만약 인코더가 올바른 방향으로 밀고 있다면 NAE는 인코더의 성적표를 사용합니다. 만약 디코더가 올바른 방향으로 밀고 있다면, NAE는 디코더의 성적표로 전환합니다. 이는 마치 현재 플레이에 대해 어떤 코치가 옳은 지시를 내리는지 즉각적으로 판단하여, 다른 코치의 목소리를 잠재우는 심판과 같습니다.

이 "조건부 손실(Conditional Loss)"은 로봇이 결코 두 가지 상반된 방향으로 끌려가지 않도록 보장합니다. 이는 학습을 안정적이고 효율적으로 유지하여, 모델이 이전보다 훨씬 더 잘 데이터를 생성하는 복잡한 수학을 학습할 수 있게 합니다.

결과: 더 똑똑하고, 빠르고, 정확하게

저자들은 NAE가 정말 효과적인지 확인하기 위해 세 가지 매우 다른 유형의 데이터로 테스트를 진행했습니다.

1. 분자 생성 (화학)
그들은 약물을 위한 새로운 분자 구조를 생성하려고 시했습니다. 이 테스트에서 그들은 특정 위치에 원자가 놓일 확률을 모델링했습니다.

• 결과: NAE는 세 가지 테스트 데이터셋(DW4, LJ13, LJ55) 모두에서 최고의 점수(가장 낮은 음의 로그 우도)를 달성했습니다. NAE는 이전 방식들보다 더 안정적인 분자를 더 빠르게 생성했습니다. 예를 들어, LJ55 데이터셋에서 NAE는 -92.32의 점수를 기록하여 이전 최고 기록인 -89.27을 경신했습니다. 또한 단 7.5밀리초 만에 안정적인 분자를 생성했는데, 이는 몇 초 또는 몇 분이 걸렸던 다른 방식들에 비해 놀라울 정도로 빠른 속도입니다.

2. 표 형식 데이터 (스프레드시트)
그들은 에너지 소비량이나 입자 물리학 데이터와 같은 숫자로 이루어진 테이블을 나타내는 Power, Gas, HEPMASS와 같은 표준 AI 테스트 데이터셋을 사용했습니다.

• 결과: NAE는 네 가지 데이터셋 중 세 가지에서 이전 모델들을 능가했습니다. "Power" 데이터셋에서 NAE는 0.013의 점수를 얻었는데, 이는 이전 최고 기록인 0.041보다 현저히 낮고 우수한 수치입니다. 이는 NAE가 실제 데이터와 구별할 수 없을 정도로 현실적인 새로운 데이터 포인트를 생성할 수 있음을 의미합니다.

3. 이미지 (사진)
그들은 수천 명의 유명인 얼굴이 담긴 CelebA 데이터셋을 사용하여 테스트했습니다.

• 결과: NAE는 (표준 정규 분포를 사용하여) FID 점수 45.7을 기록하며 테스트된 모델 중 가장 좋은 성적을 냈습니다. 이 점수는 생성된 이미지가 얼마나 현실적인지를 측정하며, 숫자가 낮을수록 좋습니다. 생성된 이미지는 선명하고 식별 가능했으며, 이는 모델이 고차원의 시각적 데이터를 처리할 수 있음을 입증했습니다.

이것이 중요한 이유

이 논문은 단순히 "이것이 더 잘 작동한다"라고 말하는 데 그치지 않고, "왜 기존 방식이 실패했는지"를 설명합니다. 방정식의 한쪽(인코더 또는 디코더)만을 사용하여 이러한 모델을 학습시켜서는 안 된다는 것을 증명합니다. 둘 다 필요하지만, 적절한 시점에 사용해야 합니다.

저자들은 이 새로운 방법이 더 유연하고 강력한 AI의 문을 열어줄 것이라고 제안합니다. NAE는 과거의 경직된 특수 구조를 요구하지 않기 때문에, 범용적인 신경망을 그대로 사용할 수 있습니다. 이는 의료 영상부터 금융 기록에 이르기까지 거의 모든 종류의 데이터에 맞춤형 엔진을 새로 만들 필요 없이 적용될 수 있음을 의미합니다.

요약하자면, 이 논문은 유망하지만 불안정했던 아이디어(플로 오토인코더)를 가져와, 그것이 왜 실패했는지(충돌하는 학습 신호) 정확한 이유를 찾아내고, 이를 간단하고 영리한 스위치(조건부 손실)로 해결했습니다. 그 결과, NAE는 안정적일 뿐만 아니라 새로운 현실적인 데이터를 생성하는 능력에서 새로운 기록을 세우는 생성 모델이 되었습니다.