당신에게 상상하는 무엇이든 믿기지 않을 정도로 사실적인 그림을 그려낼 수 있는 마법의 붓이 있다고 상상해 보세요. 소용돌이치는 폭풍, 웃는 얼굴, 혹은 뇌 속에서 뉴런이 발화하는 모습 같은 것들 말이죠. 이것이 바로 현대의 "확산 모델(diffusion models)"이 하는 일입니다. 이들은 세상의 모든 요리를 맛본 뒤, 설명만 듣고도 완벽한 복제품을 만들어낼 수 있는 숙련된 요리사들과 같습니다. 하지만 여기에는 함정이 있습니다. 이 요리사들은 요리는 기가 막히게 잘하지만, 정작 레시피를 이해하지는 못합니다. 만약 당신이 찌푸린 표정을 서서히 미소로 바꾸거나, 잔잔한 강물이 격동하는 모습으로 변하는 과정을 보여달라고 요청한다면, 그들은 종-종 혼란에 빠집니다. 그들은 단순히 두 그림을 뭉쳐버려 중간에 흐릿하고 이상한 덩어리를 만들어내곤 하는데, 이는 그들의 내부 "주방"(아이디어를 저장하는 수학적 공간)이 모든 것이 뒤섞인 거대하고 무질서한 창고이기 때문입니다.

과학자들은 이 요리사들에게 더 나은 지도를 제공함으로써 이 문제를 해결하려고 노력해 왔습니다. 그들은 한 방향으로 움직이는 것이 항상 "더 행복해지는 것"이나 "더 빨라지는 것"을 의미하도록 그 무질서한 창고를 정리하고 싶어 합니다. 핵심적인 질문은 이것입니다. 과연 우리는 AI 요리사들에게 그림 그 자체가 아니라, 그 그림 뒤에 숨겨된 '이야기'를 이해하도록 가르칠 수 있을까요? 이 논문은 그 문제를 해결하기 위해, 요리사의 주방을 정리하는 새로운 방법을 소개하며, 혼란스러운 저장실을 모든 책이 움직임과 변화에 따라 정확한 위치에 놓여 있는 깔끔하고 체계적인 도서관으로 탈바꿈시키는 방법을 다룹니다.

---

문제점: 어지러운 다락방

표준적인 AI 이미지 생성기를 수백만 개의 상자가 가득 찬 거대하고 첨단 기술이 집약된 다락방이라고 생각해 보세요. 각 상자 안에는 그림이 들어 있습니다. 문제는 상자들이 무작위로 쌓여 있다는 점입니다. 만약 당신이 고양이가 서서히 개로 변하는 그림을 찾고 싶다면, 단순히 직선 통로를 따라 걸어갈 수 없습니다. 상자들을 뛰어넘어야 할 수도 있으며, 두 그림을 섞으려고 시도할 때 결과물은 종종 기괴하고 흐릿한 괴물이 되곤 합니다. AI는 고양이가 어떻게 생겼는지, 개가 어떻게 생겼는지는 알지만, 내부 지도가 너무 무질서하고 고차원적이어서 쉽게 항해할 수 없기 때문에 두 그림 사이를 부드럽게 전환하는 방법은 알지 못합니다.

해결책: ConDA (마법의 정리 전문가)

이 논문의 저자들은 ConDA(Contrastive Diffusion Alignment)라고 불리는 새로운 도구를 소개합니다. ConDA를 그 어지러운 다락방에 들어와 모든 것을 재정리하는 아주 똑똑한 사서라고 상상해 보세요.

ConDA는 상자들을 거대한 더미로 내버려 두는 대신, 그림들을 가져와 작고 깔끔한 저차원 공간으로 분류합니다. 이 새로운 방에서 상자들은 특정 규칙에 따라 배치됩니다: 바로 시간에 따라 또는 서로 다른 조건 하에서 어떻게 변하는가라는 규칙입니다.

• 만약 강의 영상이 있다면, ConDA는 방 안에서 한 단계 앞으로 이동하는 것이 물의 흐ের 속도가 조금 더 빨라지는 것을 의미하도록 상자들을 정렬합니다.
• 만약 얼굴 영상이 있다면, 오른쪽으로 이동하는 것은 미소가 넓어지는 것을 의미하고, 위로 이동하는 것은 눈썹이 높아지는 것을 의미합니다.

이 마법의 비결은 ConDA가 "대조 학습(contrastive learning)"을 사용한다는 점입니다. 이것을 "뜨겁다, 차갑다" 게임이라고 생각해 보세요. 사서는 두 장의 사진을 봅니다. 하나는 사람이 웃고 있는 사진이고, 다른 하나는 찌푸리고 있는 사진입니다. 사서는 이 두 상자가 서로 멀리 떨어져 있어야 한다는 것을 배웁니다. 그다음, 똑같은 미소를 가진 두 장의 사진을 보고, 그 상자들은 서로 가까이 있어야 한다는 것을 배웁니다. 이 게임을 수백만 번 반복함으로써, 사서는 이미지들이 정확히 어떻게 다른지를 알려주는 완벽한 지도를 구축합니다.

작동 원리: 2단계 댄스

논문은 AI가 만드는 아름다운 그림을 망치지 않으면서 이 작업을 수행하기 위한 영리한 2단계 과정을 설명합니다.

1. 편집 (도서관 안에서): 먼저, 사용자는 깔끔하게 정리된 도서관(저차원 공간)으로 들어갑니다. 여기서 사용자는 찌푸린 표정에서 미소로, 혹은 잔잔한 강에서 폭풍우 치는 강으로 가는 매끄러운 경로를 쉽게 그릴 수 있습니다. 도서관이 매우 잘 정리되어 있기 때문에, 단순한 수학적 도구(곡선을 그리는 것과 같은)를 사용하여 다음 그림이 어떻게 보여야 할지 정확히 예측할 수 있습니다.
2. 렌더링 (다락방으로 돌아가기): 도서관에서 경로가 그려지면, ConDA는 그 새로운 좌표를 가지고 다시 어지러운 다락방으로 가져옵니다. ConDA는 새로운 경로와 가장 가까운 실제 상자들을 찾아내어 원래의 AI 셰프에게 최종 그림을 그리라고 요청합니다. 이를 통해 결과물은 여전히 고품질의 사실적인 이미지를 유지하면서도, 사용자가 그린 매끄러운 경로를 따르게 됩니다.

연구 결과: 더 부드럽고, 더 똑똑하며, 더 사실적인

연구진은 이 아이디어를 다섯 가지 매우 다른 유형의 데이터에 대해 테스트했으며, 결과는 인상적이었습니다:

• 유체 역학 (물의 흐름): 실린더 주변으로 흐르는 물을 시뮬레이션했을 때, 기존 방식은 물이 글리치(오류)가 나거나 튀는 것처럼 보이게 했습니다. ConDA를 사용하자 물이 실제처럼 부드럽게 흘렀습니다. 이미지는 훨씬 더 선명했으며, 품질 점수(PSNR)는 기존 방식의 28.3에 비해 35.7을 기록했습니다.
• 신경 활동 (뇌 신호): 이들은 생쥐의 뇌에서 뉴런이 발화하는 기록을 살펴보았습니다. 새로운 방식은 뇌 활동이 시간에 따라 어떻게 변하는지를 훨씬 더 정확하게 예측하여, 뚝뚝 끊기는 슬라이드 쇼가 아닌 뇌가 생각하는 모습을 담은 부드러운 영화를 만들어냈습니다.
• 얼굴 표정: 인간의 얼굴을 대상으로 테스트했습니다. 기존 방식은 종종 사람의 얼굴을 왜곡하거나 미소 짓는 동안 정체성을 변화시키곤 했습니다. ConDA는 사람이 본인임을 유지하면서도 표정을 부드럽게 전환했습니다.
• 치료적 자극: 심지어 자기장이 치료 중에 뇌에 어떻게 영향을 미치는지 모델링하는 데에도 사용되었습니다. 새로운 방식은 자기 코일의 각도를 변경하는 것이 뇌에 미치는 영향을 어떻게 변화시키는지 정확하게 보여줄 수 있었으며, 이는 의사들이 더 나은 치료 계획을 세우는 데 도움을 줍니다.

한계점

이 논문은 ConDA가 하지 못하는 것에 대해서도 주의 깊게 명시하고 있습니다. ConDA는 AI가 이미 알고 있는 이미지를 생성하는 새로운 방법을 발명하는 것이 아니라, 단지 그것들을 정리하는 것뿐입니다. 또한, 구축된 "도서관"이 일종의 단순화된 모델이라는 점도 인정합니다. 방대한 양의 정보를 작은 공간으로 압축하기 때문에 모든 세부 사항에 대해 완벽할 수는 없지만, 데이터의 움직임과 변화를 이해하는 데에는 완벽합니다.

이것이 중요한 이유

이 연구는 우리가 이미 가지고 있는 강력한 AI 셰프들을 버릴 필요가 없다는 것을 시사합니다. 대신, 그들에게 더 나은 지도를 주면 됩니다. 이 AI 모델들이 살아가는 숨겨진 공간을 정리함으로써, 우리는 마침내 그들을 제어할 수 있습니다. 우리는 그들에게 "만약 이 강이 더 빨리 흐른다면?" 또는 "만약 이 환자가 다른 유형의 뇌 자극을 받는다면?"과 같은 "만약(what if?)" 시나리오를 보여달라고 요청할 수 있으며, 명확하고 부드러우며 사실적인 답변을 얻을 수 있습니다. 이것은 단순히 추측만 하는 블랙박스를 우리가 실제로 조종할 수 있는 도구로 바꿔놓습니다.