당신이 로봇에게 고양이 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 단순히 사진 한 장을 건네주는 것이 아니라, TV 채널이 맞지 않을 때 나오는 것 같은 정적 노이즈로 가득 찬 캔버스에서 시작합니다. 로봇의 임무는 픽셀 하나하나를 천천히 닦아내어 완벽한 고양이가 나타나게 하는 것입니다. 이것이 바로 놀라운 이미지를 만들어내는 것으로 유명해진 인공지능의 한 종류인 "확산 모델(diffusion models)"이 작동하는 방식입니다. 하지만 여기서 중요한 질문이 생깁니다. 로봇은 지침을 어디에 보관할까요? 로봇은 그 지저큼한 노이즈를 어떻게 특정 고양이, 강아지, 혹은 풍경화로 바꿀지 알기 위해 자신의 뇌 속에 엄청난 양의 "지식"을 저장해야 합니다.

이를 이해하기 위해 우리는 두 가지 서로 다른 종류의 정보에 대해 생각해야 합니다. 첫째는 **의미론적 정보(semantic information)**입니다. 이는 "이것은 고양이가 아니라 강아지다"라고 로봇에게 알려주는 거시적인 아이디어입니다. 이것은 "무엇(what)"에 관한 것입니다. 둘째는 **지각적 정보(perceptual information)**입니다. 이는 털의 질감, 귀의 구체적인 곡선, 코에 빛이 닿는 방식처럼 강아지를 진짜처럼 보이게 만드는 아주 작고 복잡한 디테일들입니다. 이것은 "어떻게(how)"에 관한 것입니다. 오랫동안 과학자들은 로봇의 뇌 중 어느 정도가 '무엇'을 그릴지 아는 데 할애되고, 어느 정도가 그것을 얼마나 선명하게 '어떻게' 만들지에 할애되는지 궁금해했습니다. 로봇은 개념을 생각하는 철학자인가요, 아니면 미세한 디테일에 집착하는 초집중 예술가인가요?

Akhil Premkumar가 작성한 이 논문은 이 질문에 답하기 위해 로봇의 뇌 속을 파헤칩니다. 저자는 로봇이 노이즈를 그림으로 바꾸기 위해 얼마나 많은 노력을 들여야 하는지 측정하는 영리한 방법(정보량을 세는 것과 같습니다)을 사용하여 로봇의 주의가 어디에 집중되어 있는지 살펴봅니다. 연구 결과는 다소 놀랍습니다. 로봇은 거의 모든 에너지를 아주 작고 지루한 디테일에 쏟아붓고 있으며, 거시적인 아이디어에는 아주 적은 공간만을 남겨둡니다. 고양이와 강아지를 구분하는 데 드는 노력은 사실 실감 나는 그림을 그리는 데 필요한 작업량에 비하면 아주 작은 부분에 불과하다는 것이 밝혀졌습니다. 이 발견은 이 로봇들이 지침을 더 잘 따르도록 만드는 기술(가이던스라고 불리는 것)이 왜 그런 방식으로 작동하는지를 설명해주며, 로봇의 뇌가 매우 구체적이고 층위적인 방식으로 구조화되어 있음을 시사합니다.

거대한 분리: 거시적 아이디어 vs 미세한 디테일

논문은 이러한 모델들이 어떻게 훈련되는지를 살펴보는 것으로 시작합니다. 로봇이 "매니폴드(manifold)"의 형태를 배우려고 노력한다고 상상해 보세요. 쉬운 말로 매니폴드는 거대하고 텅 빈 방 안에 떠 있는, 구겨진 종이 한 장과 같습니다. 고양이에 대한 가능한 모든 그림은 그 구겨진 종이 어딘가에 존재합니다. 로봇의 임무는 그 종이를 찾아내고 그 위에 머무는 것입니다.

저자는 로봇이 성공하기 위해 매우 다른 두 가지 일을 해야 한다고 주장합니다.

1. 종이를 찾기: 그림이 "강아지" 종이나 "무작위 노이즈" 종이가 아닌, 특정한 "고양이" 종이에 속한다는 것을 파악해야 합니다. 이것이 의미론적(semantic) 부분입니다.
2. 종이 위에 머물기: 일단 종이 위에 올라가면, 털의 질감과 눈의 색깔을 정확하게 만들기 위해 미세한 주름과 접힘을 따라 움직여야 합니다. 이것이 지각적(perceptual) 부분입니다.

논문의 주요 발견은 로봇이 두 번째 작업에 압도적으로 집착한다는 것입니다. 이미지 생성의 세계에서 "정보 예산(information budget, 모델이 사용하는 총 뇌 용량)"은 거의 전적으로 디테일을 제대로 구현해야 한다는 필요성에 의해 소비됩니다. 수학적으로 볼 때, 고양이와 강아지를 구별하는 데 필요한 정보(의미론적 부분)는 털이 진짜처럼 보이게 만드는 데 필요한 정보(지각적 부분)에 비해 아주 미미합니다.

이를 증명하기 위해 저자는 단순한 도형을 이용한 토이 모델을 사용한 다음, 손글씨 숫자(MNIST)나 작은 사물 사진(CIFAR-10) 같은 실제 이미지로 넘어갑니다. 그들은 이 이미지 모델들에서 "신경 엔트로피(neural entropy, 네트워크가 정보를 얼마나 저장하는지 측정하는 세련된 방식)"가 매우 크다는 것을 발견했습니다. 그러나 "상호 정보량(mutual information, 이미지와 레이블 사이의 구체적인 연결, 예: '고양이')"은 놀라울 정도로 작았습니다. 실제로 CIFAR-10과 같은 데이터셋의 경우, 저장된 총 정보량은 단순히 클래스 레이블을 아는 데 필요한 정보보다 수천 배나 더 큽니다.

정보의 "직교성(Orthogonality)"

이 논문은 멋진 시각적 은유를 사용하여 이를 설명합니다. 고양이 매니폴드가 방 안에 떠 있는 길고 얇은 리본이라고 상상해 보세요.

• 의미론적 정보는 당신이 어느 리본 위에 있는지를 아는 것과 같습니다. 이것은 당신에게 "강아지" 리본 대신 "고양이" 리본에 머물기 위해 왼쪽이나 오른쪽으로 움직이라고 알려줍니다.
• 지각적 정보는 당신이 그 리본을 따라 정확히 어디에 있는지를 아는 것과 같습니다. 이것은 수염을 제대로 만들기 위해 어떻게 비틀고 회전해야 하는지를 알려줍니다.

저자는 이 두 종류의 정보가 "직교(orthogonal)"하며, 즉 완전히 다른 방향에서 작동한다는 것을 보여줍니다. 로봇은 리본을 따라 비틀고 회전하는 법(디테일)을 배우는 데 대부분의 시간과 에너지를 쓰는 반면, "고양이" 리본을 가리키는 방향은 훨씬 더 작은 별개의 작업입니다.

이는 AI 이미지가 텍스트 프롬프트에 더 잘 부합하도록 만드는 인기 있는 기술인 **분류기 없는 가이던스(Classifier-Free Guidance, CFG)**를 설명해 줍니다. CFG를 사용할 때, 당신은 본질적으로 로봇에게 "노이즈는 무시하고, 레이블에 집중해!"라고 말하는 것입니다. 논문은 이 가이던스 벡터(지침)가 프로세스 초기 단계에서 의미론적 신호를 증폭시키기 때문에 이 기술이 작동한다고 제안합니다. 이는 로봇이 올바른 리본을 빠르게 찾도록 도와줍니다. 하지만 로봇이 프로세스의 끝에 가까워지면, 레이블에 대한 경청을 멈추고 디테일을 채우는 데 온전히 집중해야 합니다. 만약 끝까지 레이블에 너무 과하게 집중한다면 질감이 망가질 것입니다. 논문은 가이던스 효과가 디테일을 채워나감에 따라 자연스럽게 "점차 줄어든다(tapers out)"는 것을 보여주며, 이것이 왜 이 기술이 잘 작동하는지를 설명합니다.

"확산 오토인코더(Diffusion Autoencoder)" 실험

이 분리를 실제로 확인하기 위해, 저자는 "확산 오토인코더"라는 특별한 실험을 구축했습니다. 그림을 그리기만 하는 것이 아니라, 먼저 그림을 비밀 코드(잠재 변수)로 압축한 다음 다시 그려내는 로봇을 상상해 보세요. 저자는 이 코드를 두 부분으로 나누었습니다.

• Z_sem (의미론적 코드): 이 코드는 이미지가 아직 매우 노이즈가 심한 상태(프로세스 초기)일 때만 그림을 "볼" 수 있습니다.
• Z_per (지각적 코드): 이 코드는 이미지가 거의 완성되었을 때(프로세스 후기)만 그림을 "봅".

이 코드들이 무엇을 학습했는지 살펴보았을 때, 결과는 명확했습니다. Z_sem 코드(초기 코드)는 이미지를 클래스별로 그룹화하는 법을 배웠습니다. 만약 어떤 강아지 사진에 대한 "Z_sem" 코드를 본다면, 그것은 고양이의 코드와 매우 다르게 보일 것입니다. 그것은 거시적인 아이디어를 알고 있었습니다.

하지만 Z_per 코드(후기 코드)는 이야기가 달랐습니다. 그것은 이미지가 고양이인지 강아지인지에 대해 별로 신경 쓰지 않았습니다. 대신, 그것은 질감에 집착했습니다. 고양이와 강아지의 "Z_per" 코드는 서로 매우 비슷해 보였는데, 이는 픽셀들이 모이는 방식과 같은 미세한 디테일은 이미지가 무엇이든 상관없이 거의 동일하기 때문입니다. 논문은 "Z_per" 코드가 클래스 레이블에 대한 정보를 거의 포함하고 있지 않다는 것을 발견했습니다. 그것은 순수하게 이미지의 "결(grain)"에 관한 것이었습니다.

이는 논문의 핵심 논지를 확인시켜 줍니다. 로봇은 이미지가 흐릿하고 큰 형태가 보이는 초기 단계에서 "무엇(what)"을 배웁니다. 하지만 이미지를 실감 나게 만드는 미세하고 고주파적인 디테일을 해결해야 하는 마지막 단계에서, 디테일(how)을 배우는 데 압도적인 시간과 메모리를 사용합니다.

이것이 왜 중요한가

이 논문은 단순히 로봇이 어떻게 생각하는지를 알려주는 데 그치지 않고, 왜 어떤 것은 작동하고 어떤 것은 그렇지 않은지를 설명합니다. 예를 들어, 단계를 줄임으로써(증류/distillation이라 불리는 과정) 로봇을 더 빠르게 작동시키려 한다면, 미세한 디테일을 잃을 수도 있다는 점을 시사합니다. 왜 그럴까요? 로봇이 매니폴드의 미세한 주름을 해결하기 위해서는 마지막의 높은 노력이 필요한 단계들이 필요하기 때문입니다. 이 단계들을 건너뛰면, 로봇이 지각적 디테일을 처리하는 힘든 작업을 수행하지 못했기 때문에 이미지는 흐릿해집니다.

또한, 이는 "가이던스" 기술에 한계가 있는 이유를 설명합니다. 로봇이 지침을 더 잘 따르도록 가이던스 노브를 계속 높일 수는 없습니다. 그렇게 하면, 로봇이 질감을 만드는 힘든 작업을 잊어버릴 정도로 레이블에 너무 집중하게 만들거나, 레이블 자체가 모든 픽셀을 설명할 수 있는 충분한 정보를 담고 있지 않기 때문에 이미지를 왜곡할 수 있습니다. 논문은 로봇의 뇌가 이러한 작업들을 분리하도록 자연스럽게 구조화되어 있으며, 이들을 한꺼번에 혹은 잘못된 순서로 강제하려고 하면 그 마법이 깨질 수 있다고 제안합니다.

결국, 이 논문은 확산 모델을 꽃잎 하나의 완벽한 푸른 색조를 섞는 데 99%의 시간을 쓰고, 그 그림이 나무가 아니라 꽃이라는 것을 결정하는 데는 단 1%의 시간만 쓰는 숙련된 화가에 비유하여 그려냅니다. "무엇"은 쉽습니다. "어떻게"가 바로 진짜 힘든 작업이 일어나는 곳입니다.