위대한 이미지 퍼즐: 고된 노동은 어디에서 일어나는가?

당신이 로봇에게 고양이 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 생생한 픽셀, 즉 화면을 구성하는 수백만 개의 작은 빨강, 초록, 파랑 점들을 보여줄 수도 있습니다. 또는 만화 같은 윤곽선처럼 단순화된 스케치를 줄 수도 있습니다. 혹은 "폭신폭신한", "수염", "야옹"과 같은 추상적인 아이디어 목록을 건네주며 나머지는 스스로 알아서 하라고 할 수도 있습니다. 이것이 바로 컴퓨터가 무에서 유를 창조하는 법을 배우는 생성형 AI의 세계입니다.

오랫동안 과학자들은 로보트가 학습하는 데 사용하는 '언어'가 그리 중요하지 않다고 생각했습니다. 그들은 만약 사진을 숫자 목록으로 바꾸는 좋은 번역기(인코더)와 그 숫자들을 다시 사진으로 바꾸는 좋은 번역기(디코더)가 있다면, 어떤 숫자 목록을 주더라도 로봇은 똑같은 방식으로 배울 수 있다고 가정했습니다. 이는 마치 학생에게 영어나 스페인어, 혹은 비밀 암호로 가르치더라도 선생님만 훌륭하다면 수학을 똑같이 잘 배울 것이라고 생각하는 것과 같았습니다.

하지만 이 논문은 까다로운 질문을 던집니다: 그림을 그리는 데 필요한 실제 어려움은 어디에 숨어 있는가? 어려운 부분이 큰 그림(문맥, context)을 파악하는 것인가, 아니면 단순히 작은 디테일(국소적 노이즈, local noise)을 채워 넣는 것인가? 저자들은 로봇이 사용하는 '언어'를 바꿨을 때, 로봇의 두뇌 에너지가 어디로 향하게 되는지를 확인하고 싶었습니다. 그들은 단순히 추측만 한 것이 아니라, 매우 유연한 단일 로봇을 구축하여 이 로봇이 네 가지 서로 다른 언어를 배우도록 만들어 어떤 언어가 작업을 가장 쉽게 만드는지 실험했습니다.

---

실험: 하나의 로봇, 네 가지 언어

연구진은 **마스크드 자기회귀 정류 흐름 생성기(masked autoregressive rectified-flow generator)**라는 이름의 통일된 로봇 모델을 사용하여 거대한 실험을 설계했습니다. 이름이 매우 길으니, 간단한 게임으로 설명해 보겠습니다.

16x16 격자 타일을 상상해 보세요. 거대한 스도쿠 판 같습니다. 로봇의 임무는 빈 타일을 채워 고양이 그림을 완성하는 것입니다. 하지만 여기에는 함정이 있습니다. 로봇은 한 번에 몇 개의 타일만 볼 수 있습니다. 로봇은 보이는 타일들을 바탕으로 보이지 않는 타일들이 어떻게 생겼을지 추측해야 합니다. 공정한 비교를 위해, 팀은 이 동일한 로봇에게 모든 256x256 픽셀 이미지를 설명하는 네 가지 서로 다른 '언어'를 부여했습니다.

1. Raw Pixels (생 픽셀): 로봇은 이미지의 실제, 무질서하고 다채로운 점들을 봅니다.
2. SD-VAE Latents (SD-VAE 잠재 변수): 로봇은 이미지를 압축하여 '스케치'한 버전, 즉 세부 사항이 뭉쳐져 있는 저해상도 그림과 같은 형태를 봅니다.
3. DINOv2 Features (DINOv2 특징): 로봇은 똑똑하게 사전 학습된 뇌로부터 추출된 "아이디어"나 "의미론적 개념"(예: "털의 질감" 또는 "눈의 모양")의 목록을 봅니다.
4. MAE Features (MAE 특징): 또 다른 아이디어 목록이지만, 이 방식은 지저분한 버전으로부터 원래의 그림을 재구성하는 데 특화되도록 훈련되었습니다.

팀은 이 네 가지 버전의 로봇을 모두 동일한 대규모 데이터셋(ImageNet)으로 훈련시켰으며, 컴퓨터 시간과 에너지도 정확히 동일하게 사용했습니다. 그들은 알고 싶었습니다: 어떤 언어가 로봇을 가장 빠르게 학습시키는가? 어떤 언어가 가장 좋은 그림을 만드는가? 그리고 가장 중요한 것은, 로봇이 어디에서 가장 힘들어하는가?

놀라운 반전: 데이터가 얼마나 '깨끗한가'의 문제가 아니다

당신은 로봇이 가장 '깨끗하거나' '충실한' 언어를 사용할 때 가장 잘할 것이라고 생각할지도 모릅니다. 고양이를 그리고 싶다면, 고cat에 대한 가장 정확한 묘사가 필요하지 않을까요? 연구진은 로봇이 비밀 언어를 다시 사진으로 얼마나 완벽하게 되돌릴 수 있는지, 즉 **재구성 충실도(reconstruction fidelity)**를 통해 이를 테스트했습니다.

여기 반전이 있습니다: 사진을 가장 잘 재구성하는 로봇이 새로운 사진을 가장 잘 생성하는 로봇은 아니었습니다.

• MAE 언어는 재구성에 가장 뛰어났습니다. 이 방식은 메모를 사진으로 되돌릴 때 놀라운 디테일을 보여주었습니다 (LPIPS 점수 0.11). 하지만 새로운 이미지를 생성하라는 요청을 받았을 때는 성능이 저조했습니다.
• DINOv2 언어는 재구성 능력 자체는 오히려 더 떨어졌습니다 (LPIPS 0.255). 사진으로 되돌릴 때 일부 미세한 디테일을 놓쳤습니다. 하지만, 아름다운 새로운 이미지를 생성하는 데 있어서는 DINOv2가 경쟁자들을 압도했습니다. DINOv2는 다른 방식들보다 훨씬 빠르게 환상적인 점수(FID 6.43)에 도달했습니다.

이는 어떤 언어가 이미지를 완벽하게 설명하는 데 좋다고 해서, 그것이 반드시 생성하는 데에도 좋은 것은 아님을 증명합니다. 학습을 위한 '최고의' 언어는 모든 픽셀을 완벽하게 유지하는 언어가 아니라, 이미지의 '이야기'를 이해하도록 정보를 조직하는 언어입니다.

어려움은 어디에 숨어 있는가?

이 논문의 주요 발견은 언어를 바꾸는 것이 단순히 데이터를 바꾸는 것이 아니라, 로봇의 뇌 중 어느 부분에 어려움을 몰아주는가를 결정한다는 것입니다.

1. "문맥(Context)" 대 "디테일(Detail)"의 트레이드오프
로봇의 뇌를 두 부분으로 나누어 생각해 봅시다: 문맥 뇌(보이는 타일들을 보고 큰 그림을 파악하는 곳)와 디테일 뇌(숨겨진 타일의 구체적인 색상을 추측하는 곳)입니다.

• DINOv2의 경우: "문맥 뇌"의 일이 쉬웠습니다. DINOv2 토큰은 고차원적인 아이디어(예: "이것은 고양이의 얼굴이다")로 가득 차 있기 때문에, 로봇은 단 몇 개의 타일만 보여도 매우 빠르게 큰 그림을 파악할 수 있었습니다. 어려움은 완전히 디테일 뇌로 옮겨갔습니다. 로봇은 768차원의 아이디어 토큰을 실제 이미지로 그려내기 위해 매우 강력하고 넓은 "디테일 뇌"를 필요로 했습니다.
• Raw Pixels의 경우: "문맥 뇌"가 고전했습니다. 몇 개의 무작위 색상 점을 보는 것만으로는 전체 고양이를 알 수 없습니다. 로봇은 전체 그림을 추측하기 위해 엄청나게 많은 노력을 기울여야 했습니다. 어려움은 문맥 부분에 머물러 있었고, 로봇은 더 많은 시간과 컴퓨팅 파워를 필요로 했습니다.

2. "원스텝(One-Step)"의 마법
가장 흥러운 발견 중 하나는 로봇이 작업을 얼마나 빨리 끝낼 수 있는가에 관한 것이었습니다.

• DINOv2 로봇은 단 **한 번의 단계(one single step)**만으로도 알아볼 수 있는 이미지를 생성할 수 있었습니다 (마치 한 번에 정답을 맞히는 것처럼 말이죠).
• Pixel과 SD-VAE 로봇은 한 번의 단계로 시도하면 무너졌습니다. 이들은 이미지를 서서히 정교하게 만들기 위해 아주 많은 단계가 필요했습니다.
  이는 DINOv2의 언어가 매우 잘 조직되어 있어 로봇이 곧바로 정답으로 뛰어들 수 있게 하는 반면, 다른 언어들은 로봇이 느리고 구불구불한 길을 걷게 만든다는 것을 시사합니다.

3. 가이던스의 함정 (The Guidance Trap)
연구진은 **분류기 없는 가이던스(Classifier-Free Guidance)**라는 기법도 테스트했습니다. 이는 로봇에게 부드러운 힌트를 주어("고양이처럼 보이게 해줘!") 그림을 개선하도록 유도하는 것과 같습니다.

• SD-VAE와 Pixels: 이 로봇들은 힌트를 매우 좋아했습니다. 힌트 없이는 그림이 흐릿하거나 이상했습니다. 강한 가이던스를 주면 훨씬 좋아졌습니다.
• DINOv2: 이 로봇은 오히려 힌트를 받으면 성능이 저하되었습니다. 이미 스스로 너무 잘하고 있었기 때문에 추가적인 유도는 오히려 혼란을 주었습니다.
  이는 모든 로봇에게 똑같은 "보조 바퀴"를 사용할 수는 없음을 보여줍니다. 하나에 도움이 되는 것이 다른 것에는 해가 될 수 있습니다.

이것이 미래에 의미하는 바

이 논문은 우리가 단순히 데이터가 얼마나 "압축"되었는지나 얼마나 "충실"한지에 따라 언어를 선택해서는 안 된다고 결론짓습니다.

• 압축 (데이터를 작게 만드는 것)이 학습을 더 쉽게 보장하지는 않았습니다.
• 재구성 품질 (이미지를 얼마나 잘 재건하는가)은 새로운 이미지를 얼마나 잘 만들 수 있는지를 예측하지 못했습니다.
• 토큰 크기 (이미지의 한 부분을 설명하는 숫자의 개수) 역시 중요하지 않았습니다. DINOv2와 Pixels 모두 768개의 숫자를 사용했지만, DINOv2가 훨씬 빨랐습니다.

대신, 언어의 선택은 업무량을 재분배합니다. 그것은 로봇이 큰 그림을 이해하는 데 힘을 쓸 것인지, 아니면 작은 디테일을 그리는 데 힘을 쓸 것인지를 결정합니다. "최고의" 언어는 로봇이 가장 잘 처리할 수 있는 부분으로 힘든 일을 옮겨주는 언어입니다.

요약하자면, 로봇에게 그림 그리는 법을 가르치고 싶다면 단순히 가장 정확한 사전을 주는 것에 그치지 마십시오. 로봇의 뇌가 올바른 종류의 사고에 집중할 수 있도록, 이미지의 이야기를 들려주는 언어를 주십시오. 이 특정 설정에서 그 언어는 DINOv2였으며, 이것이 빠르고 고품질의 이미지 생성을 가능하게 한 비결이었습니다.