컴퓨터가 단순히 사진을 '보고' 문장을 '읽는' 것을 넘어, 사진, 문장, 깊이 지도, 그리고 가장자리 스케치가 모두 동일한 현실을 설명하는 서로 다른 언어라는 것을 이해하는 세상을 상상해 보십시오. 오랫동안 인공지능은 하나의 방언만을 구사하는 전문가와 같았습니다. 어떤 모델은 이야기를 쓰는 데는 뛰어나지만 그림을 그리는 데는 서툴 수 있고, 사물을 인식하는 데는 탁월하지만 그것들이 얼마나 멀리 떨어져 있는지는 전혀 모를 수도 있습니다. 과학자들은 이러한 서로 다른 데이터 유형, 즉 '모달리티(modalities)'를 위한 '보편적 번역기'를 구축하기 위해 노력해 왔습니다. 즉, 하나의 뇌가 별도의 번역기 없이도 이 모든 언어 사이를 능숙하게 전환할 수 있도록 만드는 것입니다. 큰 과제는 하나의 뇌가 모든 언어를 유창하게 말할 수 있도록 가르치되, 각 언어의 쌍마다 별도의 번라기를 필요로 하지 않도록 하는 것이었습니다.

여기에 다국어 구사자(polyglot)처럼 행동하는 새로운 종류의 AI 모델인 MODUS가 등장했습니다. 연구진은 서로 다른 작업을 위한 다양한 부품을 가진 거대하고 투박한 기계를 만드는 대신, '디코더 전용(decoder-only)' 뇌를 구축했습니다. 이것을 이야기꾼에 비유해 본다면, 그 이야기꾼은 어떤 언어로 이야기가 전달되든 그 이야기를 듣고 나서 이야기를 이어가는 사람과 같습니다. 사진, 텍스트 설명, 깊이 지도(사물이 얼마나 멀리 있는지 보여주는 것), 또는 가장자리 스케치를 입력하더라도, MODUS는 이 모든 것을 단일하고 연속적인 토큰(문장의 단어와 같은 것)의 흐 흐름으로 취급합니다. 이 모델은 깊이를 위한 특별한 도구나 텍스트를 위한 특별한 도구가 필요하지 않습니다. 그저 시퀀스의 다음 내용을 예측할 뿐입니다. 이는 모델이 사진을 받아 깊이 지도를 생성하거나, 깊이 지도를 받아 사진을 생성하거나, 혹은 사진 → 가장자리 → 깊이 → 새로운 사진과 같이 이들을 하나로 연결하여 생성할 수 있음을 의미합니다. 논문은 이 접근 방식이 놀라울 정도로 잘 작동하며, 단일하고 통합된 아키텍처를 사용하면서도 자기 검증(self-verification)이나 여러 단계를 거친 일관된 이미지 생성과 같은 복잡한 작업을 수행할 수 있음을 보여줍니다.

다국어 뇌: MODUS의 작동 원리

이야기를 아주 잘하는 친구가 있다고 상상해 보십시오. 고양이 사진을 주면 그 친구는 고양이를 묘사할 수 있습니다. 고양이에 대한 설명을 주면 그 친구는 고양이를 그려낼 수 있습니다. 이제 그 똑같은 친구가 고양이가 얼마나 멀리 있는지 알려주거나, 고양이의 윤곽선을 스케치하거나, 심지어 고양이가 무엇을 느끼고 있는지까지 설명할 수 있다고 상상해 보십시오. 이 모든 것을 성격이나 뇌를 바꾸지 않고 해낼 수 있다면, 그것이 바로 MODUS가 하는 일입니다.

과거의 AI 모델들은 텍스트용 칼날, 이미지용 칼날, 깊이용 칼날 등 여러 개의 별도 도구가 달린 맥가이버 칼처럼 구축되는 경우가 많았습니다. 만약 깊이 지도에서 이미지로 넘어가고 싶다면, 각 단계에서 다음 단계로 바통을 넘겨주는 서로 다른 모델들의 체인을 거쳐야 했을 것입니다. 이 논문은 이러한 방식이 비효율적이고 투박하다고 주장합니다. 대신, MODUS는 디코더 전용(decoder-only) 접근 방식을 사용합니다. 간단히 말해, '디코더'는 시퀀스의 다음 조각을 예측함으로써 학습하는 유형의 AI입니다. 이것을 AI가 이전의 모든 것을 바탕으로 다음 단어, 다음 픽셀, 또는 다음 깊이 값을 추측하는 '전화기 게임(telephone game)'이라고 생각하면 됩니다.

MODUS의 마법은 모든 것을 하나의 시퀀스로 취급한다는 점에 있습니다.

• 텍스트는 단어의 시퀀스입니다.
• 이미지는 작은 패치들로 나뉘어 숫자의 시퀀스로 변환됩니다.
• 깊이 지도와 표면 법선(surface normals)(표면이 향하는 방향을 보여주는 것) 또한 시퀀스로 변환됩니다.

모든 것이 그저 시퀀스이기 때문에, MODUS는 서로 다른 작업을 위한 별도의 '헤드(heads, 특화된 부분)'를 필요로 하지 않습니다. 그저 입력 시퀀스를 보고 출력 시퀀스를 예측할 뿐입니다. 만약 사진을 주고 깊이 지도를 요청한다면, 모델은 사진을 이야기의 '시작'으로 보고 깊이 지도를 그 '연속'으로 취급합니다. 반대로 깊이 지도를 주고 사진을 요청한다면, 그 순서를 뒤집으면 됩니다.

"Any-to-Any" 초능력

논문에서는 이를 Any-to-Any 모델링이라고 부릅니다. 이는 어떠한 조합의 입력을 받더라도 어떠한 조합의 출력을 생성할 수 있는 능력입니다.

• 입력: 방 사진. 출력: 방에 대한 텍스트 설명.
• 입력: 방에 대한 텍스트 설명. 출력: 방의 사진.
• 입력: 방 사진. 출력: (가구의 거리를 보여주는) 깊이 지도.
• 입력: 깊이 지도. 출력: 사진.

이전의 대부분 모델은 "텍스트-이미지"나 "이미지-텍스트"와 같이 특정 쌍만 수행할 수 있었습니다. 하지만 MODUS는 이러한 벽을 허뭅니다. 이 모델은 "캐니 엣지(Canny edge, 윤곽선 스케치)"를 깊이 지도로 직접 바꾸거나, 사진과 텍스트 프롬프트를 결합하여 표면 법선 지도를 생성하는 것과 같이 다른 모델들에게는 이상해 보일 수 있는 작업도 수행할 수 있습니다.

핵심 비결: 균등 샘플링과 단계별 학습

"그저 다음 토큰을 예측하는 것뿐이라면, 왜 이것이 어려운가?"라고 의문을 가질 수 있습니다. 연구진은 몇 가지 까다로운 지점을 발견했습니다.

첫째, 모달리티 혼동(modality confusion) 문제가 있었습니다. 모델이 이미지나 깊이 지도를 생성하는 법을 배울 때, 가끔 혼동을 일으켰습니다. 예를 들어 깊이 지도를 생성하도록 요청받았는데 실수로 가장자리 지도를 생성하는 식입니다. 논문에 따르면, 이는 훈련 중에 '타임스텝(time steps)'을 샘플링하는 방식 때문에 발생했습니다. 모델이 흐릿한 상태에서 시작하여 점차 선명하게 만드는 방식으로 그림을 그리도록 훈련한다고 가정해 봅시다. 만약 모델이 무엇을 그릴지 결정하는 아주 초기 단계(흐릿한 상태)에 충분한 시간을 할애하지 않고 중간 단계(여전히 흐릿한 상태)에 너무 많은 시간을 보낸다면, 모델은 자신이 무엇을 그려야 하는지에 대해 혼동을 갖게 됩니다.

이를 해결하기 위해 팀은 **균등 타임스텝 샘플링(uniform timestep sampling)**을 사용했습니다. 중간 단계에 집중하는 대신, 모델이 모달리티를 결정하는 아주 첫 단계와 세부 사항을 다듬는 아주 마지막 단계를 동일하게 연습하도록 했습니다. 이를 통해 모델은 세부 사항을 걱정하기 전에 "좋아, 나는 깊이 지도를 그리고 있어"라고 먼저 확립할 수 있게 되었습니다.

둘째, 그들은 단계별 학습(staged training) 접근 방식을 사용했습니다. 모든 것을 한꺼번에 모델에게 던져주지 않았습니다.

1. 1단계: 텍스트 및 경계 상자(grounding)와 같은 1차원적인 기초를 가르쳤습니다.
2. 2단계: 깊이, 표면 법선, 가장자리와 같은 2차원 공간 정보를 추가했습니다.
3. 3단계: 여러 입력을 동시에 처리하고, 이들을 서로 연결하는 법을 가르쳤습니다.

이러한 단계적 접근 방식은 모델이 압도당하지 않고 학습할 수 있도록 도왔으며, 텍스트와 이미지 학습을 통해 얻은 강력한 지식을 계승하면서 새로운 유형의 데이터로 지식을 확장할 수 있게 해주었습니다.

체인 생성과 자기 검증

MODUS의 가장 멋진 기능 중 하나는 **체인 생성(Chained Generation)**입니다. 모든 것을 단일 시퀀스로 취급하기 때문에, 모델은 자신의 출력을 다음 단계의 입력으로 사용할 수 있습니다.

• 텍스트 설명으로부터 3D 장면을 생성하고 싶다고 가정해 봅시다.
• MODUS는 "텍스트"에서 "3D 장면"으로 바로 뛰어넘는 대신, 텍스트 → 가장자리 스케치 → 깊이 지도 → 최종 이미지의 과정을 거칠 수 있습니다.
• 가장자리 스케치는 모델이 레이아웃을 이해하도록 돕고, 깊이 지도는 기하학적 구조를 이해하도록 하며, 최종 이미지는 이 견고한 토대 위에 구축됩니다.

논문은 이러한 체이닝이 최종 결과물의 일관성을 훨씬 더 높여준다는 것을 보여줍니다. 단순히 텍스트에서 이미지로 직접 가려고 하면 모델이 레이아웃을 틀릴 수 있지만, 중간 단계(예: 가장자리 스케치)를 거침으로써 모델은 색상과 세부 사항을 더하기 전에 구조를 '고정'할 수 있습니다.

또 다른 유용한 기술은 **교차 모달리티 자기 검증(Cross-Modal Self-Verification)**입니다. MODUS는 어떤 모달리티든 생성할 수 있으므로, 자신의 작업을 스스로 확인할 수 있습니다.

• 만약 MODUS가 텍스트 프롬프트로부터 이미지를 생성했다면, 즉시 '그라운딩(grounding)' 맵(이미지 내 객체의 위치를 보여주는 것)을 생성하거나 이미지에 대한 질문(VQA)에 답할 수 있습니다.
• 만약 이 검증 과정을 거쳤을 때 생성된 이미지가 텍스트 설명과 일치하지 않는다면, 모델은 이를 폐기하고 다시 시도할 수 있습니다.
• 논문은 이 자기 검증 방법을 사용하는 것이 외부 도구의 도움 없이도 생성된 이미지의 품질을 높이고 프롬프트에 더 정확하게 부합하도록 만든다는 것을 발견했습니다.

결과: 모든 것을 다스리는 단일 모델

연구진은 이미지와 다양한 주석(깊이, 가장자리, 텍스트 등)이 쌍을 이루는 2,900만 개의 샘플을 포함하는 MODUS-DATASET이라는 대규모 데이터셋을 통해 모델을 테스트했습니다. 이 데이터를 바탕으로 모델을 훈련시킨 결과, 모든 분야에서 매우 우수한 성능을 보였습니다.

• 모델은 시각적 그라운딩(Visual Grounding)(이미지 내 텍스트 기반 객체 찾기)에서 특화된 모델들과 대등한 성능을 보였습니다.
• 깊이(Depth) 및 **표면 법선(Surface Normals)**을 높은 정확도로 추정할 수 있습니다.
• 텍스트로부터 이미지를 생성하는 능력은 다른 최상위 모델들과 경쟁할 만한 수준입니다.
• 결정적으로, 이 모든 것을 단 하나의 모델로 수행합니다. 깊이를 위한 다른 모델, 가장자리를 위한 다른 모델, 텍스트를 위한 다른 모델을 각각 다운로드할 필요가 없습니다.

논문은 기존 모델들이 종종 특화된 '단일 작업' 전문가들의 성능을 따라잡는 데 어려움을 겪었던 반면, MODUS는 모든 것을 동시에 수행하는 유연성을 제공하면서도 그들과 경쟁할 수 있는 수준에 도달했음을 명시적으로 언급합니다. 이는 '디코더 전용' 접근 방식이 새로운 작업마다 복잡하고 맞춤화된 아키텍처를 필요로 하지 않고도 다양한 데이터 유형을 처리할 수 있는, 멀티모달 AI의 미래를 위한 강력한 토대임을 시사합니다.

요약하자면, MODUS는 더 통합된 AI를 향한 한 걸음입니다. 즉, 세상을 서로 분리된 데이터 범주가 아니라, 하나의 연결된 이야기로서, 그리고 그 이야기가 선택한 어떤 언어로도 들려지고, 다시 이야기되고, 번역될 수 있는 것으로 보는 AI입니다.