BLOCK: An Open-Source Bi-Stage MLLM Character-to-Skin Pipeline for Minecraft

이 논문은 대규모 멀티모달 모델 (MLLM) 을 활용한 3D 미리보기 생성 단계와 미세 조정된 FLUX.2 모델을 기반으로 한 스킨 디코딩 단계를 결합한 오픈소스 양단계 파이프라인 'BLOCK'을 제안하여, 임의의 캐릭터 컨셉에서 픽셀 단위 정확한 마인크래프트 스킨을 생성하는 방법을 제시합니다.

핵심

이 논문은 **마인크래프트 스킨 (캐릭터 옷)**을 만들어주는 새로운 인공지능 도구, **'BLOCK'**에 대한 기술 보고서입니다.

기존의 인공지능들은 "이 사진을 보고 마인크래프트 캐릭터 옷을 만들어줘"라고 하면, 옷의 모양이 엉망이 되거나 마인크래프트 특유의 정사각형 (픽셀) 스타일을 제대로 지키지 못해 실패하곤 했습니다. BLOCK 은 이 문제를 해결하기 위해 두 단계로 나누어 작업을 수행하는 똑똑한 방식을 고안했습니다.

이해를 돕기 위해 BLOCK 의 작동 원리를 '요리'와 '건축'에 비유해서 설명해 드릴게요.

---

🍳 BLOCK 이란 무엇인가요?

BLOCK 은 마인크래프트 스킨을 만드는 두 명의 요리사가 팀을 이뤄 일하는 시스템입니다.

1 단계: "디자인 스케치"를 그리는 요리사 (Stage 1)

• 역할: 사용자가 준 캐릭터 사진 (예:科比 브라이언트) 을 보고, 마인크래프트 스타일의 **정면과 뒷면이 함께 있는 '디자인 도면'**을 그립니다.
• 어떻게 하나요? 거대한 인공지능 (MLLM) 이 사진을 보고 "이 캐릭터는 붉은 셔츠를 입고 있고, 뒷모습은 검은색 바지를 입었네"라고 분석한 뒤, 마인크래프트 캐릭터가 서 있는 고정된 자세로 그림을 그립니다.
• 비유: 마치 건축가가 복잡한 실제 건물의 사진을 보고, 시공을 위한 **정확한 2 차원 도면 (평면도)**을 먼저 그리는 것과 같습니다. 이때 중요한 건 "앞면과 뒷면을 절대 뒤바꾸지 않고, 마인크래프트 특유의 각진 형태를 유지하는 것"입니다.

2 단계: "실제 옷감"을 짜는 요리사 (Stage 2)

• 역할: 1 단계에서 만든 '디자인 도면'을 받아서, 실제 마인크래프트 게임에 넣을 수 있는 **64x64 크기의 작은 옷감 (스킨 파일)**으로 변환합니다.
• 어떻게 하나요? 1 단계의 도면을 보고, 마인크래프트 스킨의 복잡한 규칙 (어디에 머리가 있고, 어디에 팔이 붙는지) 을 완벽하게 지키면서 옷감을 짜냅니다.
• 비유: 건축가가 그린 **도면을 보고, 실제 벽돌을 하나하나 쌓아 건물을 짓는 '시공 팀'**과 같습니다. 도면만 보고는 건물을 지을 수 없듯이, 이 단계에서야 비로소 게임에 적용 가능한 실제 파일이 나옵니다.

---

🚀 왜 이렇게 두 단계로 나눴을까요? (핵심 아이디어)

기존의 인공지능은 "사진을 보고 바로 옷감을 만들어줘"라고 하면, 머릿속에서 사진을 해석하는 일과 옷감 규칙을 지키는 일을 동시에 하려고 하다가 혼란이 생겼습니다. (비유하자면, 요리사가 재료를 다듬는 일과 요리를 하는 일을 동시에 하다가 불을 태워버리는 상황입니다.)

BLOCK 은 이 문제를 작업 분업으로 해결했습니다.

1. 1 단계 (디자인): "이게 무슨 캐릭터야?"를 이해하고, 마인크래프트 스타일로 정리하는 일에 집중합니다.
2. 2 단계 (제작): "이 디자인을 어떻게 규칙에 맞게 옷감으로 바꿀까?"에 집중합니다.

이렇게 나누니, 인공지능이 실수할 확률이 훨씬 줄어들고 훨씬 깔끔한 스킨이 만들어집니다.

---

🎓 BLOCK 의 비밀 무기: 'EvolveLoRA' (점진적인 학습법)

이 시스템은 처음부터 어려운 일을 바로 하려고 하지 않습니다. 마치 유아교육처럼 단계별로 난이도를 높여가며 학습시킵니다. 이를 EvolveLoRA라고 부릅니다.

1. 1 단계 학습 (문자 → 그림): "빨간 옷, 파란 바지"라는 글자 설명만 보고 스킨을 그리는 법을 배웁니다. (가장 쉬운 단계)
2. 2 단계 학습 (그림 → 그림): 앞면과 뒷면이 있는 캐릭터 그림을 보고 스킨을 그리는 법을 배웁니다. (중간 난이도)
3. 3 단계 학습 (디자인 도면 → 실제 옷감): 1 단계에서 만든 마인크래프트 스타일 도면을 보고 최종 스킨을 만드는 법을 배웁니다. (최종 목표)

비유: 요리사가 처음부터 복잡한 요리를 하려다 실패하는 대신, 먼저 재료 이름만 외우고, 다음엔 재료 손질을 배우고, 마지막으로 완성된 요리를 만드는 법을 배워가는 과정입니다. 이렇게 하면 훨씬 안정적이고 빠르게 실력을 키울 수 있습니다.

---

🌟 요약 및 의의

• 무엇을 했나요? 마인크래프트 스킨을 자동으로 만들어주는 오픈소스 도구 'BLOCK'을 만들었습니다.
• 어떻게 했나요? "디자인 도면 그리기"와 "실제 옷감 만들기"로 나누고, 인공지능이 단계별로 학습하게 했습니다.
• 결과: 어떤 캐릭터 사진이든 마인크래프트 특유의 정사각형 픽셀 스타일을 완벽하게 지키면서, 앞면과 뒷면이 정확한 스킨을 만들어냅니다.

이 기술은 마인크래프트 플레이어들이 자신만의 개성 있는 캐릭터를 쉽게 만들 수 있게 도와주며, 앞으로 더 발전하면 인공지능이 직접 3D 모델을 이해하고 옷을 입히는 기술로 이어질 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 목표: 임의의 캐릭터 컨셉 (이미지 등) 에서 픽셀 퍼펙트 (pixel-perfect) 한 마인크래프트 스킨 (64x64 UV 텍스처) 을 생성하는 것.
• 현황 및 한계:
  • 최신 다중 모달 LLM(MLLM) 은 캐릭터 참조를 이해하고 레이아웃 지시를 따르는 능력이 뛰어나지만, 마인크래프트 스킨 도메인과의 데이터 불일치로 인해 직접적인 생성은 취약함.
  • 주요 문제점:
    1. 고수준 캐릭터 특성을 올바른 픽셀 블록과 UV 영역으로 압축하고 정렬하는 것이 어려움.
    2. 생성된 텍스처가 마인크래프트 스킨의 엄격한 제약 조건 (UV 레이아웃, 부분 배치, 레이어 일관성 등) 을 위반하는 경우가 빈번함.
    3. 사용자가 UV 아틀라스가 아닌 캐릭터 이미지를 입력하므로, 직접적인 UV 생성은 오류 발생 확률이 높음.

2. 제안 방법론: BLOCK 파이프라인 (Methodology)

BLOCK 은 문제를 두 단계로 분해하여 해결하는 오픈 소스 양단 (Bi-stage) 파이프라인입니다.

1 단계: 캐릭터 → 3D 프리뷰 합성 (Character-to-Preview)

• 목표: 사용자가 제공한 캐릭터 참조 이미지를 마인크래프트 스타일의 일관된 양면 (앞/뒤) 사선 뷰 프리뷰로 변환.
• 모델: Gemini Nano Banana Pro (이 작업에서 일관된 성공을 보인 유일한 모델).
• 입력 모드:
  • Mode-I: 캐릭터 참조 (앞/뒤), 레이아웃 앵커, 포즈 앵커 (마인크래프트 서양 자세) 이미지를 입력.
  • Mode-II: Mode-I 에 스타일 참조 (마인크래프트 스킨 3D 프리뷰) 를 추가하여 렌더링 스타일 (애니, 리얼리즘 등) 을 제어.
• 핵심 전략: 고정된 프롬프트 템플릿을 사용하여 앞/뒤 뷰가 뒤바뀌지 않도록 하고, 마인크래프트의 엄격한 포즈와 구도를 준수하며 배경을 제거함.

2 단계: 프리뷰 → 스킨 아틀라스 디코딩 (Preview-to-Skin Atlas)

• 목표: 1 단계에서 생성된 3D 프리뷰 이미지를 512x512 스킨 아틀라스 이미지로 변환한 후, 결정론적 디코더를 통해 최종 64x64 유효 스킨으로 변환.
• 모델: 미세 조정 (Fine-tuned) 된 FLUX.2 모델.
• 학습 전략 (EvolveLoRA):
  • 단일 모델로 모든 것을 학습시키는 대신, 점진적 LoRA 커리큘럼을 도입하여 안정성과 효율성을 높임.
  • Phase 1 (Text-to-Image): 스킨 자체에서 추출한 텍스트 설명으로 스킨 아틀라스 생성 학습.
  • Phase 2 (Image-to-Image): 같은 스킨의 앞/뒤 렌더링 이미지를 조건으로 학습.
  • Phase 3 (Preview-to-Skin): 3D 프리뷰 이미지를 조건으로 최종 아틀라스 생성 학습.
  • EvolveLoRA: 각 단계의 LoRA 가중치를 이전 단계의 어댑터에서 초기화하여 (Warm-start) 학습 안정성을 확보.

후처리

• 생성된 512x512 아틀라스를 Nearest-Neighbor 8 배 다운샘플링하여 64x64 스킨으로 변환하고, 마인크래프트 스킨 구조를 강제 적용하여 유효성을 검증.

3. 주요 기여 (Key Contributions)

1. BLOCK 파이프라인: 임의의 캐릭터 참조를 마인크래프트 스킨으로 매핑하는 오픈 소스 2 단계 파이프라인 공개.
2. 확장 가능한 데이터 파이프라인: 대규모 스킨 코퍼스를 감독 학습용 데이터 (앞/뒤 렌더링 및 3D 스타일 프리뷰) 로 변환하는 체계 구축.
3. EvolveLoRA: 텍스트→이미지, 이미지→이미지, 프리뷰→아틀라스 순서로 어댑터를 점진적으로 재사용하는 학습 커리큘럼 제안. 이는 학습 안정성과 효율성을 크게 향상시킴.
4. 완전한 오픈 소스: 구현 코드, 프롬프트 템플릿, 미세 조정된 가중치를 모두 공개하여 재현 가능한 평가와 확장을 지원.

4. 결과 및 사례 (Results)

• 성공 사례: 다양한 캐릭터 (애니, 실사 등) 에서 마인크래프트 스킨의 엄격한 UV 제약 조건을 준수하면서도 캐릭터의 정체성 (의상, 색상, 액세서리) 을 잘 보존한 스킨 생성.
• 한계 사례 (Figure 6): 1 단계 MLLM 이 캐릭터의 세부 사항을 충분히 압축하지 못해 2 단계에서 디테일이 손실되거나 앨리어싱 (aliasing) 이 발생하는 경우. 이는 1 단계 프리뷰의 해상도나 압축 정도가 최종 스킨 품질에 직접적인 영향을 미침을 보여줌.
• 데이터: 'Minecraft-Skins-20M' (약 20 만 개 고유 스킨) 데이터셋을 기반으로 학습됨.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • 단일 모델이 의미 이해, 3D 렌더링, UV 유효성 검증을 동시에 수행해야 하는 난제를 분해하여 해결함.
  • MLLM 은 의미적 이해와 스타일 일관성을 담당하고, 전이 학습된 확산 모델 (Diffusion Model) 은 픽셀 단위의 구조적 정확성을 담당하는 역할 분담 구조를 제시.
  • 마인크래프트 커뮤니티에 고품질 오픈 소스 도구를 제공.
• 향후 과제:
  • 다운샘플링 친화적 프리뷰: 1 단계에서 세부 사항을 더 잘 압축하도록 모델 학습 개선.
  • 1 단계 제거: 외부 MLLM 의존성을 줄이고 다중 뷰 입력에서 직접 스킨을 생성하는 엔드 투 엔드 모델 개발.
  • 경량화: FLUX.2(9B) 와 같은 대형 모델 대신 4B 급 모델로의 증류 (Distillation) 를 통해 저사양 GPU 환경 배포 가능화.
  • 벤치마크: UV 구조 정확성, 오버레이 유효성, 뷰 간 일관성을 측정하는 표준 벤치마크 및 데이터셋 구축 필요.

요약

이 논문은 마인크래프트 스킨 생성의 난제를 MLLM 을 통한 표준화된 프리뷰 생성과 전문화된 확산 모델을 통한 UV 아틀라스 변환으로 분해함으로써 해결했습니다. 특히 EvolveLoRA를 통해 학습 안정성을 높이고, 오픈 소스 생태계에 재현 가능한 파이프라인을 제공했다는 점에서 중요한 기술적 진보로 평가됩니다.