BLOCK: An Open-Source Bi-Stage MLLM Character-to-Skin Pipeline for Minecraft

Le papier présente BLOCK, un pipeline open-source en deux étapes qui génère des skins Minecraft parfaits à partir de concepts de personnages en utilisant un modèle multimodal pour créer un aperçu 3D et un modèle FLUX.2 affiné via une méthode EvolveLoRA pour convertir cet aperçu en atlas de skin.

L'essentiel

Imaginez que vous voulez créer un costume pour un personnage dans le jeu Minecraft. Le problème, c'est que dans Minecraft, les costumes ne sont pas de simples images 3D lisses. Ce sont des "cartes de peau" (des textures) très spécifiques, composées de petits carrés de pixels (comme un damier de 64x64), qui doivent être pliés et collés sur un modèle 3D d'une manière très précise.

C'est un peu comme si vous deviez dessiner un costume sur un plan de couture plat, mais en sachant exactement comment il s'adaptera une fois cousu sur un mannequin en Lego. Si vous faites une erreur d'un seul pixel, le costume peut sembler déformé ou bizarre une fois dans le jeu.

Jusqu'à présent, les intelligences artificielles les plus avancées avaient du mal à faire cela. Elles pouvaient dessiner un personnage magnifique, mais elles échouaient lamentablement à transformer ce dessin en un "plan de couture" valide pour Minecraft.

Voici comment BLOCK, le nouveau système présenté dans ce papier, résout ce problème en deux étapes simples, comme un atelier de couture en deux temps :

Étape 1 : Le Traducteur de Style (L'IA qui "voit" le personnage)

Imaginez que vous montrez une photo de votre personnage (par exemple, un guerrier en armure rouge) à un artiste très doué, mais qui ne connaît pas les règles strictes de Minecraft.

• Le problème : Si vous lui demandez directement de faire le "plan de couture", il va probablement se tromper, mélanger le devant et le dos, ou dessiner des détails trop complexes qui ne tiendront pas sur le petit damier de Minecraft.
• La solution BLOCK : Au lieu de demander le plan final tout de suite, on demande d'abord à l'IA de faire une esquisse de référence.
  • L'IA prend votre photo et génère une image "Minecraft" propre : un personnage debout, de face et de dos, sur un fond blanc, avec un style légèrement en diagonale pour bien voir les détails.
  • C'est comme si l'IA prenait votre photo floue et complexe, et la transformait en un modèle de mannequin standardisé et propre. Elle ne s'occupe pas encore du plan de couture, elle se contente de dire : "Voici à quoi ressemble le personnage, proprement, prêt à être transformé."

Étape 2 : Le Couturier Expert (L'IA qui dessine le plan)

Maintenant que nous avons cette esquisse propre (le mannequin standardisé), nous passons à un deuxième expert, un "couturier" spécialisé uniquement dans les textures Minecraft.

• Le travail : Ce couturier regarde l'esquisse de l'étape 1 et dessine le plan de couture final (la texture 512x512 qui deviendra le costume 64x64).
• L'astuce magique (EvolveLoRA) : Pour entraîner ce couturier, les chercheurs n'ont pas commencé par le jeter dans le grand bain. Ils ont utilisé une méthode progressive, comme apprendre à conduire :
  1. Phase 1 (Le permis de conduire) : On lui apprend d'abord à dessiner des textures à partir de simples descriptions textuelles (ex: "tête rouge, corps bleu").
  2. Phase 2 (La conduite en ville) : On lui donne ensuite des images de personnages (face/dos) et on lui demande de faire le plan de couture correspondant.
  3. Phase 3 (La course) : Enfin, on lui donne l'esquisse de l'étape 1 (le mannequin standardisé) et on lui demande de faire le plan final.
  • Chaque étape utilise les connaissances de la précédente. C'est comme si le couturier avait déjà appris les bases avant de s'attaquer au cas le plus difficile. Cela rend l'apprentissage beaucoup plus stable et efficace.

Pourquoi cette approche est géniale ?

Si vous demandiez à une seule IA de faire tout le travail d'un coup (de la photo au plan de couture), elle serait perdue. C'est comme demander à un architecte de dessiner un bâtiment, de gérer la plomberie, et de peindre les murs en même temps, sans jamais s'arrêter.

BLOCK sépare les tâches :

1. L'IA "Artistique" s'occupe de la compréhension (qui est le personnage ?).
2. L'IA "Technique" s'occupe de la structure (comment plier les pixels pour que ça marche dans Minecraft).

Le résultat

Le système prend n'importe quelle idée de personnage (une photo, un dessin, une idée folle) et vous sort un costume Minecraft parfaitement valide, prêt à être utilisé dans le jeu, sans que vous ayez besoin de savoir dessiner des pixels ou de comprendre la géométrie complexe des textures.

En résumé, BLOCK est un pont intelligent qui transforme n'importe quelle idée de personnage en un costume de jeu vidéo fonctionnel, en décomposant le problème difficile en deux tâches plus simples et en utilisant un entraînement progressif pour éviter les erreurs. C'est comme avoir un assistant qui prépare vos ingrédients (l'esquisse) avant de vous laisser cuisiner le plat final (le costume).

Résumé technique

1. Problématique

La génération de skins Minecraft (des atlas de textures UV de 64x64 pixels) à partir de concepts de personnages arbitraires (images réelles, dessins, etc.) reste un défi majeur, malgré les avancées des grands modèles multimodaux (MLLM).

Les difficultés principales identifiées sont :

• Inadéquation des données d'entraînement : Les MLLMs actuels sont entraînés sur des données générales et peinent à comprendre les contraintes strictes du domaine Minecraft (structure UV, placement des parties du corps, couches de base et superposition).
• Fragilité de la génération en une seule étape : Tenter de générer directement l'atlas UV à partir d'une image de référence échoue souvent car le modèle ne parvient pas à compresser les traits de haut niveau en blocs de pixels précis, violant fréquemment les contraintes de structure UV (échanges avant/arrière, distorsions).
• Bruit d'entrée : Les images de référence réelles varient considérablement en angle, pose et style, ce qui rend l'apprentissage d'une carte stable vers un atlas UV rigide très difficile.

2. Méthodologie : Le Pipeline Bi-Étape BLOCK

Pour résoudre ces problèmes, les auteurs proposent BLOCK, un pipeline open-source en deux étapes qui décompose le problème complexe en tâches plus gérables.

Étape 1 : Synthèse de Prévisualisation 3D (Character → 3D Preview)

• Objectif : Convertir une référence de personnage arbitraire en une prévisualisation Minecraft standardisée (vue oblique, panneau avant/arrière).
• Modèle : Utilisation d'un MLLM puissant (dans l'article, Gemini Nano Banana Pro est identifié comme le seul modèle ayant réussi cette tâche de manière cohérente).
• Entrées :
  • Mode I : Référence du personnage + ancre de mise en page + ancre de pose.
  • Mode II : Ajout d'une référence de style pour contrôler le rendu (anime, réaliste, etc.).
• Contraintes du Prompt : Le modèle est contraint de produire une image unique avec deux panneaux (gauche = avant, droite = arrière), une caméra légèrement oblique pour révéler les détails, une pose de Minecraft stricte (cubes, bras pendus), et un fond blanc pur.
• Résultat : Une image de prévisualisation 2D cohérente qui sert d'entrée conditionnelle pour l'étape suivante.

Étape 2 : Décodage de la Skin (Preview → Skin Atlas)

• Objectif : Traduire la prévisualisation 2D standardisée en un atlas de texture UV valide (512x512 pixels, destiné à être downsamplé en 64x64).
• Modèle : Un modèle FLUX.2 finement ajusté (fine-tuned).
• Processus : Le modèle génère un atlas 512x512 qui est ensuite converti en un skin 64x64 valide via un décodeur déterministe (sous-échantillonnage 8x par plus proche voisin) qui impose la structure UV stricte de Minecraft.

Stratégie d'Entraînement : EvolveLoRA

Pour stabiliser l'entraînement du modèle de diffusion (FLUX.2) et améliorer l'efficacité, les auteurs proposent EvolveLoRA, une méthode d'initialisation progressive des adaptateurs LoRA en trois phases :

1. Phase I (Text-to-Image) : Entraînement sur des descriptions textuelles générées automatiquement (couleurs dominantes des parties du corps) et des cibles d'atlas. Cela injecte les priors du domaine "skin Minecraft" dans le modèle.
2. Phase II (Image-to-Image) : Entraînement conditionné par des rendus avant/arrière du personnage (sans la complexité de la vue 3D oblique). Le modèle apprend à mapper une vue 2D canonique vers l'atlas UV.
3. Phase III (Preview-to-Atlas) : Entraînement final sur les prévisualisations 3D obliques (générées par l'étape 1). Les poids LoRA de la phase précédente sont réutilisés comme point de départ (warm-start) pour accélérer la convergence.

3. Contributions Clés

• Pipeline BLOCK : Une architecture open-source qui sépare la compréhension sémantique/stylistique (MLLM) de la traduction structurelle UV stricte (Modèle de diffusion), évitant ainsi de surcharger un seul modèle.
• Spécification de Données Évolutive : Création d'un pipeline de construction de données supervisées à partir d'un corpus de 200k skins (Minecraft-Skins-20M), générant des paires (rendus avant/arrière, prévisualisations 3D, atlas UV).
• EvolveLoRA : Une méthode de curriculum d'apprentissage qui réutilise les adaptateurs LoRA d'une phase à l'autre (T2I → I2I → Preview-to-Skin), améliorant la stabilité et l'efficacité de l'entraînement.
• Ressources Open-Source : Publication complète des poids finement ajustés, des modèles de prompt et du code pour une reproduction facile.

4. Résultats et Limites

• Résultats Qualitatifs : Le système parvient à générer des skins "pixel-perfect" à partir de concepts variés (photos réelles, personnages d'anime), en respectant la structure UV et en préservant l'identité du personnage (vêtements, accessoires).
• Limites Actuelles :
  • Perte de détails à la downsampling : Si la prévisualisation de l'étape 1 contient trop de détails fins, l'étape 2 peut échouer à les compresser correctement pour le format 64x64, entraînant une perte de qualité visuelle.
  • Dépendance au MLLM : L'étape 1 dépend actuellement d'un modèle propriétaire (Gemini), bien que le rapport suggère que n'importe quel MLLM capable pourrait être utilisé.
  • Coût de calcul : Le modèle FLUX.2 (9B) est lourd à déployer sur des GPU grand public.
  • Cas rares : Les accessoires très spécifiques ou les coiffures complexes peuvent parfois échouer si le jeu de données d'entraînement ne les couvre pas suffisamment.

5. Signification et Perspectives

Ce travail démontre qu'une approche décomposée est supérieure à une génération end-to-end pour des tâches soumises à des contraintes géométriques strictes comme les textures UV.

• Impact : BLOCK fournit une solution pratique pour la création de skins, rendant le processus accessible et reproductible.
• Futur : Les auteurs appellent à la création de benchmarks standardisés pour l'évaluation des skins Minecraft et suggèrent des pistes pour distiller les capacités apprises vers des modèles plus petits (4B) afin de faciliter le déploiement open-source, ainsi que le développement de modèles ouverts pour remplacer l'étape 1.