🤖 AI

BLOCK: An Open-Source Bi-Stage MLLM Character-to-Skin Pipeline for Minecraft

Dit paper introduceert BLOCK, een open-source, tweestaps-pipeline die met behulp van een multimodaal groot model en een verfijnde FLUX.2-modus willekeurige personageconcepten omzet in pixel-perfecte Minecraft-huiden, waarbij een progressieve EvolveLoRA-cursus wordt gebruikt voor stabielere en efficiëntere training.

Oorspronkelijke auteurs: Hengquan Guo

Gepubliceerd 2026-03-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hengquan Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend hebt die een heel specifiek kostuum wil dragen in het spel Minecraft. Je hebt een foto van die vriend, of misschien een tekening van een personage uit een strip. Je wilt dat dit personage er precies zo uitziet in Minecraft, maar dan als een skin (een huidje).

Het probleem is dat Minecraft-skinnen heel klein zijn: het zijn maar 64 bij 64 blokjes. Het is alsof je een heel gedetailleerd schilderij moet persen in een postzegel, terwijl je tegelijkertijd moet zorgen dat de mouwen aan de juiste kant zitten en dat het shirt niet op je rug wordt getekend.

Dit papier introduceert BLOCK, een slimme, gratis tool die dit probleem oplost door het werk op te delen in twee stappen. Het is alsof je een bouwproject doet met twee verschillende vakmensen: een ontwerper en een bouwer.

Stap 1: De Ontwerper (De "Preview")

De eerste stap wordt gedaan door een zeer slimme kunstmatige intelligentie (een MLLM, in dit geval een model genaamd Gemini).

Het probleem: Als je direct vraagt aan een AI: "Maak een Minecraft-huidje van deze foto", dan faalt de AI vaak. Het maakt een 3D-afbeelding, of het verwart links en rechts, of het tekent de details te vaag.
De oplossing van BLOCK: De AI doet eerst een "tussenstap". Het kijkt naar de foto van je vriend en tekent een twee-panelig ontwerp (een voor- en een achterkant) in de stijl van Minecraft.
De analogie: Stel je voor dat je een architect een foto geeft van een huis en vraagt om de blauwdrukken. De architect tekent eerst een schets van hoe het huis eruit zou zien als het een Minecraft-huis was, met een vooraanzicht en een achteraanzicht. Dit is de "preview". De AI zorgt ervoor dat de houding perfect recht staat en dat de kleuren kloppen, maar het is nog geen echte skin, alleen een duidelijke instructie.

Stap 2: De Bouwer (De "Skin")

Nu komt de tweede stap, waar een andere, gespecialiseerde AI (een aangepast FLUX.2-model) aan het werk gaat.

De taak: Deze AI krijgt de schets van de ontwerper (de tweepanelige preview) en moet die omzetten in het echte, kleine 64x64 blokje-kaartje (de skin).
De truc: Omdat deze AI gespecialiseerd is in het omzetten van plaatjes naar Minecraft-teksturen, doet hij dit heel nauwkeurig. Hij zorgt dat de pixel-perfecte randjes kloppen en dat de overlay (het extra laagje op de huid) op de juiste plek zit.
De analogie: De architect gaf de schets aan de bouwvakker. De bouwvakker neemt die schets en bouwt het exacte, kleine modelletje. Hij weet precies waar de ramen en deuren moeten zitten, omdat hij alleen maar dit soort bouwopdrachten doet.

De "Leertruc": EvolveLoRA

Het meest interessante aan dit papier is hoe ze deze tweede AI hebben getraind. Ze hebben niet zomaar een model opgeleid; ze hebben een stappenplan gebruikt, genaamd EvolveLoRA.

Stel je voor dat je iemand leert een auto te besturen:

Fase 1 (Tekst naar Auto): Eerst leer je de persoon alleen maar over de auto te praten op basis van een beschrijving (bijv. "een rode auto met vier wielen").
Fase 2 (Foto naar Auto): Dan laat je ze kijken naar een foto van een auto en die na te bouwen.
Fase 3 (Schets naar Auto): Pas op het allerlaatste moment leer je ze om van de architectonische schets (de preview) de echte auto te bouwen.

Elke stap bouwt voort op de kennis van de vorige stap. Hierdoor wordt het trainen veel stabieler en sneller. Als je direct zou beginnen met stap 3, zou de AI waarschijnlijk in de war raken en niets leren.

Waarom is dit zo goed?

Vroeger probeerden mensen dit in één keer te doen: "Van foto naar skin". Dat werkte niet goed omdat het te veel tegelijk was: de AI moest het personage begrijpen, de 3D-ruimte begrijpen én de strenge regels van Minecraft volgen.

BLOCK splitst het op:

De ontwerper (Stap 1) zorgt voor het "begrip" en de stijl.
De bouwer (Stap 2) zorgt voor de technische perfectie en de regels.

Samenvatting

Met BLOCK kun je nu een willekeurige foto van iemand (of een tekening) uploaden, en de tool maakt er een perfect werkende Minecraft-skin van. Het doet dit door eerst een duidelijke "bouwtekening" te maken en die vervolgens om te zetten in het eindproduct. Het is een slimme manier om de kracht van moderne AI te gebruiken zonder de strenge regels van het spel te schenden.

Het papier is open-source, wat betekent dat iedereen deze "ontwerper" en "bouwer" kan gebruiken om hun eigen Minecraft-personages te maken, precies zoals ze in hun hoofd zitten.

Titel: BLOCK: Een Open-Source Bi-Stage MLLM Pipeline voor Karakter-naar-Huid (Skin) Conversie in Minecraft

1. Het Probleem

Het genereren van geldige, pixel-perfecte Minecraft-huiden (skins) vanuit willekeurige karakterconcepten (zoals foto's of illustraties) blijft een aanzienlijke uitdaging, ondanks de kracht van moderne Multimodale Large Language Models (MLLMs).

Complexiteit: Minecraft-huiden zijn lichtgewicht UV-textuuratlassen van 64×64 pixels. Het vertalen van een hoog-niveau karakteridee naar deze strikte pixelstructuur vereist niet alleen creatieve vaardigheid, maar ook strikte naleving van UV-geometrie (hoofd, torso, ledematen) en laagstructuur (basislaag vs. overlay).
Mislukkingen van Eén-Staps Modellen: Bestaande krachtige MLLMs falen vaak omdat ze moeite hebben om hoge-level kenmerken te comprimeren naar de juiste pixelblokken en UV-regio's. Ze genereren vaak texturen die de strikte Minecraft-beperkingen schenden (bijv. verkeerde plaatsing van ledematen, onduidelijke grenzen of inconsistenties tussen voor- en achterkant).
Data-tekort: Er is geen groot dataset dat directe koppelingen biedt tussen willekeurige karakterreferenties en de corresponderende Minecraft-skin-atlassen, wat toezichtgebaseerd leren bemoeilijkt.

2. Methodologie: De BLOCK Pipeline

BLOCK lost dit probleem op door het proces te decomponeren in twee gescheiden fasen, waarbij de sterke punten van verschillende modeltypes worden benut:

Fase 1: Karakter $\rightarrow$ 3D Voorvertoning (Character-to-Preview)

Doel: Het omzetten van een gebruikersreferentie (foto/illustratie) naar een consistente, Minecraft-stijl voorvertoning met voor- en achterkijk (dual-panel).
Model: Gebruik van een grote multimodale LLM (in dit geval Gemini Nano Banana Pro, het enige geteste model dat consistent succesvol was).
Input: Een vaste prompt-template met referentieafbeeldingen:
- Mode-I: Karakterreferentie + lay-out anker + pose-anker.
- Mode-II: Bovenstaande + een stijlreferentie (bijv. anime of realistisch).
Output: Een schuine, dual-panel weergave (links vooraanzicht, rechts achteraanzicht) met een witte achtergrond en een strikte Minecraft-standhouding. Dit normaliseert de invoer en verwijdert ruis (achtergronden, variabele houdingen).

Fase 2: Voorvertoning $\rightarrow$ Skin Atlas (Preview-to-Atlas)

Doel: Het vertalen van de 3D-voorvertoning naar een geldig 64×64 UV-atlas (geschaald naar 512×512 voor training).
Model: Een fijngetuned FLUX.2 diffusion model.
Proces: Het model genereert een 512×512 atlas die een nearest-neighbor upscale is van de uiteindelijke skin. Een deterministische decoder verwerkt dit vervolgens naar een geldige 64×64 RGBA-skin.

De EvolveLoRA Curriculum Strategie
Om stabiliteit en efficiëntie te garanderen bij het finetunen van het FLUX.2-model, introduceert BLOCK EvolveLoRA. Dit is een progressieve curriculum-lernaanpak die adapters (LoRA-weights) van eerdere fasen hergebruikt in plaats van elke fase vanaf nul te starten:

Fase I (Text-to-Image): Training op ruwe skin-atlassen met automatisch gegenereerde tekstopdrachten (beschrijving van kleuren en patronen). Dit injecteert domeinspecifieke priors.
Fase II (Image-to-Image): Training met voor- en achteraanzichten als conditionering. Dit leert het model de mapping van een 2D-turnaround naar een UV-atlas.
Fase III (Preview-to-Atlas): De definitieve training waarbij het model leert om de 3D-voorvertoning (zoals gegenereerd in Fase 1) te vertalen naar de skin-atlas.
Elke fase start met de LoRA-weights van de vorige fase, wat convergentie versnelt en de training stabiliseert.

3. Belangrijkste Bijdragen

BLOCK Pipeline: Een open-source, tweestaps pipeline die willekeurige karakterreferenties succesvol omzet in pixel-perfecte Minecraft-skins.
EvolveLoRA: Een innovatief curriculum voor progressieve adapter-initialisatie (T2I $\rightarrow$ I2I $\rightarrow$ Preview-to-Skin) dat trainingstabiliteit en efficiëntie aanzienlijk verbetert.
Data Spec en Constructie: Een schaalbaar systeem voor het converteren van een grote corpus van skins (Minecraft-Skins-20M) naar gecontroleerde trainingsdata (voor-achter renders en 3D-voorvertoningen).
Open Source Release: De volledige implementatie, fijngetuned gewichten en prompt-templates zijn beschikbaar gemaakt voor reproduceerbaarheid.

4. Resultaten en Kwalitatieve Evaluatie

Succesvolle Conversie: BLOCK kan complexe karakterconcepten (inclusief anime-stijlen, realistische foto's en gedetailleerde outfits) omzetten in functionele Minecraft-skins.
Behoud van Identiteit: Het systeem behoudt de identiteit van het karakter (kleding, accessoires) en voorkomt verwisseling van voor- en achterkant.
Pixel-Perfecte Kwaliteit: De output voldoet aan de strikte eisen van Minecraft: scherpe pixels, geen dithering, en correcte UV-plaatsing.
Uitdagingen: In sommige gevallen (zoals weergegeven in Figuur 6) kan de voorvertoning van Fase 1 te veel details bevatten die niet goed worden gecomprimeerd door de deterministische decoder, wat leidt tot aliasing of verlies van fijn detail in de uiteindelijke skin.

5. Betekenis en Toekomstperspectief

Pragmatische Oplossing: BLOCK vermijdt de onmogelijke taak om één model te trainen dat semantisch begrip, 3D-rendering en strikte UV-validiteit tegelijkertijd moet beheersen. Door de taken te splitsen, wordt de robuustheid van het systeem vergroot.
Community Impact: Het paper benadrukt de noodzaak van gestandaardiseerde benchmarks en hoogwaardige datasets voor Minecraft-skin-generatie.
Toekomstige Richtingen:
- Verbetering van de compressie van details in de voorvertoning om aliasing bij downsampling te voorkomen.
- Het vervangen van de gesloten MLLM (Fase 1) door een open-source alternatief.
- Distillatie van het model naar kleinere backbones (bijv. 4B-modellen) om de implementatie op consumentenhardware mogelijk te maken.

Conclusie:
BLOCK vertegenwoordigt een significante doorbraak in de generatie van Minecraft-skins door de beperkingen van bestaande generatieve modellen te omzeilen via een slimme, tweestaps architectuur en een geavanceerde trainingsstrategie (EvolveLoRA). Het biedt een reproduceerbare, open-source oplossing voor een probleem dat tot nu toe als te complex werd beschouwd voor directe eind-tot-eind generatie.