💻 computer science

HomeDiffusion: Zero-Shot Object Customization with Multi-View Representation Learning for Indoor Scenes

HomeDiffusion is een nieuw zero-shot object aanpassingsframework dat multi-view representatieleer en cross-attention mechanismen binnen diffusiemodellen benut om visueel harmonieuze, hoogwaardige meubelplaatsingen in binnenruimtes te genereren, waarbij het detailverlies en de pose-inconsistenties van bestaande methoden wordt overwonnen.

Oorspronkelijke auteurs: Guoqiu Li, Jin Song, Yiyun Fei

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guoqiu Li, Jin Song, Yiyun Fei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een favoriete fauteuil hebt in je woonkamer en je wilt zien hoe deze eruit zou zien in een totaal andere kamer—misschien op een zonnig terras of in een gezellige werkkamer. Je wilt dat het precies lijkt op jouw stoel (dezelfde stof, dezelfde vorm, zelfs die kleine krasjes), maar je wilt ook dat hij er natuurlijk bij staat, waarbij rekening wordt gehouden met de hoek van de vloer en de richting van het licht.

Dit is het probleem dat HomeDiffusion oplost. Het is een nieuwe AI-tool waarmee je een object uit één foto in een andere scène kunt "plaatsen" zonder dat het er nep, opgeplakt of vervormd uitziet.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

Het Probleem: De "Opgeplakte" Look

Eerdere AI-tools waren als een onhandige schilder. Als je ze vroeg om een stoel in een nieuwe kamer te plaatsen, kregen ze misschien de kleur wel goed, maar zag de stoel eruit als een platte sticker.

Het perspectiefprobleem: Als je stoel asymmetrisch is (zoals een bank met een chaise longue aan de linkerkant), en je probeert hem in een kamer te plaatsen waar hij naar rechts moet wijzen, zouden oude tools de afbeelding simpelweg uitrekken of vervormen. Ze begrepen niet dat de stoel een "3D-vorm" heeft die moet roteren, niet alleen moet rekken.
Het detailprobleem: Ze verloren vaak de fijne details. Het patroon op de stof kon vervagen, of de specifieke curve van de armleuning kon verdwijnen.

De Oplossing: HomeDiffusion

De onderzoekers hebben een systeem gebouwd dat werkt als een meester-timmerman die ook verstand heeft van 3D-geometrie. Ze hebben het getraind met een enorme bibliotheek van meubelfoto's die vanuit elke mogelijke hoek zijn genomen (boven, zijkant, voorkant, achterkant).

Het systeem werkt via twee hoofd-"trainingskampen":

1. Het "Mentale Rotatie" Kamp (MORL)

Voordat de AI een object kan plaatsen, moet hij het object diepgaand begrijpen.

De analogie: Stel je voor dat je een complex beeldhouwwerk aan een vriend probeert te beschrijven via de telefoon. Als je hem slechts één foto laat zien, kan hij niet raden hoe de achterkant eruitziet. Maar als je hem foto's laat zien van de voorkant, de zijkant en de bovenkant, kan hij in zijn hoofd een perfect 3D-model opbouwen.
Wat HomeDiffusion doet: Het neemt meerdere foto's van hetzelfde meubelstuk vanuit verschillende hoeken en leert de AI om te "voorspellen" hoe het object er vanuit elke hoek uitziet, zelfs vanuit hoeken die het nog niet eerder heeft gezien. Dit zorgt ervoor dat wanneer de AI een bank in een nieuwe kamer plaatst, hij precies weet hoe de achterkant van de bank eruit moet zien, en niet alleen de voorkant.

2. Het "Naadloze Integratie" Kamp (BOCL)

Zod even de AI het object begrijpt, moet hij het in de nieuwe scène plaatsen zonder dat het eruitziet als een zwevende sticker.

De analogie: Denk hierbij aan een hoogwaardige fotocollage. Maar in plaats van alleen te knippen en plakken, gebruikt de AI een "magische lijm" die licht en schaduw begrijpt.
De "HD Visuele Encoder": Om de details scherp te houden (zoals de weving van een tapijt of de stiksels op een kussen), kijkt de AI niet alleen naar het hele plaatje. Hij kijkt naar het grote geheel én zoomt in op kleine stukjes om hoogresolutie details vast te leggen.
De "Compositieafbeelding"-truc: De AI maakt een tijdelijke "nep" afbeelding waar hij het referentie-object in de nieuwe kamer plakt. Vervolgens gebruikt hij deze nep afbeelding als gids.
De "Pixel-Aligned Cross-Attention": Dit is het geheime ingrediënt. Stel je voor dat de AI een schilderij maakt en daarbij constant een referentiefoto controleert. In plaats van alleen vluchtig naar de referentie te kijken, gebruikt hij een lasergestuurd systeem om elke individuele pixel van de referentie te matchen met het nieuwe schilderij. Dit zorgt ervoor dat het specifieke patroon op de stoel in de nieuwe kamer exact overeenkomt met de originele stoel, zelfs als de hoek anders is.

De Resultaten

Het paper heeft dit getest op meubels (bedden, banken, lampen) en zelfs op kleding (virtueel passen).

Beter dan de concurrentie: Vergeleken met andere tools zoals "Paint-by-Example" of "AnyDoor", behield HomeDiffusion de identiteit van het object veel beter. Het kreeg niet alleen de kleur goed; het hield de textuur en vorm accuraat.
Geen "Training" Vereist: In tegen tegenstelling tot sommige andere methoden die vereisen dat je urenlang de AI leert over jouw specifieke stoel voordat je hem kunt gebruiken, is HomeDiffusion "zero-shot". Je geeft gewoon de foto's op en het werkt direct.
Veelzijdigheid: Hoewel het voornienlijk is getraind op binnenmeubilair, toonde het aan dat het ook kan werken in buiten-scènes en zelfs bij het passen van kleding op mensen (virtueel passen).

Samenvattend

HomeDiffusion is als een virtuele interieurontwerper die een foto van jouw favoriete stoel kan nemen, de 3D-vorm vanuit elke hoek begrijpt, en deze in een nieuwe kamer kan plaatsen met perfect licht, schaduw en textuur, waardoor het lijkt alsof de stoel er altijd al heeft gestaan. Het lost het "platte sticker"-probleem op door de AI echt te leren om objecten in de 3D-ruimte te "zien".

Technische Samenvatting: HomeDiffusion

Probleemstelling

Zero-shot object customization streeft naar het naadloos integreren van referentie-objecten in specifieke gebieden van een doelafbeelding, waarbij uitlijning in lay-out, belichting, perspectief en ruimtelijke relaties wordt gewaarborgd, terwijl de identiteit en intrinsieke details van het object behouden blijven. Hoewel bestaande diffusiegebaseerde methoden veelbelovend zijn gebleken, kampen ze met twee primaire uitdagingen bij aanpassing in binnenruimtes:

Multi-view Representatie: Bestaande benaderingen vertrouwen vaak op single-view referentiebeelden. Voor asymmetrische objecten ontbreekt een enkel beeld aan de uitgebreide 3D-informatie die nodig is om poses te genereren die harmonieus zijn met de oriëntatie van de achtergrondscène, wat leidt tot perspectivische mismatch.
Behoud van High-Fidelity Details: Methoden die standaard encoders (bijv. CLIP) of zelfs geavanceerde encoders (bijv. DINO-V2) gebruiken, hebben vaak moeite om fijne details (patronen, texturen, curven) te behouden tijdens het generatieproces, wat resulteert in objecten die afwijken van het originele referentieobject.

Methodologie

De auteurs stellen HomeDiffusion voor, een nieuw zero-shot framework dat specifiek is ontworpen voor binnenruimtes. De pipeline bestaat uit twee afzonderlijke trainingsstadia:

1. Multi-view Object Representation Learning (MORL)

Deze fase richt zich op het leren van robuuste multi-view representaties van objecten zonder training tijdens de testfase.

HD Visuele Encoder: Om fijne details vast te leggen zonder dat het GPU-geheugengebruik explodeert, introduceren de auteurs een encoder die afbeeldingen verwerkt vanuit zowel globale als lokale perspectieven. Een 448×448 afbeelding wordt geresized naar 224×224 voor globale kenmerkextractie en opgesplitst in vier 224×224 patches voor lokale high-resolution detailextractie. Deze kenmerken worden geconcateneerd en via een MLP gemapt naar een uniforme tokenset.
Self-Generatieve Training: Het model wordt getraind om een doelgezichtspunt van een meubelstuk te voorspellen op basis van een set van $N$ multi-view referentiebeelden.
ControlNet Integratie: Om de generatie van specifieke gezichtspunten te sturen, gebruikt de methode ControlNet met Canny edge maps van het doelgezichtspunt als een conditionele lay-out gids.
Output: Een leerbare token $C_o$ die de multi-view objectinformatie inkapselt.

2. Background-driven Object Customization Learning (BOCL)

Deze fase traint het model om de geleerde objectrepresentatie in een specifiek gebied van een achtergrondscène te plaatsen.

Composiet Afbeelding Begeleiding: Een composiet afbeelding wordt gecreëerd door het referentieobject in het gemaskeerde achtergrondgebied te plakken. Deze afbeelding bevat zowel de scènecontext als high-fidelity objectdetails.
Latent Space Alignment: De composiet afbeelding wordt gecodeerd in de latent space om pixel-uitlijning met de gegenereerde afbeelding te garanderen.
Pixel-Aligned Cross-Attention: Om high-fidelity details van de composiet afbeelding over te dragen naar het generatieproces, introduceren de auteurs een cross-attention mechanisme tussen de feature maps van de composiet afbeelding en de U-Net encoder op meerdere niveaus. Dit stelt het model in staat om fijne details effectief te extraheren en te behouden, zelfs wanneer het gezichtspunt van het referentieobject in de composiet afbeelding verschilt van het doelgezichtspunt in de uiteindelijke generatie.

Belangrijkste Bijdragen

HomeDiffusion Framework: Een zero-shot object customization methode voor binnenruimtes die zorgt voor high-fidelity detailbehoud en harmonieuze perspectivische blending.
HD Visuele Encoder: Een nieuwe encoder die in staat is om fijne objectdetails te extraheren uit zowel globale als lokale views, waarbij een balans wordt gevonden tussen resolutie en computationele efficiëntie.
Multi-view Object Representation Learning (MORL): Een self-generatief trainingsproces dat het model in staat stelt robuuste multi-view representaties te leren van meerdere viewpoint afbeeldingen, waardoor het genereren van objecten vanuit ongeziene hoeken mogelijk wordt.
Background-driven Object Customization Learning (BOCL): Een methode die referentieobjecten in achtergrondscènes integreert met behulp van composiet afbeelding begeleiding en pixel-aligned cross-attention om high-fidelity details te behouden.
ZOC-Indoor-Eval Benchmark: De constructie van een nieuwe benchmark bestaande uit 180k+ synthetische binnenruimte afbeeldingen met multi-view meubeldata (8 categorieën) om de zero-shot customization prestaties te evalueren.

Experimentele Resultaten

De auteurs hebben HomeDiffusion geëvalueerd op de ZOC-Indoor-Eval benchmark en de Viton-HD benchmark, waarbij zij het hebben vergeleken met state-of-the-art zero-shot en few-shot methoden (Paint-by-Example, AnyDoor, DreamBooth).

Kwantitatieve Prestaties: Op de ZOC-Indoor-Eval benchmark (single-view referentie) behaalde HomeDiffusion een CLIP Score van 89.4 en een DINO Score van 86.2, waarmee het AnyDoor (87.1/83.3) en Paint-by-Example (83.4/78.5) overtrof.
Multi-view Voordeel: Vergeleken met DreamBooth (een few-shot methode die fine-tuning vereist), behaalde HomeDiffusion hogere DINO scores over één, drie en vijf viewpoint scenario's (respectievelijk 86.2, 87.5 en 88.1), wat zijn vermogen aantoont om multi-view informatie te benutten zonder training tijdens de testfase.
Kwalitatieve Analyse: Visuele vergelijkingen laten zien dat HomeDiffusion succesvol correcte perspectieven genereert voor asymmetrische objecten en fijne details (bijv. patronen op hoofdborden, aantal kussens) beter behoudt dan concurrenten, die vaak lijden onder perspectivische discrepantie of detailverlies.
Ablatie-studies: Experimenten bevestigden de noodzaak van de MORL-fase voor het afhandelen van viewpoint veranderingen en de effectiviteit van de HD visuele encoder en pixel-aligned cross-attention voor detailbehoud.
Generalisatie: Ondanks dat het model is getraind op indoor data, demonstreerde het het vermogen om te generaliseren naar outdoor natuurlijke scènes en virtuele try-on scenario's (Viton-HD).

Betekenis en Claims

Het artikel claimt dat HomeDiffusion de kritieke beperkingen van huidige object customization methoden aanpakt, specifiek het onvermogen om asymmetrische objecten vanuit single-views te verwerken en het verlies van high-fidelity details. Door gebruik te maken van multi-view representatie learning en een nieuw attention mechanisme voor detailtransfer, bereikt de methode superieure prestaties in zero-shot settings. De auteurs benadrukken dat hun aanpak gebruikers in staat stelt om e-commerce meubels virtueel in persoonlijke woonruimtes te plaatsen met een hoge mate van getrouwheid en perspectivische harmonie, waardoor de kloof tussen referentieobjecten en doelomgevingen wordt overbrugd zonder de noodzaak voor uitgebreide per-object training.