💻 computer science

InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

InHabit is een volledig automatisch en schaalbaar systeem dat 2D-fundatiemodellen gebruikt om realistische 3D-mens-scène-interacties te genereren, waardoor een groot dataset van 78.000 samples ontstaat die de prestaties van bestaande methoden voor mens-scène-reconstructie en contactschatting aanzienlijk verbetert.

Oorspronkelijke auteurs: Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

InHabit: De Digitale Architect van Menselijke Interactie

Stel je voor dat je een enorme, lege villa hebt. Het is prachtig, maar er gebeurt niets. Er staat geen meubel, er loopt niemand rond, en er is geen sfeer. Nu, als je wilt dat een robot of een virtuele assistent leert hoe mensen zich in zo'n huis gedragen, moet je die villa eerst vullen met leven. Maar hoe doe je dat?

Dat is precies het probleem dat dit paper, InHabit, oplost.

Het Probleem: De Lege Villa

Vroeger moesten onderzoekers echte mensen in een studio vangen met speciale pakken en camera's (motion capture) om te zien hoe ze op een bank zitten of bij een fornuis staan. Dit is als het bouwen van een hele stad met de hand: het is duur, traag en je kunt maar een paar straten tegelijk maken.

Andere methodes probeerden dit digitaal te doen door wiskundige regels te gebruiken: "Als er een bank is, zet dan een mens erop." Maar dit resulteerde vaak in rare situaties, zoals een mens die door de bank zakt of op een raam staat te leunen alsof het een muur is. Het miste de zin van de situatie.

De Oplossing: InHabit als Slimme Regisseur

InHabit is een nieuwe, volledig automatische manier om deze "levende villa's" te creëren. Het werkt in drie stappen, die we kunnen vergelijken met het regisseren van een film:

1. De Regisseur (De VLM - Visueel-Taal Model)
Stel je een regisseur voor die de kamer in kijkt en zegt: "Oké, dit is een keuken met een koffiezetapparaat. Iemand zou hier koffie kunnen zetten, of misschien op de grond zitten om een sok te strikken."
In plaats van willekeurige bewegingen te kiezen, gebruikt InHabit een slimme AI die de wereld kent. Hij begrijpt dat een stoel om op te zitten is en een deur om doorheen te lopen. Hij bedenkt dus zinvolle acties die bij de ruimte passen.

2. De Schilder (Het Afbeeldingsmodel)
Nu moet de regisseur die scène ook daadwerkelijk schilderen. InHabit gebruikt een AI die gespecialiseerd is in het toevoegen van mensen aan foto's. Het is alsof je een foto van een lege kamer hebt en tegen de computer zegt: "Teken hier een persoon die koffie zet."
De computer doet dit niet door een plakkerig plaatje van een mens erop te plakken. Nee, de AI "schildert" de persoon in de juiste houding, met de juiste kleding en het juiste gebaar, precies alsof hij er altijd al was.

3. De Bouwmeester (De 3D Lifting)
Tot nu toe hebben we alleen een platte foto. Maar we hebben een 3D-robot nodig die de ruimte echt kan begrijpen. InHabit neemt die geschilderde foto en "tilt" de persoon eruit, alsof je een pop uit een poppenkast haalt.
Maar wacht, de pop moet wel passen! De AI gebruikt de bekende 3D-structuur van de kamer om de persoon precies op de vloer te zetten, zodat hij niet zweeft en niet door de meubels heen loopt. Het is alsof je een 3D-puzzel maakt waarbij de stukjes perfect in elkaar grijpen.

Waarom is dit zo speciaal?

De auteurs hebben dit proces gebruikt om een gigantische dataset te maken genaamd InHabitants.

Grootte: Ze hebben ongeveer 800 grote gebouwen (zoals huizen, kantoren, winkels) volledig gevuld met 78.000 unieke scènes.
Diversiteit: Je ziet mensen niet alleen zitten, maar ook leunen, reiken, praten met elkaar, of zelfs op een trap zitten.
Realisme: In een test met mensen vonden deelnemers in 78% van de gevallen dat de door InHabit gegenereerde mensen veel natuurlijker en realistischer waren dan die van andere methodes.

Het Resultaat: Een Trainingsgids voor Robots

Waarom doen we dit allemaal? Om robots en virtuele agenten slimmer te maken.
Als je een robot wilt leren hoe hij een huis moet schoonmaken of hoe hij een mens moet helpen, moet je hem eerst laten zien hoe mensen dat doen. InHabit levert die enorme hoeveelheid "trainingsmateriaal" aan.

Het is alsof je een robot wilt leren koken. In plaats van hem duizend keer zelf te laten oefenen (wat gevaarlijk en duur is), geef je hem een boek met 78.000 foto's van mensen die perfect koken in verschillende keukens. Dankzij dit boek leert de robot veel sneller en beter hoe hij zich in een echte keuken moet gedragen.

Kortom: InHabit pakt de slimme kennis van internet (wat mensen doen in hun huizen) en vertaalt dit naar een 3D-wereld, zodat robots en computers eindelijk kunnen begrijpen hoe wij mensen onze wereld bewonen.

Probleemstelling

Het trainen van ingebouwde agenten (embodied agents) om 3D-scènes te begrijpen zoals mensen dat doen, vereist grote hoeveelheden data waarin mensen betekenisvol interageren met diverse omgevingen (bijv. koken, zitten, leunen). Huidige data is echter schaars:

Real-world motion capture: Is extreem kostbaar, logistiek moeilijk en beperkt tot gecontroleerde studio-omgevingen. Bestaande datasets bevatten vaak minder dan 30 scènes.
Synthetische data: Bestaande methoden vertrouwen op simpele geometrische heuristieken (zoals botsingsvermijding) die de rijke semantische context van een scène negeren. Mensen worden hierdoor vaak op onnatuurlijke plekken geplaatst zonder rekening te houden met wat er in die specifieke ruimte gebeurt.
2D Foundation Models: Deze modellen, getraind op internetdata, hebben wel impliciet "commonsense" kennis over mens-omgeving interacties verworven, maar deze kennis is nog niet effectief vertaald naar de 3D-domein voor schaalbare data-generatie.

Methodologie: InHabit

InHabit is een volledig geautomatiseerde en schaalbare data-generator die een "render–generate–lift" principe hanteert om 3D-scènes te vullen met interactieve mensen. Het proces bestaat uit vier hoofdfasen:

Renderen en Scène-Aware Planning (2D):
- Een bestaande 3D-scène (bijv. een HM3D scan) wordt gerendert vanuit verschillende camera-punten.
- Een Vision-Language Model (VLM) analyseert de gerendeerde afbeelding en stelt contextueel betekenisvolle acties voor op basis van de zichtbare objecten en de "affordances" (wat de ruimte mogelijk maakt). Bijvoorbeeld: een keuken suggereert koken, een slaapkamer ligt.
- Om de diversiteit te vergroten, wordt ook een "actie-gedreven" strategie gebruikt waarbij de VLM specifieke acties (zoals "staan") in de context van de scène plaatst (bijv. "staan op een stoel om een lamp te vervangen").
- Een Image-Editing Model (een foundation model) genereert vervolgens realistische mensfiguren die deze acties uitvoeren in de gerendeerde afbeelding. Dit model past houding, proporties en plaatsing automatisch aan aan de lokale scène-context.
Liften naar 3D (3D Reconstruction):
- De gegenereerde 2D-afbeeldingen worden teruggeworpen naar de 3D-wereld.
- Het systeem gebruikt een bekende, complete 3D-scène-geometrie (mesh) om de menselijke figuren te lokaliseren.
- Er wordt een monoculaire dieptekaart geschat voor de gegenereerde mens en deze wordt omgezet in een 3D-puntwolk.
- Een optimalisatieprocedure past de parameters van een SMPL-X menselijk lichaam (houding $\theta$ , vorm $\beta$ , translatie $t$ , en schaal $s$ ) aan om deze uit te lijnen met de scène-geometrie.
- De optimalisatie-minimaliseert een objectieve functie die bestaat uit:
  - 2D-projectie consistentie ( $L_{proj}$ ).
  - Diepte-uitlijning ( $L_{depth}$ ).
  - Realistische contacten met oppervlakken ( $L_{contact}$ ).
  - Straf voor penetratie in de scène ( $L_{penetration}$ ).
  - Regularisatie ( $L_{reg}$ ).
- Een expliciete schaalparameter ( $s$ ) wordt geïntroduceerd om de metrische grootte te controleren zonder de lichaamsvorm te verstoren.
Schaalbaarheid:
- Het proces wordt geautomatiseerd over duizenden scènes en camera-punten.
- Er wordt gefilterd op geschikte viewpoints (bijv. zicht op de vloer en diepte van de ruimte) om zinvolle interacties mogelijk te maken.
- Voor lege ruimtes wordt de prompt-strategie aangevuld met tekstuele beschrijvingen van houdingen (uit PoseScript) om diversiteit te garanderen.
Post-Reconstructie Filtering:
Om artefacten te verwijderen die door de image-editing modellen kunnen worden geïntroduceerd, worden drie filters toegepast:
- Zichtbaarheidsfilter: Verwijdert mensen die in spiegels zijn geplaatst of sterk afgesneden zijn.
- Diepte-gebaseerd filter: Detecteert hallucinaties in de omgeving (bijv. verplaatst meubilair) door de diepte van de bewerkte afbeelding te vergelijken met de originele scène-geometrie.
- Volumefilter: Verwijdert onrealistische mesh-volumes (bijv. kinderen die te klein zijn voor het SMPL-X model, of posters die als mensen worden geïnterpreteerd).

Belangrijkste Bijdragen

InHabit: Een volledig geautomatiseerde methode voor het genereren van semantisch betekenisvolle mens-scène interacties in 3D, die VLM's, generatieve beeldmodellen en optimalisatie combineert.
InHabitants Dataset: De eerste grote schaal 3D HSI-dataset (Human-Scene Interaction) met 78.000+ samples verspreid over ~800 gebouw-schaal scènes (uit Habitat-Matterport3D). De dataset bevat complete 3D-geometrie, RGB-afbeeldingen en gealigneerde SMPL-X menselijke meshes.
Validatie: Kwantitatief en kwalitatief bewijs dat synthetische data van InHabit de staat van de kunst (SOTA) verbetert voor contact-schatting en 3D-reconstructie.

Resultaten

Kwalitatieve Vergelijking: InHabit produceert veel natuurlijkere en contextbewustere interacties dan bestaande methoden zoals GenZI en POSA++. Terwijl POSA++ vaak leidt tot fysiek onmogelijke houdingen (bijv. voeten tegen een muur), begrijpt InHabit de semantiek van de scène (bijv. leunen op een aanrecht, zitten op een bank).
User Study: In een perceptuele studie werd InHabit in 78% van de gevallen verkozen boven GenZI (6,7%) en POSA++ (15,2%) op basis van realisme, fysieke haalbaarheid en natuurlijkheid van de houding.
Contact Schatting (DAMON): Het trainen van de contact-schatting methode DECO met InHabit-data resulteerde in een 10,6% verbetering in Recall en 7,4% in F1-score ten opzichte van training alleen op de DAMON dataset. Dit is opmerkelijk omdat InHabit volledig automatisch gegenereerd is, terwijl alternatieven zoals TRUMANS labor-intensive motion capture vereisen.
3D Reconstructie (PROX & RICH): Modellen zoals Human3R en GRAFT, getraind op InHabit-data, presteerden beter op benchmarks voor mens-omgeving reconstructie dan wanneer ze alleen op hun oorspronkelijke data waren getraind. GRAFT getraind op InHabit kon zelfs generaliseren naar outdoor-scènes (RICH), ondanks dat het alleen op indoor-data was getraind.

Betekenis

InHabit doorbreekt de knelpunten in de data-schaarste voor embodied AI. Het toont aan dat 2D foundation models voldoende kennis bevatten van mens-omgeving interacties om als een schaalbaar en kosteneffectief alternatief te dienen voor dure 3D motion capture. De geproduceerde InHabitants dataset biedt een unieke combinatie van schaal (800 scènes), semantische rijkdom en fysieke consistentie, wat essentieel is voor het trainen van robotten en AI-agenten die complexe menselijke interacties in realistische omgevingen moeten begrijpen en uitvoeren.