💻 computer science

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement

Het artikel introduceert HOMIE, een verenigd framework voor mens-object-gecentreerde video-personalisatie dat een nieuwe MLLM-integratiestrategie benut met globale multimodale begeleiding en modaliteit-referentie-embeddings om simultaan een hoge subjectgetrouwheid en nauwkeurige mens-objectinteractiepatronen te bereiken.

Oorspronkelijke auteurs: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een kamer vol digitale kunstenaars bent, maar in plaats van penseelstreken zwaaien zij met magische toverstaven gemaakt van code. Dit is de wereld van AI-videogeneratie, een veld waar computers leren om bewegende beelden te dromen uit eenvoudige tekstbeschrijvingen. Lange tijd waren deze digitale dromers goed in het maken van landschappen of abstracte kunst, maar ze hadden moeite wanneer erom werd gevraagd om specifieke personages in een scène te plaatsen en hen specifieke dingen te laten doen. Het is also kind een chef vragen een maaltijd te koken, maar hem alleen een vaag idee van de ingrediënten geven; het resultaat ziet er misschien heerlijk uit, maar het smaakt zelden naar wat je eigenlijk wilde.

Twee grote ideeën maken deze magie mogelijk. Ten eerste is er video-personalisatie, wat lijkt op het leren van de AI om een specifieke vriend of een favoriet speeltje te herkennen, zodat het hen in elk verhaal dat je vertelt kan plaatsen. Ten tweede is er Human-Object Interaction (mens-objectinteractie), het lastige deel om ervoor te zorgen dat die vriend ook echt het speeltje vasthoudt, een deur opent, of drinkt uit een beker, in plaats van er alleen maar naast te zweven. De uitdaging is geweest om de computer niet alleen te laten begrijpen wie er in de video is, maar ook hoe diegene zich verhoudt tot de objecten eromheen, vooral wanneer die objecten vreemde dingen zijn zoals een specifiek merklogo of een tekstlabel op een shirt. Als de AI dit fout doet, ziet de video eruit als een glitchy droom waarin mensen door muren heen glippen of onzichtbare voorwerpen vasthouden.

Maak kennis met HOMIE (Human-object Centric Video Personalization via Multimodal Intelligent Enhancement), een nieuw framework van onderzoekers van de Hong Kong University of Science and Technology dat probeert deze glitches op te lossen. Denk aan HOMIE als een superintelligente regisseur die niet alleen het script leest, maar ook een fotoalbum van de acteurs en de attributen bestudeert voordat de opnames beginnen.

Het paper pakt twee belangrijke problemen aan waar vorige regisseurs (AI-modellen) mee worstelden. Het eerste is het "Inter-Subject"-probleem: wanneer je een mens en een object hebt (zoals een persoon en een koffiekopje), heeft de AI vaak moeite om ze correct te laten interageren, vooral als het object iets abstracts is zoals een logo. Het is alsof de AI wel weet wat een "beker" is, maar niet weet dat het "COSTA"-logo op dat specifieke kopje thuishoort. Het tweede is het "Intra-Subject"-probleem: soms wil je hetzelfde object vanuit verschillende hoeken laten zien of met tekst erop (zoals een OCR-kaart van een bord). Vorige modellen raakten vaak in de war en behandelden deze verschillende aanzichten als totaal andere objecten, of ze konden de tekst niet correct lezen.

Om dit op te lossen, introduceert HOMIE een slimme nieuwe manier om een Multimodal Large Language Model (MLLM) te gebruiken. Je kunt een MLLM zien als een zeer goed onderlegde assistent die miljoens afbeeldingen heeft gezien en weet hoe dingen met elkaar samenhangen. Vorige methoden probeerden deze assistent de hele script te laten herschrijven (de tekstencoder), wat rommelig en duur was. HOMIE houdt echter de oorspronkelijke scenarist aan, maar laat de assistent specifieke instructies rechtstreeks naar de cameracrew fluisteren.

Het paper stelt twee belangrijke instrumenten voor om dit werkend te krijgen:

Global Multimodal Guidance (GMG): Stel je voor dat de AI frame voor frame naar een video kijkt. GMG is als een spotlight die schijnt op het "grote plaatje"-begrip van de assistent. Het neemt de kennis van de assistent over hoe een mens met een object moet interageren en injecteert dit direct in het self-attention mechanisme van de video. Dit helpt de AI te begrijpen dat het logo op de beker moet zitten, en niet op de bank, zonder dat dit expliciet in de prompt hoeft te staan.
Modality-Reference Embedding (MRE): Dit is alsof je de AI een set kleurgecodeerde labels geeft. Als je de AI drie foto's van dezelfde persoon vanuit verschillende hoeken laat zien, of een foto van een bord en een video van datzelfde bord, geeft MRE al deze zaken dezelfde "identiteitskleur". Dit vertelt de AI: "Hé, dit zijn allemaal hetzelfde ding!" waardoor het voorkomt dat de AI in de war raakt en ze als verschillende personages behandelt.

De onderzoekers hebben HOMIE getest tegen andere top-tier AI-videogeneratoren. Ze ontdekten dat HOMIE beter was in het consistent houden van personages, het opvolgen van tekstinstructies en het afhandelen van lastige interacties zoals logo's op bekers of het lezen van tekst op borden. In hun tests verbeterde HOMIE de nauwkeurigheid van het lezen van tekst (OCR) met ongeveer 21,8% vergeleken met een van de leidende concurrenten. Wanneer ze menselijke vrijwilligers vroegen om de beste video's te kiezen, won HOMIE de meerderheid van de keren, met een score van ongeveer 66,1% voor subjectconsistentie en 64,7% voor het opvolgen van tekst.

Het paper suggereert dat door het "wie" (de identiteit) te scheiden van het "wat" (het object) en een slimme assistent te gebruiken om de interactie te begeleiden, we AI-video's kunnen maken die veel echter aanvoelen en minder als een hallucinatie. Hoewel de auteurs niet beweren dat ze elk probleem in videogeneratie hebben opgelost, laten hun experimenten zien dat deze specifieke aanpak van het combineren van multimodale kennis met zorgvuldig tokenbeheer een significante stap voorwaarts is in het slimmer en betrouwbaarder maken van AI-video-personalisatie.

Technische Samenvatting: HOMIE – Human-object Centric Video Personalization via Multimodal Intelligent Enhancement

1. Probleemstelling

Human-object centric video personalization (HOCVP) is een cruciale taak binnen subject-gestuurde videogeneratie, gericht op het synthetiseren van video's met diverse interacties tussen mensen en objecten op basis van referentieafbeeldingen. Ondanks recente vooruitgang kampen bestaande methoden met twee primaire beperkingen:

Inter-Subject Uitdagingen: Huidige benaderingen worstelen met het balanceren van een hoge subject-getrouwheid (fidelity) met accurate interactiepatronen, vooral bij het werken met meerdere subjects of abstracte concepten (bijv. logo's). Ze produceren vaak copy-paste artefacten, vertonen een beperkte expressiviteit en missen de inferentiële redenering die nodig is om abstracte referenties correct binnen een scène te plaatsen zonder expliciete prompt-instructies.
Intra-Subject Uitdagingen: Hoewel intra-subject referenties (zoals multi-view afbeeldingen of OCR-kaarten) bedoeld zijn om getrouwheid en consistentie te verbeteren, ontbreken in bestaande werken mechanismen om de latente correspondentie tussen deze meerdere referenties te begrijpen. Bijgevolg slagen modellen er vaak niet in om multi-view consistentie of tekstgetrouwheid te verbeteren, waarbij ze verschillende weergaven van hetzelfde object soms behandelen als afzonderlijke entiteiten.

De kern van de moeilijkheid ligt in het effectief integreren van Multimodal Large Language Models (MLLMs). Eerdere strategieën of stemmen de MLLM-features af op de tekst-embeddingruimtes (wat de controleerbaarheid vermindert en de feature-ruimte beperkt) of vervangen de tekstencoders volledig door MLLMs (wat hoge kosten voor her-uitlijning met zich meebrengt en het model afleidt van zijn primaire controle-taken).

2. Methodologie

De auteurs stellen HOMIE voor, een verenigd framework ontworpen om zowel inter- als intra-subject HOCVP-scenario's aan te pakken door gebruik te maken van MLLM-kennis zonder de controleerbaarheid van het onderliggende video-diffusiemodel in gevaar te brengen. De architectuur is gebouwd op een DiT-gebaseerde text-to-video backbone (specifiek Wan2.1-14B en Wan2.2-14B) en introduceert drie belangrijke innovaties:

2.1 Multimodale Input Paradigma

HOMIE hanteert een verenigde inputstroom bestaande uit:

Video Tokens ( $F_v$ ): Latente representaties van de doelvideo.
Referentie Afbeelding Tokens ( $F_r$ ): Geëncodeerde referentieafbeeldingen.
Multimodale Features ( $F_M$ ): Hoog-semantische features geëxtraheerd door een MLLM (Qwen3-VL-2B-Thinking) uit de combinatie van systeem-prompts, gebruikers-prompts en referentieafbeeldingen.

In tegen tegenstelling tot methoden die MLLM-features direct samenvoegen met tekst-embeddings, concateneert HOMIE $F_M$ direct met de latente video- en referentietokens ( $F = [F_v \oplus F_r \oplus F_M]$ ) om intrinsieke cross-modale interactie te faciliteren.

2.2 Global Multimodal Guidance (GMG)

Om de distributieve kloof tussen MLLM-features en 3D VAE-tokens aan te pakken, en om stabiele temporele controle te garanderen, introduceert HOMIE Global Multimodal Guidance.

Mechanisme: Tijdens de self-attention query-key berekening worden de MLLM query- ( $Q_M$ ) en key-matrices ( $K_M$ ) gepooled langs de temporele dimensie om globale representaties ( $\tilde{Q}_M, \tilde{K}_M$ ) te creëren.
Modulatie: Deze globale representaties worden door lichtgewicht projectienetwerken ( $\gamma, \beta$ ) geleid om schaalings- en verschuivingsfactoren af te leiden. Deze factoren worden via een affine transformatie toegepast op de video token queries ( $Q_v$ ) en keys ( $K_v$ ).
Effect: Dit injecteert hoogwaardige semantische sturing in het videogeneratieproces, wat de semantische redenering en interactiemodellering verbetert zonder de natuurlijke self-attention patronen van de referentieafbeeldingen te wijzigen.

2.3 Modality-Reference Embedding (MRE)

Om onderscheid te maken tussen verschillende inputmodaliteiten en de complexe relaties tussen meerdere referenties te beheren, stelt HOMIE Modality-Reference Embedding voor.

Modality Embeddings (ME): Leerbare vectoren worden toegevoegd aan tokens op basis van hun bron (video, referentieafbeelding of MLLM-features) om het model te helpen heterogene inputs te ontwarren.
Reference Embeddings (RE): Leerbare vectoren worden toegewezen aan referentietokens op basis van hun identiteit. Cruciaal is dat meerdere afbeeldingen die hetzelfde subject vertegenwoordigen (intra-subject) dezelfde reference embedding delen, terwijl verschillende subjects (inter-subject) unieke embeddings ontvangen.
Effect: Dit stelt het model in staat om intra-subject referenties te binden (het verbeteren van consistentie voor multi-view of OCR-inputs) terwijl er toch onderscheidende identiteiten behouden blijven voor inter-subject interacties.

2.4 Trainingsstrategie

Het model wordt getraind met een flow matching paradigma op een gecureerde dataset afgeleid van OpenS2V-5M en PhantomData, aangevuld met een door de auteurs zelf samengestelde hoogwaardige subset van 20K HOC video clips. De training maakt gebruik van een drie-fasen tuningstrategie over ongeveer 11K GPU-uren.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Verenigd Framework: De voorstel van HOMIE, een framework dat zowel inter- als intra-subject HOCVP-taken verenigt, versterkt door MLLM-kennis.
Global Multimodal Guidance (GMG): Een nieuw mechanisme dat multimodale features in video tokens injecteert via self-attention modulatie, wat de semantische redenering en interactiemodellering verbetert zonder kostbare her-uitlijning.
Modality-Reference Embedding (MRE): Een leerbaar module die token-modaliteiten onderscheidt en intra-subject associaties vastlegt, wat de identiteitsgetrouwheid in complexe referentiescenario's aanzienlijk verbetert.

4. Experimentele Resultaten

Uitgebreide evaluaties werden uitgevoerd op een zelf-gecureerde dataset van 200 mens-object combinaties, die diverse inter- en intra-subject instellingen beslaan.

Kwantitatieve Prestaties: HOMIE bereikt state-of-the-art (SOTA) prestaties onder open-source methoden op het gebied van videokwaliteit (Aesthetic Score, Motion Smoothness) en tekstgetrouwheid (GMEScore). Opvallend genoeg vertoont het een relatieve verbetering van 21,8% in OCR-nauwkeurigheid ten opzichte van de vorige beste (SkyReels-V3) en behaalt het de hoogste Object Similarity (Obj-Sim) en Face Similarity scores.
Intra-Subject Consistentie: In multi-view scenario's presteert HOMIE beter dan baselines in DINO-gebaseerde metrieken (DINOrec, DINOacc), wat een superieure bekwaamheid aantoont in het synthetiseren van diverse weergaven van hetzelfde object terwijl de getrouwheid behouden blijft.
Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat HOMIE succesvol complexe 4-subject interacties en abstracte logo-plaatsingen (bijv. het bevestigen van een "COSTA" logo aan een kopje) afhandelt waar andere modellen falen in het redeneren over de relatie of waarbij de subjects gedegradeerd worden. In intra-subject taken interpreteert HOMIE OCR-kaarten en multi-view inputs correct, terwijl baselines deze vaak behandelen als afzonderlijke, ongerelateerde subjects.
Gebruikersstudie: In een studie met 40 deelnemers werd HOMIE verkozen boven baselines (Kling, Phantom, SkyReels-V3, UniVideo) op het gebied van Subject Consistentie, Tekstgetrouwheid en Algemene Kwaliteit.

5. Betekenis en Claims

Het artikel positioneert HOMIE als een belangrijke stap voorwaarts in controleerbare videogeneratie door de specifieke beperkingen van huidige MLLM-integratiestrategieën aan te pakken. De auteurs claimen dat door de tekstencoder te behouden en gerichte sturing (GMG) en embedding-mechanismen (MRE) te introduceren, HOMIE erin slaagt om relaties op referentieniveau te extraheren zonder de controleerbaarheid van tekstencoders te ondermijnen of de hoge kosten van volledige model her-uitlijning te dragen.

Het framework wordt gepresenteerd als een robuuste oplossing voor real-world deployment scenario's die een hoge mate van getrouwheid in mens-object interacties vereisen, met name in gevallen die abstracte concepten (logo's) en de noodzaak voor consistente multi-view of tekst-verrijkte objectrepresentaties inhouden. Het werk valideert dat een verenigde aanpak voor inter- en intra-subject personalisatie haalbaar is en superieur is aan het behandelen van deze componenten in isolatie.