💻 computer science

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement

El artículo presenta HOMIE, un marco unificado para la personalización de video centrada en el humano y el objeto que aprovecha una novedosa estrategia de integración de MLLM con guía multimodal global y embebidos de referencia de modalidad para lograr simultáneamente una alta fidelidad del sujeto y patrones de interacción humano-objeto precisos.

Autores originales: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una habitación llena de artistas digitales, pero en lugar de pinceles, empuñan varitas mágicas hechas de código. Este es el mundo de la generación de video por IA, un campo donde las computadoras aprenden a soñar con imágenes en movimiento a partir de simples descripciones de texto. Durante mucho tiempo, estos soñadores digitales fueron excelentes creando paisajes o arte abstracto, pero tuvieron dificultades cuando se les pedía poner personajes específicos en una escena y hacer que realizaran acciones específicas. Es como pedirle a un chef que cocine una comida pero solo darle una idea vaga de los ingredientes; el resultado puede parecer delicioso, pero rara vez tiene el sabor que realmente querías.

Dos grandes ideas hacen que esta magia sea posible. Primero, está la personalización de video, que es como enseñarle a la IA a reconocer a un amigo específico o un juguete favorito para que pueda ponerlo en cualquier historia que le cuentes. Segundo, la Interacción Humano-Objeto, que es la parte complicada de asegurar que ese amigo realmente sostiene el juguete, abre una puerta o bebe de una taza, en lugar de simplemente flotar junto a ella. El desafío ha sido lograr que la computadora entienda no solo quién está en el video, sino cómo se relaciona con los objetos que lo rodean, especialmente cuando esos objetos son cosas extrañas como un logotipo de una marca específica o una etiqueta de texto en una camiseta. Si la IA se equivoca, el video parece un sueño glitchy donde las personas atraviesan paredes o sostienen objetos invisibles.

Entra HOMIE (Human-object Centric Video Personalization via Multimodal Intelligent Enhancement), un nuevo marco de trabajo de investigadores de la Universidad de Ciencia y Tecnología de Hong Kong que intenta solucionar estos fallos. Piensa en HOMIE como un director superinteligente que no solo lee el guion, sino que también estudia un álbum de fotos de los actores y la utilería antes de que comience el rodaje.

El artículo aborda dos problemas principales con los que los directores anteriores (modelos de IA) han tenido dificultades. El primero es el problema "Inter-Sujeto": cuando tienes un humano y un objeto (como una persona y una taza de café), la IA a menudo tiene dificultades para hacer que interactúen correctamente, especialmente si el objeto es algo abstracto como un logotipo. Es como si la IA supiera qué es una "taza", pero no supiera que el logotipo "COSTA" pertenece a esa taza específica. El segundo es el problema "Intra-Sujeto": a veces quieres mostrar el mismo objeto desde diferentes ángulos o con texto en él (como un mapa OCR de un letrero). Los modelos anteriores a menudo se confundían, tratando estas diferentes vistas como objetos totalmente distintos, o no podían leer el texto correctamente.

Para resolver esto, HOMIE introduce una nueva y astuta forma de utilizar un Modelo de Lenguaje Grande Multimodal (MLLM). Puedes pensar en un MLLM como un asistente muy culto que ha visto millones de imágenes y sabe cómo se relacionan las cosas entre sí. Los métodos anteriores intentaban forzar a este asistente a reescribir todo el guion (el codificador de texto), lo cual era desordenado y costoso. HOMIE, sin embargo, mantiene al guionista original pero deja que el asistente le susurre instrucciones específicas directamente al equipo de cámara.

El artículo propone dos herramientas clave para que esto funcione:

Guía Multimodal Global (GMG): Imagina que la IA está viendo un video fotograma a fotograma. La GMG es como un reflector que ilumina la comprensión de la "imagen general" que tiene el asistente. Toma el conocimiento del asistente sobre cómo un humano debe interactuar con un objeto e inyecta esa información directamente en el mecanismo de autoatención del video. Esto ayuda a la IA a entender que el logotipo debe ir en la taza, no en el sofá, sin necesidad de que se le diga explícitamente en el prompt.
Incrustación de Referencia de Modalidad (MRE): Esto es como darle a la IA un conjunto de etiquetas codificadas por colores. Si le muestras a la IA tres fotos de la misma persona desde diferentes ángulos, o una foto de un letrero y un video de ese mismo letrero, la MRE etiqueta todos con el mismo "color de identidad". Esto le dice a la IA: "¡Oye, estas son todas la misma cosa!", evitando que se confunda y trate a estos como personajes separados.

Los investigadores probaron HOMIE contra otros generadores de video de alto nivel. Encontraron que HOMIE era mejor manteniendo la consistencia de los personajes, siguiendo las instrucciones de texto y manejando interacciones complicadas como logotipos en tazas o la lectura de texto en letreros. En sus pruebas, HOMIE mejoró la precisión de la lectura de texto (OCR) en aproximadamente un 21.8% en comparación con uno de los competidores líderes. Cuando preguntaron a voluntarios humanos cuál era el mejor video, HOMIE ganó la mayoría de las veces, obteniendo alrededor de un 66.1% para la consistencia del sujeto y un 64.7% para el seguimiento de texto.

El artículo sugiere que, al separar el "quién" (la identidad) del "qué" (el objeto) y usar un asistente inteligente para guiar la interacción, podemos crear videos de IA que se sientan mucho más reales y menos como una alucinación. Aunque los autores no afirman haber resuelto todos los problemas de la generación de video, sus experimentos muestran que este enfoque específico de combinar el conocimiento multimodal con una gestión cuidadosa de los tokens es un paso significativo hacia una personalización de video por IA más inteligente y confiable.

Resumen Técnico: HOMIE – Personalización de Vídeo Centrada en Humanos y Objetos mediante Mejora Inteligente Multimodal

1. Planteamiento del Problema

La personalización de vídeo centrada en humanos y objetos (HOCVP, por sus siglas en inglés) es una tarea crítica en la generación de vídeo dirigida por sujetos, cuyo objetivo es sintetizar vídeos que presenten diversas interacciones entre humanos y objetos basándose en imágenes de referencia. A pesar de los avances recientes, los métodos existentes enfrentan dos limitaciones primordiales:

Desafíos Inter-Sujeto: Los enfoques actuales luchan por equilibrar una alta fidelidad del sujeto con patrones de interacción precisos, particularmente al tratar con múltiples sujetos o conceptos abstractos (por ejemplo, logotipos). A menudo producen artefactos de "copiar y pegar", exhiben una expresividad restringida y carecen del razonamiento inferencial necesario para colocar correctamente referencias abstractas dentro de una escena sin instrucciones de prompt explícitas.
Desafíos Intra-Sujeto: Si bien las referencias intra-sujeto (como imágenes de múltiples vistas o mapas OCR) tienen la intención de mejorar la fidelidad y la consistencia, los trabajos existentes carecen de mecanismos para comprender la correspondencia latente entre estas múltiples referencias. En consecuencia, los modelos a menudo no logran mejorar la consistencia de las múltiples vistas o la fidelidad del texto, tratando en ocasiones vistas distintas del mismo objeto como entidades separadas.

La dificultad central reside en integrar eficazmente los Modelos de Lenguaje de Gran Escala Multimodales (MLLM). Las estrategias previas o alinean las características del MLLM con los espacios de incrustación de texto (disminuyendo la capacidad de control y limitando el espacio de características) o reemplazan por completo los codificadores de texto con MLLMs (lo que incurre en altos costos de realineación y distrae al modelo de sus tareas principales de control).

2. Metodología

Los autores proponen HOMIE, un marco unificado diseñado para manejar escenarios de HOCVP tanto inter- como intra-sujeto, aprovechando el conocimiento de los MLLM sin comprometer la capacidad de control del modelo de difusión de vídeo subyacente. La arquitectura se basa en un backbone de texto-a-vídeo basado en DiT (específicamente Wan2.1-14B y Wan2.2-14B) e introduce tres innovaciones clave:

2.1 Paradigma de Entrada Multimodal

HOMIE adopta un flujo de entrada unificado que comprende:

Tokens de Vídeo ( $F_v$ ): Representaciones latentes del vídeo objetivo.
Tokens de Imagen de Referencia ( $F_r$ ): Imágenes de referencia codificadas.
Características Multimodales ( $F_M$ ): Características de alta semántica extraídas por un MLLM (Qwen3-VL-2B-Thinking) a partir de la combinación de prompts de sistema, prompts de usuario e imágenes de referencia.

A diferencia de los métodos que concatenan las características del MLLM directamente en las incrustaciones de texto, HOMIE concatena $F_M$ directamente con los tokens de vídeo latente y de referencia ( $F = [F_v \oplus F_r \oplus F_M]$ ) para facilitar la interacción intrínseca entre modalidades.

2.2 Guía Multimodal Global (GMG)

Para abordar la brecha de distribución entre las características del MLLM y los tokens 3D VAE, y para asegurar un control temporal estable, HOMIE introduce la Guía Multimodal Global.

Mecanismo: Durante la computación de consulta-clave (query-key) de la autoatención, las matrices de consulta ( $Q_M$ ) y clave ( $K_M$ ) del MLLM se agrupan a lo largo de la dimensión temporal para crear representaciones globales ( $\tilde{Q}_M, \tilde{K}_M$ ).
Modulación: Estas representaciones globales se pasan a través de redes de proyección ligeras ( $\gamma, \beta$ ) para derivar factores de escala y desplazamiento (scaling y shifting). Estos factores se aplican mediante una transformación afín a las consultas ( $Q_v$ ) y claves ( $K_v$ ) de los tokens de vídeo.
Efecto: Esto inyecta una guía semántica de alto nivel en el proceso de generación de vídeo, mejorando el razonamiento semántico y el modelado de la interacción sin alterar los patrones nativos de autoatención de las imágenes de referencia.

2.3 Incrustación de Modalidad-Referencia (MRE)

Para distinguir entre diferentes modalidades de entrada y gestionar las relaciones complejas entre múltiples referencias, HOMIE propone la Incrustación de Modalidad-Referencia.

Incrustaciones de Modalidad (ME): Vectores aprendibles que se añaden a los tokens según su origen (vídeo, imagen de referencia o características de MLLM) para ayudar al modelo a desentrañar entradas heterogéneas.
Incrustaciones de Referencia (RE): Vectores aprendibles asignados a los tokens de referencia según su identidad. Crucialmente, múltiples imágenes que representan el mismo sujeto (intra-sujeto) comparten la misma incrustación de referencia, mientras que los distintos sujetos (inter-sujeto) reciben incrustaciones únicas.
Efecto: Esto permite al modelo vincular las referencias intra-sujeto (mejorando la consistencia para entradas de múltiples vistas u OCR) manteniendo identidades distintas para las interacciones inter-sujeto.

2.4 Estrategia de Entrenamiento

El modelo se entrena utilizando un paradigma de coincidencia de flujo (flow matching) sobre un conjunto de datos curado derivado de OpenS2V-5M y PhantomData, aumentado con un subconjunto de alta calidad autocurado de 20K clips de vídeo HOC. El entrenamiento emplea una estrategia de ajuste de tres etapas durante aproximadamente 11K horas de GPU.

3. Contribuciones Clave

El artículo reclama tres contribuciones principales:

Marco Unificado: La propuesta de HOMIE, un marco que unifica las tareas de HOCVP inter- y intra-sujeto, potenciado por el conocimiento de MLLM.
Guía Multimodal Global (GMG): Un mecanismo novedoso que inyecta características multimodales en los tokens de vídeo mediante la modulación de la autoatención, mejorando el razonamiento semántico y el modelado de la interacción sin una realineación costosa.
Incrustación de Modalidad-Referencia (MRE): Un módulo aprendible que distingue las modalidades de los tokens y captura las asociaciones intra-sujeto, mejorando significativamente la fidelidad de la identidad en escenarios de referencia complejos.

4. Resultados Experimentales

Se realizaron evaluaciones exhaustivas en un conjunto de datos autocurado de 200 combinaciones humano-objeto, cubriendo diversos entornos inter- y intra-sujeto.

Rendimiento Cuantitativo: HOMIE logra un rendimiento de vanguardia (SOTA) entre los métodos de código abierto en calidad de vídeo (Puntuación Estética, Suavidad de Movimiento) y seguimiento de texto (GMEScore). Notablemente, demuestra una mejora relativa del 21.8% en la precisión de OCR respecto al mejor anterior (SkyReels-V3) y alcanza las puntuaciones más altas en Similitud de Objeto (Obj-Sim) y Similitud de Rostro.
Consistencia Intra-Sujeto: En escenarios de múltiples vistas, HOMIE supera a las líneas base en métricas basadas en DINO (DINOrec, DINOacc), demostrando una capacidad superior para sintetizar diversas vistas del mismo objeto manteniendo la fidelidad.
Análisis Cualitativo: Las comparaciones visuales muestran que HOMIE maneja con éxito interacciones complejas de 4 sujetos y la colocación de logotipos abstractos (por ejemplo, colocar un logotipo "COSTA" en una taza) donde otros modelos fallan al razonar la relación o producen sujetos degradados. En tareas intra-sujeto, HOMIE interpreta correctamente los mapas OCR y las entradas de múltiples vistas, mientras que las líneas base a menudo los tratan como sujetos distintos y no relacionados.
Estudio de Usuario: En un estudio con 40 participantes, HOMIE fue preferido sobre las líneas base (Kling, Phantom, SkyReels-V3, UniVideo) en las métricas de Consistencia de Sujeto, Seguimiento de Texto y Calidad General.

5. Significación y Reclamaciones

El artículo posiciona a HOMIE como un paso significativo hacia la generación de vídeo controlable al abordar las limitaciones específicas de las estrategias actuales de integración de MLLM. Los autores afirman que, al preservar el codificador de texto e introducir una guía dirigida (GMG) y mecanismos de incrustación (MRE), HOMIE extrae con éxito las relaciones a nivel de referencia sin comprometer la capacidad de control de los codificadores de texto ni incurrir en los altos costos de una realineación total del modelo.

El marco se presenta como una solución robusta para escenarios de despliegue en el mundo real que requieren interacciones humano-objeto de alta fidelidad, particularmente en casos que involucran conceptos abstractos (logotipos) y la necesidad de representaciones de objetos consistentes de múltiples vistas o mejoradas por texto. El trabajo valida que un enfoque unificado para la personalización inter- y intra-sujeto es factible y superior a tratar estos componentes de forma aislada.