When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation

Imagina que estás viendo una película donde el director le pide a la computadora: "Muéstrame a una persona bailando en una ciudad famosa". En el mundo de la inteligencia artificial, esto se llama generación de "texto a video". Durante mucho tiempo, el objetivo principal fue simplemente hacer que el video pareciera real, como si la persona realmente existiera y la iluminación fuera la correcta. Pero hay un problema oculto: las computadoras suelen ser pésimas entendiendo la cultura. Pueden saber qué es un "baile", pero no conocen la diferencia entre una danza tradicional con abanicos chinos, una rutina de hip-hop estadounidense o una danza folclórica rumana. Podrían mezclarlas o, peor aún, crear una versión extraña y genérica que no se sienta como ninguna de ellas. Esto importa porque, a medida que la IA comience a crear videos para historias, educación y anuncios, no queremos que accidentalmente borre tradiciones o invente estereotipos falsos. Queremos que acierte en los detalles, especialmente cuando una escena mezcla personas, acciones y lugares de diferentes partes del mundo.

Este artículo aborda ese problema exacto introduciendo una nueva forma de enseñar a la IA cómo manejar escenas "multiculturales". Los investigadores construyeron un conjunto de pruebas especial (un benchmark) con 243 prompts diferentes y 972 videos para ver qué tan bien pueden los modelos de IA actuales manejar la mezcla de culturas. Descubrieron que los modelos de IA estándar tienen dificultades cuando se les pide combinar, por ejemplo, a una persona estadounidense comiendo comida china en un castillo rumano. Para solucionar esto, probaron un truco ingenioso llamado MAVEN (Enriquecimiento de Narrativa Cultural para Multi-Agentes). En lugar de pedirle a un gran cerebro de IA generalista que lo haga todo, dividieron el trabajo en tres agentes más pequeños y especializados: uno que es experto en personas (apariencia), uno en acciones (cómo se hacen las cosas) y uno en ubicaciones (puntos de referencia).

El estudio sugiere que tener estos tres expertos trabajando juntos en paralelo (todos al mismo tiempo) funciona mucho mejor que tener a un generalista haciendo todo o que trabajen uno tras otro. Cuando los investigadores probaron esto, el equipo paralelo de expertos mejoró significativamente la precisión cultural de los videos, especialmente para los puntos de referencia, sin arruinar la calidad del video o hacer que los personajes se vean erráticos. También descubrieron que, mientras las pruebas estándar de computadora (usando matemáticas para comparar imágenes) pueden decir si un video se ve "bien", a menudo pasan por alto los detalles culturales sutiles y profundos que un "juez" de IA más avanzado puede detectar. El artículo concluye que, para que los videos de IA sean verdaderamente respetuosos y precisos, debemos dejar de tratar la cultura como un bloque único y borroso y empezar a desglosarla en partes específicas impulsadas por expertos.

La idea central: Por qué un solo cerebro no es suficiente

Piensa en los generadores de video de IA actuales como un único chef, muy talentoso pero sobrecargado de trabajo. Si le pides a este chef que prepare un plato que combine pasta italiana, sushi japonés y tacos mexicanos, podría intentar machacarlo todo en un gigante y confuso rollo de burrito-pasta-sushi. Puede que parezca comida, pero no sabrá a ninguno de los platos reales. El chef sabe qué es la "comida", pero no tiene el conocimiento específico y profundo de cómo hacer cada uno de forma auténtica.

Los autores de este artículo argumentan que la cultura es "composicional". Esto significa que una escena se construye a partir de diferentes partes: la persona (cómo se ve), la acción (qué está haciendo) y la ubicación (dónde está). Una persona de una cultura puede realizar una acción de otra cultura en un lugar de una tercera cultura. El artículo sugiere que intentar que una sola IA entienda las tres cosas a la vez es demasiado difícil. En su lugar, necesitas un equipo.

La solución: El equipo MAVEN

Los investigadores crearon un sistema llamado MAVEN. En lugar de un solo chef, contrataron a un equipo de tres subchefs especialistas:

1. El Agente de Personas: Un experto que sabe exactamente cómo lucen las personas de una cultura específica (cabello, ropa, rasgos).
2. El Agente de Acciones: Un experto que conoce los detalles específicos de cómo se realiza una acción cultural (cómo sostener un instrumento musical, cómo bailar).
3. El Agente de Ubicaciones: Un experto que conoce los detalles visuales de los puntos de referencia famosos (la arquitectura específica, la iluminación, el entorno).

Probaron cuatro formas diferentes de operar este equipo:

• El Chef Solitario (Base): Sin ayuda alguna. Solo el prompt original.
• El Gerente General (Agente Único): Un agente intenta arreglar la persona, la acción y la ubicación al mismo tiempo.
• La Línea de Ensamblaje (Secuencial): Los agentes trabajan uno tras otro. El agente de Personas arregla el prompt, luego lo pasa al agente de Acciones, quien lo pasa al agente de Ubicaciones.
• El Equipo en Paralelo (MAP): Los tres agentes trabajan al mismo tiempo, cada uno arreglando su propia parte, y luego un "Agente de Fusión" combina su trabajo en un solo prompt perfecto.

Lo que encontraron: El poder de trabajar juntos

Los resultados fueron claros: El Equipo en Paralelo (MAP) ganó.

Cuando probaron estos métodos en 972 videos generados (que abarcan las culturas china, estadounidense y rumana), el Equipo en Paralelo produjo los videos más precisos culturalmente.

• La puntuación: El Equipo en Paralelo mejoró la "Puntuación de Relevancia Cultural" en un 4.6% en comparación con no hacer nada, y en un 1.6% en comparación con el enfoque de Agente Único.
• La gran victoria: La mayor mejora se dio en las ubicaciones. El Equipo en Paralelo mejoró la precisión de los puntos de referencia en más de un 12% en comparación con la línea base. Esto tiene sentido, ya que un solo agente podría distraerse con la persona o la acción, pero un agente de Ubicación dedicado se enfoca puramente en lograr que el castillo o el monumento sea correcto.
• Magia transcultural: El sistema fue aún más útil cuando el prompt era una mezcla de culturas (por ejemplo, una persona estadounidense comiendo dumplings chinos en un castillo rumano). Estas escenas "transculturales" son usualmente las más difíciles para la IA, pero el Equipo en Paralelo redujo la brecha significativamente, sugiriendo que desglosar el problema ayuda a la IA a manejar mezclas complejas.

Curiosamente, los investigadores descubrieron que, aunque el Equipo en Paralelo hizo que los videos fueran culturalmente mejores, no arruinó la calidad del video. Los videos seguían viéndose fluidos y consistentes, demostrando que se puede añadir detalle cultural profundo sin que la IA "alucine" o rompa el video.

El problema de la medición: Computadoras vs. Jueces

Uno de los hallazgos más interesantes del artículo es sobre cómo medimos el éxito.

• La prueba matemática (CLIP): Los investigadores usaron un programa de computadora estándar (CLIP) para verificar si el video coincidía con el texto. Este programa es bueno detectando cosas grandes, pero a menudo pasa por alto los detalles culturales pequeños y sutiles.
• El Juez de IA (VLM): También utilizaron una IA más avanzada (Gemini 2.5 Pro) para actuar como un juez con cualidades humanas, observando el video y razonando si se sentía culturalmente correcto.

Descubrieron que la Prueba Matemática a menudo subestimaba las mejoras realizadas por el Equipo en Paralelo. El Juez de IA, sin embargo, otorgó puntuaciones mucho más altas a los videos del Equipo en Paralelo, notando los detalles sutiles como la forma específica en que una persona sostenía un instrumento musical o el estilo exacto de un edificio. Esto sugiere que nuestras herramientas actuales para probar la IA podrían ser demasiado simples para captar el valor real del refinamiento cultural.

Lo que esto significa (y lo que no)

El artículo sugiere que, para que la IA genere videos que respeten y representen con precisión la diversidad del mundo, debemos dejar de tratar la cultura como una cosa única y uniforme. En su lugar, debemos descomponerla en partes específicas (personas, acciones, lugares) y dar a los expertos especializados la tarea de refinar cada parte.

Sin embargo, los autores son cuidadosos al señalar los límites de su trabajo. Solo probaron tres culturas (china, estadounidense, rumana) y tres tipos de acciones (comida, música, danza). No afirman que esto resuelva el problema para todas las culturas del mundo. También admiten que su modelo de IA a veces tiene dificultades para mostrar los rostros con claridad (mostrando a menudo a las personas de espaldas), lo que dificulta juzgar los detalles culturales sobre la apariencia.

Pero el mensaje central es esperanzador: al organizar la IA en un equipo de especialistas en lugar de un solo generalista, podemos dar un paso significativo hacia la generación de videos que no solo parezcan reales, sino que se sientan culturalmente auténticos.