When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation

Stellen Sie sich vor, Sie schauen einen Film, in dem der Regisseur den Computer fragt: „Zeig mir eine Person, die in einer berühmten Stadt tanzt.“ In der Welt der künstlichen Intelligenz nennt man das „Text-to-Video“-Generierung. Lange Zeit war das Hauptziel lediglich, das Video realistisch aussehen zu lassen – so, als ob die Person tatsächlich existiert und die Beleuchtung korrekt ist. Aber es gibt ein verborgenes Problem: Computer sind oft schrecklich darin, Kultur zu verstehen. Sie wissen vielleicht, was ein „Tanz“ ist, aber sie kennen nicht den Unterschied zwischen einem traditionellen chinesischen Faltentanz, einer amerikanischen Hip-Hop-Routine oder einem rumänischen Volkstanz. Sie könnten sie vermischen oder, noch schlimmer, eine seltsame, generische Version erstellen, die sich nach nichts von Letzterem anfühlt. Das ist wichtig, denn wenn KI beginnt, Videos für Geschichten, Bildung und Werbung zu erstellen, wollen wir nicht, dass sie versehentlich Traditionen auslöscht oder falsche Stereotypen erfindet. Wir wollen, dass sie die Details richtig hinbekommt, besonders wenn eine Szene Menschen, Handlungen und Orte aus verschiedenen Teilen der Welt kombiniert.

Dieses Paper befasst sich mit genau diesem Problem, indem es einen neuen Weg vorstellt, wie man einer KI beibringt, mit „multikulturellen“ Szenen umzugehen. Die Forscher haben einen speziellen Testdatensatz (einen Benchmark) mit 243 verschiedenen Prompts und 972 Videos erstellt, um zu sehen, wie gut aktuelle KI-Modelle den Umgang mit der Mischung von Kulturen bewältigen. Sie fanden heraus, dass Standard-KI-Modelle Schwierigkeiten haben, wenn sie beispielsweise gebeten werden, eine amerikanische Person beim Essen chinesischer Speisen in einem rumänischen Schloss darzustellen. Um dies zu beheben, probierten sie einen cleveren Trick namens MAVEN (Multi-Agent Video Enrichment for cultural Narrative). Anstatt eine einzige große, allgemeine KI-„Gehirn“ alles machen zu lassen, brachen sie die Aufgabe in drei kleinere, spezialisierte „Agenten“ auf: einen Experten für Menschen (Aussehen), einen für Handlungen (wie Dinge getan werden) und einen für Orte (Wahrzeichen).

Die Studie legt nahe, dass es viel besser funktioniert, wenn diese drei Experten parallel (alle gleichzeitig) zusammenarbeiten, als wenn ein Generalist alles erledigt oder sie nacheinander arbeiten. Als die Forscher dies testeten, verbesserte das parallele Expertenteam die kulturelle Genauigkeit der Videos erheblich, insbesondere bei Wahrzeichen, ohne die Videoqualität zu beeinträchtigen oder die Charaktere ruckelig wirken zu lassen. Sie entdeckten auch, dass Standard-Computer-Tests (die mittels Mathematik Bilder vergleichen) zwar sagen können, ob ein Video „okay“ aussieht, aber oft die subtilen, tiefen kulturellen Details übersehen, die ein fortgeschrittenerer KI-„Richter“ erkennen kann. Das Paper kommt zu dem Schluss, dass wir, um KI-Videos wirklich respektvoll und präzise zu machen, aufhören müssen, Kultur als einen einzigen, verschwommenen Klumpen zu behandeln, und stattd通り, sie in spezifische, expertengetriebene Teile zu zerlegen.

Die Kernidee: Warum ein Gehirn nicht ausreicht

Stellen Sie sich die aktuellen KI-Videogeneratoren wie einen einzelnen, sehr talentierten, aber überarbeiteten Koch vor. Wenn Sie diesen Koch bitten, ein Gericht zuzubereiten, das italienische Pasta, japanischen Sushi und mexikanische Tacos kombiniert, wird er vielleicht versuchen, alles zu einem riesigen, verwirrenden Burrito-Pasta-Sushi-Roll zu zerquetschen. Es mag wie Essen aussehen, aber es wird nicht wie eines der echten Gerichte schmecken. Der Koch weiß, was „Essen“ ist, aber er besitzt nicht das spezifische, tiefe Wissen darüber, wie man jedes einzelne authentisch zubereitet.

Die Autoren dieses Papers argumentieren, dass Kultur „kompositionell“ ist. Das bedeutet, eine Szene ist aus verschiedenen Teilen aufgebaut: der Person (wie sie aussieht), der Handlung (was sie tut) und dem Ort (wo sie ist). Eine Person aus einer Kultur könnte eine Handlung aus einer anderen Kultur an einem Ort aus einer dritten Kultur ausführen. Das Paper schlägt vor, dass der Versuch, eine einzige KI alle drei Dinge gleichzeitig verstehen zu lassen, zu schwierig ist. Stattdessen braucht man ein Team.

Die Lösung: Das MAVEN-Team

Die Forscher entwickelten ein System namens MAVEN. Anstatt eines einzelnen Kochs stellten sie ein Team aus drei spezialisierten Sous-Chefs ein:

1. Der Personen-Agent: Ein Experte, der genau weiß, wie Menschen einer bestimmten Kultur aussehen (Haare, Kleidung, Merkmale).
2. Der Handlungs-Agent: Ein Experte, der die spezifischen Details kennt, wie eine kulturelle Handlung ausgeführt wird (wie man ein Musikinstrument hält, wie man tanzt).
3. Der Orts-Agent: Ein Experte, der die visuellen Details berühmter Wahrzeichen kennt (die spezifische Architektur, die Beleuchtung, die Umgebung).

Sie testeten vier verschiedene Wege, dieses Team zu betreiben:

• Der Solo-Koch (Base): Ohne jegliche Hilfe. Nur der rohe Prompt.
• Der General Manager (Single-Agent): Ein einziger Agent versucht, die Person, die Handlung und den Ort gleichzeitig zu korrigieren.
• Das Fließband (Sequential): Die Agenten arbeiten nacheinander. Der Personen-Agent korrigiert den Prompt, reicht ihn dann an den Handlungs-Agenten weiter, der ihn wiederum an den Orts-Agenten weiterreicht.
• Das Parallele Team (MAP): Alle drei Agenten arbeiten gleichzeitig, jeder korrigiert seinen eigenen Teil, und dann kombiniert ein „Fuse Agent“ ihre Arbeit zu einem perfekten Prompt.

Was sie herausfanden: Die Kraft des Zusammenarbeitens

Die Ergebnisse waren eindeutig: Das Parallele Team (MAP) gewann.

Als sie diese Methoden an 972 generierten Videos testeten (die sich über chinesische, amerikanische und rumänische Kulturen erstreckten), produzierte das Parallele Team die kulturell genauesten Videos.

• Die Punktzahl: Das Parallele Team verbesserte die „Kulturelle Relevanz-Punktzahl“ um 4,6 % im Vergleich zu gar nichts zu tun und um 1ante 1,6 % im Vergleich zum Single-Agent-Ansatz.
• Der große Sieg: Die größte Verbesserung zeigte sich bei den Orten. Das Parallele Team verbesserte die Genauigkeit der Wahrzeichen um über 12 % im Vergleich zur Baseline. Das ergibt Sinn, da ein einzelner Agent vielleicht durch die Person oder die Handlung abgelenkt wird, aber ein dedizierter Orts-Agent sich rein darauf konzentriert, das Schloss oder das Monument richtig darzustellen.
• Interkulturelle Magie: Das System war sogar noch hilfreicher, wenn der Prompt eine Mischung aus Kulturen war (z. B. eine amerikanische Person, die chinesische Dumplings in einem rumänischen Schloss isst). Diese „interkulturellen“ Szenen sind normalerweise die schwierigsten für die KI, aber das Parallele Team verringerte den Abstand signifikant, was darauf hindeutet, dass das Aufteilen des Problems hilft, komplexe Mischungen zu bewältigen.

Interessanterweise fanden die Forscher, dass das Parallele Team die Videos zwar kulturell besser machte, aber die Videoqualität nicht ruinierte. Die Videos sahen immer noch flüssig und konsistent aus, was beweist, dass man tiefe kulturelle Details hinzufügen kann, ohne dass die KI „halluziniert“ oder das Video instabil wird.

Das Messproblem: Computer vs. Richter

Einer der interessantesten Aspekte des Papers betrifft die Frage, wie wir Erfolg messen.

• Der Mathematik-Test (CLIP): Die Forscher nutzten ein Standard-Computerprogramm (CLIP), um zu prüfen, ob das Video zum Text passt. Dieses Programm ist gut darin, große Dinge zu erkennen, übersieht aber oft die kleinen, subtilen kulturellen Details.
• Der KI-Richter (VLM): Sie verwendeten auch eine fortgeschrittenere KI (Gemini 2.5 Pro), die als menschähnlicher Richter fungierte, das Video betrachtete und begründete, ob es sich kulturell korrekt anfühlte.

Sie fanden heraus, dass der Mathematik-Test die Verbesserungen durch das Parallele Team oft unterschätzte. Der KI-Richter hingegen vergab deutlich höhere Punktzahlen für die Videos des Parallelen Teams, da er die subtilen Details bemerkte, wie etwa die spezifische Art und Weise, wie eine Person ein Musikinstrument hielt, oder den exakten Stil eines Gebäudes. Dies deutet darauf hin, dass unsere derzeitigen Werkzeuge zum Testen von KI zu einfach sind, um den wahren Wert der kulturellen Verfeinerung zu erfassen.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass wir, um KI-Videos zu erstellen, die die Vielfalt der Welt respektieren und korrekt darstellen, aufhören müssen, Kultur als eine einzige, einheitliche Sache zu behandeln. Stattdessen sollten wir sie in spezifische Teile (Menschen, Handlungen, Orte) zerlegen und spezialisierten Experten die Aufgabe geben, jeden Teil zu verfeinern.

Die Autoren weisen jedoch vorsichtig auf die Grenzen ihrer Arbeit hin. Sie haben lediglich drei Kulturen (chinesisch, amerikanisch, rumänisch) und drei Arten von Handlungen (Essen, Musik, Tanz) getestet. Sie behaupten nicht, dass dies das Problem für jede Kultur der Welt löst. Sie geben auch zu, dass ihr KI-Modell manchmal Schwierigkeiten hat, Gesichter klar darzustellen (oft werden Menschen von hinten gezeigt), was es schwierig macht, kulturelle Details über das Aussehen zu beurteilen.

Aber die Kernbotschaft ist eine hoffnungsvolle: Indem wir die KI statt eines einzelnen Generalisten in ein Team von Spezialisten organisieren, können wir einen bedeutenden Schritt in Richtung der Generierung von Videos machen, die nicht nur echt aussehen, sondern sich auch kulturell wahrhaftig anfühlen.