OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video
Deze paper introduceert OmniScript, een efficiënt 8B-parameter multimodaal model dat is ontworpen voor het genereren van gedetailleerde, hiërarchische scripts uit lange films, en presenteert een nieuw benchmark en evaluatiekader voor deze taak.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een hele film of een lang televisieprogramma kijkt. Nu moet je die film niet alleen zien, maar ook vertalen in een gedetailleerd script (een draaiboek). Dit script moet niet alleen zeggen wie wat zegt, maar ook:
- Waar ze zijn (in een villa, op straat?).
- Wat ze doen (lopen, huilen, een auto stelen?).
- Hoe ze eruitzien (boos, blij, met een hoed?).
- Wat ze horen (muziek, geluidseffecten, fluisteren?).
- En precies wanneer dit gebeurt (bijvoorbeeld: "op 00:04:15").
Dit is een enorm moeilijke taak voor computers. Tot nu toe konden AI-modellen alleen korte filmpjes begrijpen, zoals een TikTok of een YouTube-clip van 10 seconden. Maar een hele film van 90 minuten? Dat is te veel informatie om in één keer te verwerken zonder de draad kwijt te raken.
De onderzoekers van Tencent hebben een nieuwe oplossing bedacht: OmniScript.
Hier is hoe het werkt, vertaald naar alledaagse taal:
1. Het Probleem: De "Vergeten" Film
Stel je voor dat je een boek leest, maar je moet het onthouden tot je bij de laatste pagina bent. Als het boek 1000 pagina's is, vergeet je waarschijnlijk wie de hoofdpersoon was op pagina 10.
Voor computers is een lange film net zo'n groot boek. Bestaande AI-modellen raken de draad kwijt. Ze vergeten wie wie is, of ze verwarren de tijdlijn. Ze kunnen wel een korte samenvatting geven, maar geen gedetailleerd script met exacte tijdstippen.
2. De Oplossing: OmniScript (De Slimme Regisseur)
OmniScript is een slimme computer die is getraind om te kijken én te luisteren (dat is het "Omni"-gedeelte). Het is als een regisseur die ook nog eens een super-geheugen heeft.
- Hij luistert en kijkt: Veel AI's kijken alleen naar het beeld. OmniScript luistert ook naar de muziek, de stemmen en de geluidseffecten. Dat helpt hem om te begrijpen of iemand boos is (door de toon van de stem) of of er spanning is (door de achtergrondmuziek).
- Hij onthoudt alles: De AI heeft een speciaal "geheugen" voor personages. Als je in scène 1 een man ziet met een rode hoed, en in scène 50 loopt diezelfde man weer binnen, weet OmniScript: "Ah, dat is nog steeds die man met de rode hoed!" Hij verwardt personages niet met elkaar.
3. Hoe leren ze de AI? (De Oefeningen)
Om OmniScript slim te maken, hebben de onderzoekers drie stappen ondernomen:
- Stap 1: Het maken van een "Oefenboek" (Dataset).
Er was geen goed boek met voorbeelden. Dus hebben ze duizenden films en series gekeken en er handmatig (met de hulp van slimme AI's en mensen) scripts van gemaakt. Dit is als het maken van een antwoordboekje voor een heel moeilijk examen. - Stap 2: Het "Denken" laten zien (Chain-of-Thought).
In plaats van de AI direct het antwoord te laten geven, leerden ze hem eerst te "denken".- Voorbeeld: "Oké, ik zie een man rennen. Hij kijkt angstig. Er is een auto achter hem. Conclusie: Hij wordt achtervolgd."
- Pas daarna schrijft hij het script. Dit helpt de AI om de logica van het verhaal te begrijpen, net als een mens.
- Stap 3: Punten geven voor goed werk (Beloning).
Ze hebben de AI laten oefenen en hem punten gegeven als hij het goed deed (bijvoorbeeld: "Je hebt de juiste tijd genoemd!" of "Je hebt de juiste emotie beschreven!"). Als hij fouten maakte, kreeg hij minder punten. Zo werd hij steeds beter.
4. Hoe werkt het met hele lange films? (De Twee Strategieën)
Wat doe je als de film 40 minuten duurt? Dat is te lang om in één keer te "lezen". OmniScript gebruikt twee slimme trucs:
- Truc A: De "Marathonloper" (OmniScript-LCE).
De AI probeert de hele film in één keer te verwerken. Dit werkt goed tot een bepaalde lengte, maar bij heel lange films raakt de AI soms de draad kwijt (net als een marathonloper die moe wordt). - Truc B: De "Puzzel" (OmniScript-TSG).
Dit is de beste methode voor lange films. De AI breekt de film eerst op in kleine stukjes (scènes).- Eerst kijkt hij naar de hele film en maakt een planning: "Hier begint scène 1, hier scène 2."
- Dan schrijft hij het script voor elk stukje apart, alsof hij losse puzzelstukjes maakt.
- Aan het einde plakt hij alle stukjes weer netjes aan elkaar.
- Vergelijking: Het is makkelijker om een 1000-puzzel te maken als je eerst de randjes legt en dan per stukje werkt, dan als je probeert om alles in één keer te doen.
5. Waarom is dit belangrijk?
Dit is niet alleen leuk voor filmfans. Dit kan helpen bij:
- Zoeken in films: "Toon me alle scènes waar de held boos is en er regen valt."
- Hulp voor filmmakers: Automatisch een draaiboek maken van een opname.
- Toegankelijkheid: Beter begrijpen wat er in films gebeurt voor mensen met een visuele of auditieve beperking.
Kortom: OmniScript is de eerste AI die een lange film kan kijken, het verhaal onthoudt, de personages herkent, en er een perfect, gedetailleerd script van schrijft met exacte tijdstippen. Het is alsof je een regisseur hebt die nooit moe wordt en alles perfect onthoudt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.