🤖 AI

VideoAgent: Personalized Synthesis of Scientific Videos

Dit paper introduceert VideoAgent, een modulair framework dat wetenschappelijke video's synthetiseert door intent-gedreven planning te gebruiken voor het dynamisch afstemmen van visuele assets op de vertelling, en presenteert SciVidEval als een nieuwe benchmark voor de evaluatie van dergelijke multimodale educatieve inhoud.

Oorspronkelijke auteurs: Xiao Liang, Bangxin Li, Zixuan Chen, Hanyue Zheng, Zhi Ma, Di Wang, Cong Tian, Quan Wang

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiao Liang, Bangxin Li, Zixuan Chen, Hanyue Zheng, Zhi Ma, Di Wang, Cong Tian, Quan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

VideoAgent: De "Regisseur" die Wetenschap Levendig Maakt

Stel je voor dat je een heel dik, moeilijk wetenschappelijk boek hebt. Het zit vol met ingewikkelde formules, saaie tabellen en zware taal. Voor de meeste mensen is dit als een muur van onleesbare tekst. Je wilt de kernboodschap begrijpen, maar de weg ernaartoe is te steil.

Tot nu toe probeerden computers dit op te lossen door statische posters of dia-presentaties te maken. Dat is alsof je een filmplaatje maakt: het is mooi, maar het beweegt niet en het vertelt geen verhaal. Het is saai en vaak te technisch.

VideoAgent is de nieuwe oplossing. Het is geen simpele vertaler, maar een slimme regisseur die een wetenschappelijk paper omtovert tot een boeiende, persoonlijke video.

Hier is hoe het werkt, in gewone taal:

1. De Regisseur met een Plan (De "Intentie")

Stel je voor dat je een film wilt maken, maar je hebt geen script. VideoAgent begint niet met het maken van beelden, maar met het stellen van vragen: "Voor wie is deze video? Wil je het simpel houden voor een middelbare scholier, of diepgaand voor een expert? Moeten we grappen maken of serieus zijn?"

Dit noemen ze intent-driven planning. Net als een regisseur die een script schrijft op maat van het publiek, plakt VideoAgent het verhaal van het paper niet letterlijk op volgorde. Hij breekt het op en herschikt het tot een verhaal dat jij wilt horen.

2. De Mix van Statisch en Dynamisch

Een gewone presentatie is als een statische foto: je kijkt er naar, maar er gebeurt niets. VideoAgent is als een live theaterstuk.

Statische dia's: Voor de basisfeiten (zoals wie de schrijvers zijn of de titel).
Dynamische animaties: Voor de moeilijke dingen. Als het paper uitlegt hoe een robot loopt of hoe een algoritme werkt, maakt VideoAgent een bewegende animatie (zoals een tekenfilm) die precies laat zien wat er gebeurt, in plaats van alleen een plaatje te tonen.

Het systeem schakelt slim tussen deze twee: als de uitleg simpel is, toont hij een dia. Als het complex is, schakelt hij over op een animatie.

3. De Perfecte Synchronisatie (De "Orkestratie")

Het moeilijkste deel van zo'n video is zorgen dat de stem en de beelden perfect op elkaar aansluiten.
Stel je voor dat een verteller zegt: "Kijk naar deze grafiek..." en dan duurt het nog 5 seconden voordat de grafiek op het scherm verschijnt. Dat is gênant en verwarrend.

VideoAgent is als een perfect getraind orkest. De stem (de verteller) en de beelden (de dia's en animaties) spelen exact op hetzelfde tempo. Als de verteller een punt maakt, gebeurt er precies op dat moment iets op het scherm. Geen vertraging, geen vooruitlopen. Alles klopt.

4. De Proef (De "Toets")

Hoe weet je of zo'n video echt goed is? De makers hebben een nieuwe testbedacht, genaamd SciVidEval.
In plaats van alleen te kijken of de video er "mooi" uitziet, doen ze twee dingen:

De Computer-test: Een slimme AI kijkt of de video klopt met het originele paper.
De Menselijke test: Ze laten echte studenten de video kijken en daarna een quiz doen. Konden ze het verhaal begrijpen? Konden ze de juiste antwoorden geven?

Als de studenten na het kijken van de video het paper beter begrijpen dan zonder video, dan heeft VideoAgent zijn werk goed gedaan.

Waarom is dit belangrijk?

Wetenschap zit vaak opgesloten in "torens van ivoren". Alleen experts begrijpen het. VideoAgent breekt die torens af. Het maakt complexe ideeën toegankelijk voor iedereen, van de leek tot de expert, door het te verpakken in een verhaal dat je wilt kijken, niet alleen wilt lezen.

Kortom: VideoAgent is de slimme regisseur die een saai, moeilijk wetenschappelijk paper omtovert tot een boeiende, persoonlijke film die je echt iets leert.

Probleemstelling

De technische complexiteit van wetenschappelijke papers beperkt vaak hun bereik tot een breed publiek, waardoor toegankelijkere formaten nodig zijn om kerninzichten te verspreiden. Bestaande methoden voor het automatiseren van presentaties focussen voornamelijk op statische media, zoals posters of dia-presentaties. Deze methoden hebben echter twee belangrijke beperkingen:

Lineariteit en Templates: Ze zijn vaak gebonden aan vooraf gedefinieerde templates en volgen een lineaire logica van het oorspronkelijke paper, wat leidt tot statische weergaven zonder expressief verhaal.
Gebrek aan Dynamiek: Ze missen de capaciteit om tijdsafhankelijke processen te illustreren of aanpassingen te doen aan de achtergrond van de kijker.

Het creëren van gepersonaliseerde wetenschappelijke video's is complex omdat het twee kernuitdagingen vereist:

Persoonlijke en Dynamische Orkestratie: Het niet-lineair herstructureren van technische documenten in intent-gedreven verhalen, waarbij statische dia's en dynamische animaties coherent worden samengevoegd zonder een star storyboard.
Multimodale Synchronisatie: Het dynamisch synchroniseren van gegenereerde narratieven met verschillende visuele bronnen (dia's, animaties, tabellen) om ervoor te zorgen dat de visuele nadruk overeenkomt met de gesproken uitleg.

Methodologie: VideoAgent

De auteurs introduceren VideoAgent, een modulair, intent-gedreven raamwerk dat wetenschappelijke video-synthese behandelt als een planningsprobleem. Het systeem ontkoppelt inhoudsverstaan van multimodale synthese en werkt in vier fasen:

Document Parser:
- Verwerkt ruwe PDF-bestanden en splitst deze op in een gestructureerde tekstuele representatie ( $D$ ) en een bibliotheek met visuele activa ( $M$ ).
- Gebruikt tools zoals Docling en Marker om complexe lay-outs (tabellen, figuren, vergelijkingen) te reconstrueren en te indexeren, zodat downstream-modules kunnen redeneren over semantische blokken.
Requirement Analyzer (Vereistenanalist):
- Vertaalt vaag geformuleerde gebruikersintenties (bijv. "uitleggen aan middelbare scholieren" of "focus op methodologie") naar een gestructureerde JSON-configuratie ( $R$ ).
- Deze configuratie omvat drie dimensies:
  - Technische specificaties (resolutie, frame rate).
  - Functionele vereisten (activeren van animaties, voice-over).
  - Inhoudelijke vereisten (keuze van een narratief paradigma, zoals "Kennisdistillatie" of "Publiek-geadaptief").
Personalized Planner (Gepersonaliseerde Planner):
- Dit is de kern van het systeem, die een coherent multimodaal presentatiepad plant.
- Het gebruikt een reeks LLM-gestuurde operatoren om een narratieve outline ( $O$ ) te genereren en activa toe te wijzen.
- Het proces splitst op in twee paden:
  - Statische Dia-synthese: Genereert code voor dia's (via python-pptx) met optionele visuele abstracties.
  - Dynamische Animatiesynthese: Voor complexe processen (workflows, algoritmen) genereert het Manim-code voor procedurele animaties.
- Het systeem bevat een zelfcorrectie-lus: als code mislukt, wordt deze opnieuw gegenereerd. Een VLM (Vision Language Model) operator verifieert de output op layout-fouten en visuele consistentie.
Multimodal Synthesizer:
- Integreert de gegenereerde audio (TTS), statische dia's en animatieclips in één video.
- Past de afspeelsnelheid van visuele elementen dynamisch aan op de duur van de bijbehorende narratieven om perfecte synchronisatie te garanderen.
- Gebruikt MoviePy voor de uiteindelijke compositie.

Belangrijkste Bijdragen

VideoAgent Framework: Een modulair systeem dat wetenschappelijke video-generatie formuleert als een gepersonaliseerd planningsprobleem, waarbij statische slides en dynamische animaties adaptief worden samengevoegd op basis van gebruikersintentie.
SciVidEval Benchmark: Een nieuw evaluatiekader dat multimodale kwaliteit en pedagogische bruikbaarheid meet. Het combineert geautomatiseerde metrics (narratie, visuele kwaliteit, synchronisatie) met menselijke evaluatie via een "Video-Quiz" om kennisoverdracht te meten.
Empirische Validatie: Uitgebreide experimenten op 50 echte paper-video-paren tonen aan dat VideoAgent complexe technische logica effectiever communiceert dan bestaande commerciële en open-source oplossingen.

Resultaten

De experimenten vergelijken VideoAgent met commerciële diensten (zoals NotebookLM, Pictory), open-source baselines (AutoSlides, PresentAgent) en menselijke referenties (auteursvideo's).

Kwaliteit van Inhoud: VideoAgent (met name de variant met Gemini-2.5 Pro) behaalde de hoogste scores op inhoudelijke consistentie (Rouge-L) en semantische coherentie, en overtrof commerciële diensten die vaak assets weglaten of te abstract zijn.
Kennisoverdracht: In de Video-Quiz (automatisch en menselijk) behaalde VideoAgent een menselijke nauwkeurigheid van 87,5%, wat zeer dicht in de buurt komt van de menselijke referentievideo's (90,0%). Commerciële tools scoorden lager (bijv. NotebookLM 86%, Pictory 74%).
Animatiekwaliteit: In vergelijking met Manimator (een bestaande tool voor paper-naar-animatie), behaalde VideoAgent een hogere "Pass Rate" (90% vs 82% voor Claude-4.5-Opus) en betere logische flow dankzij de gestructureerde storyboard-methode en zelfcorrectie.
Efficiëntie: De totale token-kost per video is gemiddeld ongeveer $0,35, wat aangeeft dat schaalbare productie economisch haalbaar is.

Betekenis en Impact

VideoAgent vertegenwoordigt een paradigmaverschuiving van statische, lineaire presentaties naar dynamische, publiek-geadaptieve video's. Door het probleem te herformuleren als een intent-gedreven planningsopgave, maakt het systeem het mogelijk om complexe wetenschappelijke inzichten toegankelijk te maken voor diverse doelgroepen (van studenten tot experts) zonder in te leveren op technische nauwkeurigheid.

De introductie van SciVidEval is cruciaal omdat het de eerste benchmark biedt die niet alleen kijkt naar esthetiek, maar daadwerkelijk meet of de geconverteerde video effectief kennis overdraagt. Dit legt de basis voor de toekomstige ontwikkeling van geautomatiseerde wetenschappelijke communicatie, waarbij AI niet alleen samenvat, maar ook aanpast aan de cognitieve behoeften van de kijker.