WebVR: Benchmarking Multimodal LLMs for WebPage Recreation from Videos via Human-Aligned Visual Rubrics
Deze paper introduceert WebVR, een benchmark die multimodale LLM's evalueert op hun vermogen webpagina's te reconstrueren uit demonstratievideo's, waarbij gebruik wordt gemaakt van een gecontroleerd gegenereerd dataset en een mens-gealigneerde visuele rubric voor nauwkeurige beoordeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
WebVR: De "Kookwedstrijd" voor Websites
Stel je voor dat je een kok bent die een gerecht moet nabakken. Tot nu toe kregen de beste koks (de kunstmatige intelligenties) alleen een foto van het gerecht of een lijstje met ingrediënten (tekst). Ze moesten dan proberen het gerecht te maken. Maar een foto vertelt je niet hoe je het moet roeren, hoe lang het moet stoven, of hoe het eruitziet als je erop drukt.
De auteurs van dit paper zeggen: "Dat is niet eerlijk! Als je een chef wilt testen, geef hem dan een video van iemand die het gerecht maakt."
Hier is wat ze hebben gedaan, vertaald naar alledaags taal:
1. Het Probleem: De "Stille Foto"-Val
Vroeger testten wetenschappers of AI websites kon maken door een screenshot te tonen. De AI moest dan de code schrijven.
- Het probleem: Een website is als een film, geen foto. Er zijn bewegingen, klikken, en overgangen. Als je alleen een foto ziet, weet je niet hoe de knop reageert als je er met je muis overheen gaat. De AI's waren goed in het kopiëren van het uiterlijk, maar slecht in het nabootsen van het gedrag.
2. De Oplossing: WebVR (De Videowedstrijd)
De onderzoekers hebben WebVR bedacht. Dit is een nieuwe testomgeving.
- De Opdracht: De AI krijgt een video van een website die door een mens wordt bediend. De AI moet de code schrijven zodat de website zich precies zo gedraagt als in de video.
- De Ingrediënten: Om het eerlijk te houden, geven ze de AI ook de foto's en iconen (de "visuele activa") die in de video te zien zijn. De AI hoeft niet te raden welke foto's te gebruiken, maar moet wel precies weten waar ze komen en hoe ze bewegen.
3. De "Smaakproever" (Het Rubric)
Hoe weet je of de AI het goed gedaan heeft? Als je alleen kijkt of de code klopt, mis je de sfeer. Als je alleen kijkt of het eruitziet, mis je de techniek.
- De Nieuwe Methode: Ze hebben een digitale smaakproever (een andere AI) ingeschakeld. Deze proever heeft een checklist (een "rubric") met heel specifieke vragen, zoals:
- "Zie ik de rode knop?"
- "Beweegt de tekst zachtjes omhoog als ik scroll?"
- "Is de achtergrondkleur precies die van het voorbeeld?"
- De Video-Check: De proever kijkt niet alleen naar de code, maar speelt de gegenereerde website af in een virtuele browser (een zandbak) en neemt een nieuwe video op. Deze video vergelijkt hij met de originele video.
- Het Resultaat: Als de AI de website goed nabootst, krijgt hij een hoge score. Als de knop niet werkt of de animatie haperend is, krijgt hij een lage score.
4. Wat hebben ze ontdekt? (De Uitslag)
Ze hebben 19 verschillende AI-modellen getest. Hier zijn de belangrijkste bevindingen:
- Static vs. Dynamisch: De AI's zijn heel goed geworden in het kopiëren van de statische dingen (de kleuren, de letters, de indeling). Dat is als het mooi neerzetten van borden op een tafel.
- De Moeilijke Deel: Ze zijn nog steeds erg slecht in de beweging en interactie. Dat is als het serveren van het eten: als de AI vergeet dat de soep heet is en de lepel niet goed vasthoudt, faalt de taak. Zelfs de slimste AI's (zoals Kimi-K2.5 en GPT-5) halen hier maar ongeveer 60% van het maximale punt.
- De Checklist werkt: De onderzoekers ontdekten dat als je de AI-smaakproever een duidelijke checklist geeft, hij veel eerlijker oordeelt dan als hij vrijuit moet oordelen. De overeenstemming met echte mensen (menselijke experts) steeg van 60% naar 96% dankzij deze checklist.
5. Waarom is dit belangrijk?
Voorheen konden AI's alleen "stille" websites maken. Met WebVR zien we dat we nu eindelijk kunnen testen of AI's websites kunnen bouwen die voelen als echte websites.
Kort samengevat:
De onderzoekers hebben een wedstrijd bedacht waarbij AI's een website moeten nabouwen op basis van een video, in plaats van een foto. Ze hebben een slimme "rechter" bedacht die met een lijstje van specifieke vragen kijkt of de AI de bewegingen en interacties goed heeft nagebootst. Het resultaat? De AI's zijn goed in het uiterlijk, maar moeten nog veel leren over het "gevoel" en de beweging van een website. Dit helpt ontwikkelaars om de volgende generatie AI te bouwen die écht begrijpt hoe het web werkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.