Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development

Dit paper introduceert Vibe Code Bench, een nieuw benchmark voor het evalueren van AI-modellen op het volledige proces van het ontwikkelen van webapplicaties, en onthult dat zelfs de beste modellen nog slechts 58% nauwkeurigheid bereiken, waardoor betrouwbare end-to-end ontwikkeling een uitdaging blijft.

De kern

Stel je voor dat je een droom hebt: je wilt een app bouwen die je vrienden helpt om samen te eten, of een website voor je kleine bedrijf. Vroeger moest je daarvoor een team van dure programmeurs inhuren of zelf jaren studeren. Vandaag de dag zeggen AI's: "Geen probleem, zeg maar wat je wilt, en ik bouw het voor je."

Maar hoe weten we of die AI's het ook écht kunnen?

Dit artikel introduceert Vibe Code Bench. Het is als een grote, strenge keuring voor AI-architecten. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Lego" vs. Het "Huis"

Tot nu toe hebben we AI's getest op kleine, simpele taken. Het was alsof we ze vroegen: "Bouw een toren van 10 blokken" of "Zorg dat deze deur open gaat." Dat deden ze goed.

Maar in het echte leven wil je niet alleen een toren; je wilt een heel huis met elektra, loodgieterswerk, een dak en een sleutel die werkt. De meeste AI's faalden als ze moesten bouwen aan een compleet, werkend systeem van nul af. Ze konden de losse bakstenen wel, maar het huis viel in elkaar.

2. De Oplossing: Vibe Code Bench (De "Proefkeuken")

De onderzoekers van Vals AI hebben een nieuwe test ontwikkeld. Ze noemen het "Vibe Coding" omdat het gaat over het vertalen van een gevoel of een idee ("Ik wil een app waar mensen hun gewoontes kunnen tracken") naar een werkend product.

• De Test: Ze gaven 16 van de slimste AI-modellen 100 verschillende opdrachtjes.
• De Regels: De AI moest niet alleen code schrijven, maar ook alles installeren, de database opzetten, de betalingen regelen en zorgen dat het in een browser werkt.
• De Scheidsrechter: Er was geen mens die naar de code keek. In plaats daarvan liep er een digitale robot (een "browser-agent") door de app. Deze robot klikte op knoppen, probeerde in te loggen, betaalde een euro en keek of de app deed wat hij moest doen. Als de robot vastliep, was de AI gezakt.

3. De Resultaten: De "Top 16"

Het nieuws is gemengd, maar wel leerzaam:

• De Winnaar: De beste AI (GPT-5.3-Codex) slaagde voor ongeveer 62% van de tests. Dat klinkt goed, maar bedenk: als je een auto bouwt en hij werkt maar 6 op de 10 keer, ga je die auto niet kopen.
• De Achterblijvers: Sommige AI's haalden nauwelijks 1% succes. Ze konden vaak niet eens beginnen, of de app crashte direct.
• De Kosten: Soms kostte het bouwen van één app honderden dollars aan rekenkracht en tijd, terwijl het resultaat toch niet werkte.

4. Het Grote Geheim: "Probeer het zelf!"

De onderzoekers ontdekten iets heel belangrijks. Welke AI's het beste deden? Diegenen die tijdens het bouwen zelf gingen testen.

• De Slechte AI: Schrijft code, klikt op "Klaar", en hoopt dat het werkt.
• De Goede AI: Schrijft code, opent de app in een browser, klikt op de knoppen, ziet dat het niet werkt, en zegt: "Oh, ik heb een fout gemaakt, ik ga het nu fixen."

Het is als een kok die proeft terwijl hij kookt, in plaats van pas te proeven als het eten op tafel staat. De AI's die zichzelf "testten" (zogenoemd self-testing), hadden veel meer kans om een werkend huis te bouwen.

5. De Menselijke Factor: Wie is de Scheidsrechter?

Een ander interessant punt is dat de keuze van de "scheidsrechter" (de AI die de app beoordeelt) heel belangrijk is.
Soms gaf AI A een app een 10/10, terwijl AI B dezelfde app een 2/10 gaf. Het is alsof twee verschillende juryleden bij een zangwedstrijd totaal verschillende meningen hebben. De onderzoekers ontdekten dat sommige AI's veel meer lijken op wat mensen vinden dan andere.

Conclusie: Waar staan we nu?

Dit onderzoek zegt ons: AI kan nu al heel goed code schrijven, maar het bouwen van een compleet, betrouwbaar product is nog steeds heel moeilijk.

Het is alsof we AI's hebben die fantastische bakstenen kunnen maken, maar ze hebben nog steeds een beetje menselijke supervisie nodig om het dak op te leggen en te zorgen dat het water niet lekt. De toekomst ligt niet bij AI's die alleen maar "sneller" werken, maar bij AI's die leren om zichzelf te controleren en te verbeteren terwijl ze bouwen.

Kortom: We zijn niet meer in het stadium van "Kan AI schrijven?", maar in het stadium van "Kan AI écht bouwen?" en dat antwoord is: "Bijna, maar nog niet helemaal."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development", vertaald en samengevat in het Nederlands.

1. Het Probleem

Bestaande benchmarks voor code-generatie (zoals HumanEval, SWE-Bench of LiveCodeBench) meten vaak geïsoleerde taken, zoals het schrijven van een enkele functie, het oplossen van een specifieke bug in een bestaande codebase, of het oplossen van competitieve programmeeropgaven.

Er is echter een kritieke kloof: er ontbreekt een standaard benchmark die meet of AI-modellen in staat zijn om een volledige, werkende webapplicatie te bouwen vanaf een natuurlijke taal-specificatie ("zero-to-one"). Dit proces omvat niet alleen het genereren van code, maar ook het configureren van bestanden, het opzetten van databases, het integreren van externe diensten (zoals betalingen en e-mail), het deployen van de applicatie en het garanderen dat de gebruikersworkflow correct werkt. De huidige benchmarks overschatten vaak het vermogen van modellen om complexe, end-to-end software te leveren voor niet-technische gebruikers.

2. Methodologie: Vibe Code Bench (VCB)

De auteurs introduceren Vibe Code Bench, een nieuw benchmark-ecosysteem dat bestaat uit drie hoofdblokken:

A. Dataset en Opdrachten

• Omvang: 100 realistische specificaties voor webapplicaties, verdeeld over een validatieset (50 taken) en een testset (50 taken).
• Domeinen: De taken zijn onderverdeeld in drie categorieën:
  • Individueel: Persoonlijke tools (bijv. gewoontetrackers).
  • Solo Founder: Bedrijfsapplicaties voor starters (vaak met eenvoudige authenticatie).
  • Enterprise Tool: Interne bedrijfssoftware met complexe rollenhiërarchieën.
• Integraties: 28% van de taken vereist integratie met externe diensten zoals Stripe (betalingen) en MailHog (e-mail), wat de complexiteit verhoogt ten opzichte van simpele CRUD-apps.
• Tests: Elke specificatie is gekoppeld aan 6 tot 23 geautomatiseerde workflows (totaal 964 workflows, 10.131 sub-stappen). Deze workflows simuleren een echte gebruiker die door de applicatie klikt.

B. Generatie-omgeving (Harness)

• Platform: Gebaseerd op een aangepaste versie van OpenHands.
• Omgeving: Modellen werken in een geïsoleerde Docker-container met toegang tot een terminal, een browser en services zoals Supabase (database/auth), MailHog en Stripe.
• Beperkingen: Modellen krijgen een tijdslimiet van 5 uur per applicatie. Ze moeten een volledige stack opzetten (React + Vite frontend, Supabase backend) en deze deployen via Docker Compose.
• Vereisten: De applicatie moet volledig werkend zijn, inclusief authenticatie en data-persistency, zonder dat de gebruiker handmatig ingrijpt.

C. Evaluatiepiplijn

• Agent: In plaats van unit-tests of DOM-selectors (die fragiel zijn), wordt een autonome browser-agent (Browser Use) gebruikt.
• Methode: De agent navigeert door de gegenereerde applicatie en voert de workflows uit. Het oordeel is gebaseerd op sub-stap voltooiing.
• Scoren: Een workflow wordt als geslaagd beschouwd als ≥90% van de sub-stappen succesvol worden uitgevoerd. De uiteindelijke nauwkeurigheid is het percentage geslaagde workflows per applicatie.

3. Belangrijkste Bijdragen

1. Eerste "Zero-to-One" Benchmark: VCB is het eerste benchmark dat modellen test op het bouwen van een volledige, deploybare applicatie vanuit een tekstuele prompt, inclusief infrastructuur en externe integraties.
2. Uitgebreide Evaluatie: Een evaluatie van 16 state-of-the-art modellen (zoals GPT-5.3-Codex, Claude Opus 4.6, Gemini 3.1 Pro, etc.) met analyse van kosten, latentie en foutpatronen.
3. Evaluatie-Alignement: Een studie naar de overeenstemming tussen AI-evaluatoren en menselijke beoordelaars, wat aantoont dat de keuze van de evaluator de resultaten significant beïnvloedt.
4. Reproduceerbaarheid: Alle artefacten, trajecten en specificaties zijn openbaar beschikbaar gesteld.

4. Resultaten en Analyse

Prestaties

• Topmodel: GPT-5.3-Codex behaalde de hoogste score met 61,8% nauwkeurigheid op de testset.
• Achterstand: De prestaties dalen sterk na de topmodellen. Modellen zoals Claude Opus 4.6 halen 57,6%, terwijl open-weight modellen (zoals GLM-5, Qwen3.5) vaak onder de 25% blijven.
• Vergelijking: Het verschil tussen modellen is op VCB veel groter dan op bestaande benchmarks. Bijvoorbeeld, het verschil tussen MiniMax M2.5 en Claude Opus 4.6 is slechts 2,8% op SWE-Bench, maar 42,7% op VCB.

Gedragsanalyse

• Zelftesten (Self-Testing): Er is een sterke positieve correlatie (Pearson r = 0,72) tussen het gebruik van de browser-tool tijdens de generatie (om de eigen app te testen en te debuggen) en de uiteindelijke succes率. Modellen die actief testen, presteren beter.
• Foutpatronen: De meest voorkomende fouten zijn:
  1. Ontbrekende features (46,7%).
  2. Autorisatieproblemen (20,4%).
  3. Validatie- of beleidsblokkades (14,8%).
• Distributie: Verbetering in modellen komt vooral voort uit het verminderen van volledig mislukte applicaties (score 0%), niet noodzakelijk door kleine verbeteringen in alles. De verdeling is vaak bimodaal: apps werken of werken niet.

Kosten en Latentie

• Er is een afnemende meeropbrengst: hogere kosten en langere runtime leiden tot betere resultaten, maar de winst neemt af na een bepaald punt.
• Claude Opus 4.6 bleek een van de meest kostenefficiënte modellen, met bijna top-prestaties tegen lagere kosten en latency dan GPT-5.3-Codex.

Menselijke Alignement

• Menselijke beoordelaars stemden sterk overeen met elkaar (88,6% - 93,6%).
• AI-evaluatoren varieerden sterk: Claude Sonnet 4.5 en Claude Sonnet 4.6 stemden het beste overeen met mensen, terwijl GPT-5.2 aanzienlijk afweek (slechts ~36% overeenstemming). Dit benadrukt dat de keuze van de evaluator cruciaal is voor betrouwbare resultaten.

5. Betekenis en Conclusie

Vibe Code Bench verschuift de focus van "kan AI code schrijven?" naar "kan AI software bouwen?".

• Uitdaging: End-to-end applicatieontwikkeling blijft een grote uitdaging; zelfs de beste modellen falen in bijna 40% van de gevallen.
• Inzicht: Het vermogen om zichzelf te testen tijdens het generatieproces is een sterke voorspeller voor succes.
• Toekomst: De benchmark biedt een robuust kader om de voortgang van "agentic coding" te meten en helpt ontwikkelaars en onderzoekers om de betrouwbaarheid van AI-tools voor niet-technische gebruikers beter in te schatten.

Kortom, VCB toont aan dat we nog niet klaar zijn voor volledig autonome softwareontwikkeling, maar dat we met de juiste tools en evaluatiemethoden wel duidelijke vooruitgang kunnen boeken.