MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

Dit paper introduceert MiniAppBench, een nieuw benchmark en evaluatiekader (MiniAppEval) dat de prestaties van grote taalmodellen meet bij het genereren van interactieve HTML-toepassingen, een domein waar bestaande benchmarks tekortschieten.

De kern

Stel je voor dat je een assistent hebt die niet alleen praat, maar ook bouwt.

Vroeger, als je een chatbot vroeg: "Hoe werkt de zwaartekracht?", kreeg je een lange, saaie tekst. Dat is als een kok die je alleen de receptuur van een taart geeft, maar de taart zelf niet bakt.

Dit nieuwe onderzoek, MINIAPPBENCH, kijkt naar de toekomst: wat als die assistent niet alleen de tekst geeft, maar direct een kleine, interactieve app (een "MiniApp") voor je bouwt? Je klikt erop, je sleept dingen, je ziet hoe een appel valt, en je kunt zelf de zwaartekracht veranderen. Het is alsof de kok niet alleen het recept geeft, maar direct een taart voor je bakt die je kunt proeven en aanpassen.

Hier is hoe dit onderzoek werkt, vertaald in begrijpelijke taal:

1. Het Probleem: De "Saaie" Test

Tot nu toe hebben we AI getest op basis van simpele code-opdrachten (zoals "schrijf een functie die twee getallen optelt"). Dat is als een chef-kok testen door te vragen of hij een ei kan bakken. Maar in de echte wereld wil je een heel diner, met de juiste smaken en presentatie.

Bestaande tests kijken alleen of de code "werkt" (geen fouten), maar niet of de app logisch is.

• Voorbeeld: Als je vraagt om een simulatie van een week, en de app stopt na 5 dagen, dan is de code misschien foutloos, maar is de app dom. Een week heeft immers 7 dagen. De AI moet de "regels van de echte wereld" begrijpen, niet alleen de regels van de programmeertaal.

2. De Oplossing: MINIAPPBENCH (De Keuken)

De onderzoekers hebben een nieuwe "keuken" gebouwd genaamd MINIAPPBENCH.

• De Ingrediënten: Ze hebben 500 echte vragen van mensen verzameld (zoals "maak een spelletje" of "simuleer een chemische reactie").
• De Taak: De AI moet voor elke vraag een werkende, interactieve web-app maken.
• De Regels: De app moet niet alleen mooi zijn, maar ook de wetten van de natuurkunde of de logica van het dagelijks leven volgen. Als je een appel laat vallen, moet hij naar beneden vallen, niet naar boven vliegen.

3. De Scheidsrechter: MINIAPPEVAL (De Proefcommissie)

Hoe meet je of zo'n app goed is? Je kunt niet zeggen: "Kijk, deze app lijkt op die andere app." Want er zijn duizenden manieren om een goede app te maken.

Daarom hebben ze MINIAPPEVAL bedacht. Dit is geen simpele checklist, maar een slimme robot-scheidsrechter die een menselijke tester nabootst:

• Hij klikt en sleept: De robot opent de app in een virtuele browser en klikt op alles. Hij trekt aan schuifbalkjes, typt in velden en kijkt wat er gebeurt.
• Hij kijkt in de motor: Hij kijkt niet alleen naar wat je ziet, maar ook naar de code erachter om te zien of de logica klopt.
• Drie dimensies: Hij beoordeelt de app op drie punten:
  1. Intentie: Begreep de AI wat je wilde? (Wil je een taart of een soep?)
  2. Statisch: Is de app netjes gebouwd? (Zit er een deksel op de pan?)
  3. Dynamisch: Werkt het interactief? (Is de soep echt gaar en proefbaar?)

4. Wat Vonden Ze? (De Resultaten)

Toen ze de beste AI-modellen van vandaag de dag (zoals die van Google, OpenAI, etc.) deze test lieten doen, was het resultaat verrassend:

• Het is nog heel moeilijk. Zelfs de slimste AI's halen maar ongeveer 45% van de tests goed. Ze maken vaak fouten in de "regels van de wereld". Ze bouwen soms een app die er mooi uitziet, maar waar je niets mee kunt doen, of waar de logica niet klopt.
• De robot-scheidsrechter is eerlijk. De nieuwe methode (MINIAPPEVAL) oordeelt bijna precies hetzelfde als echte mensen. Dat is een groot vooruitgang, want tot nu toe was het heel moeilijk om automatisch te zeggen of een AI-app "goed" was.

Samenvattend

Dit onderzoek zegt: "AI moet niet alleen praten, maar ook doen."

We gaan van een wereld van statische tekst naar een wereld van interactieve ervaringen. Maar om daar te komen, moeten we AI's leren om niet alleen code te schrijven, maar om de regels van de echte wereld te begrijpen. De onderzoekers hebben nu de perfecte test (MINIAPPBENCH) en de perfecte scheidsrechter (MINIAPPEVAL) om te zien welke AI's klaar zijn voor deze nieuwe wereld en welke nog in de kleuterschool zitten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MINIAPPBENCH: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants", vertaald en samengevat in het Nederlands.

1. Het Probleem

De interactie tussen mens en AI evolueert snel van statische tekstuele antwoorden naar dynamische, interactieve HTML-toepassingen, die de auteurs MINIAPPS noemen. Waar eerdere benchmarks zich richtten op algorithmische correctheid (zoals HumanEval) of statische lay-out reconstructie (zoals Pix2Code), missen deze de capaciteit om te evalueren of modellen real-world principes (zoals natuurwetten, logische tijdsverloop of domeinspecifieke regels) correct kunnen vertalen naar uitvoerbare code.

Huidige benchmarks hebben drie grote tekortkomingen:

1. Ze behandelen code vaak als abstracte logica zonder uitvoeringscontext.
2. Ze focussen op visuele trouw in plaats van functionele interactie en causaliteit.
3. Ze hebben geen mechanisme om te verifiëren of een gegenereerde applicatie voldoet aan impliciete, real-world aannames (bijvoorbeeld: "een object in vrije val volgt de zwaartekracht").

Bovendien is het evalueren van deze open-ended generatie lastig omdat er vaak geen enkele "ground truth" code bestaat; er zijn meerdere geldige implementaties mogelijk voor dezelfde gebruikersintentie.

2. Methodologie

De paper introduceert een tweeledige aanpak: een nieuw benchmark-dataset en een nieuw evaluatiekader.

A. MINIAPPBENCH (Het Dataset)

Dit is het eerste benchmark-dataset dat specifiek is ontworpen om de generatie van principes-gedreven, interactieve applicaties te evalueren.

• Bron: Het dataset is afgeleid van meer dan 10 miljoen real-world gebruikersvragen van een productieplatform.
• Constructie: Via een strikt meerstapsproces (filtering door LLMs en menselijke experts) zijn 500 hoogwaardige taken geselecteerd.
• Domeinen: De taken zijn verdeeld over zes domeinen: Wetenschap, Games, Hulpmiddelen, Geesteswetenschappen, Visualisatie en Lifestyle.
• Eisen: Elke taak vereist dat het model niet alleen syntactisch correcte code genereert, maar ook interactieve logica die voldoet aan impliciete real-world principes (bijv. een simulatie van verdamping die de fysica correct volgt).
• Structuur: Elk datapunt bestaat uit een query, een domein-classificatie, een moeilijkheidsgraad (Eenvoudig, Middel, Moeilijk) en een gestructureerde evaluatie-referentie.

B. MINIAPPEVAL (Het Evaluatiekader)

Om de open-ended aard van MINIAPPS aan te pakken, stellen de auteurs MINIAPPEVAL voor: een agentisch evaluatiekader dat browserautomatisering gebruikt.

• Technologie: Het maakt gebruik van Playwright om menselijke interactie (klikken, typen, slepen) te simuleren in een browseromgeving.
• Drie Evaluatie-dimensies:
  1. Intention (Intentie): Wordt het hoogste doel van de gebruiker bereikt? (Bijv. wordt de juiste natuurwet gesimuleerd?)
  2. Static (Statisch): Is de codestructuur correct, zijn de vereiste elementen aanwezig en voldoet het aan toegankelijkheidsstandaarden?
  3. Dynamic (Dynamisch): Hoe gedraagt de applicatie zich tijdens runtime? Worden staatsovergangen consistent gehandhaafd en worden randgevallen (edge cases) correct afgehandeld zonder crashes?
• Agentische Benadering: In plaats van te vertrouwen op vaste scripts of vergelijking met een referentiecode, "verkent" een LLM-agent de gegenereerde applicatie om te zien of deze functioneel voldoet aan de intentie en real-world principes.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De paper pleit voor een nieuwe interactieparadigma waarbij gegenereerde HTML-toepassingen (MINIAPPS) de nieuwe standaard worden voor mens-LLM-interactie, in plaats van statische tekst.
2. MINIAPPBENCH: De introductie van het eerste benchmark-dataset dat zich richt op principes-gedreven interactie, gebaseerd op real-world data en gediversifieerd over zes domeinen.
3. MINIAPPEVAL: Een innovatief evaluatiekader dat statische code-inspectie combineert met mensachtige, dynamische verkenning via browserautomatisering. Dit lost het probleem op van het ontbreken van een enkele "ground truth" door te focussen op functionele voldoening.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat MINIAPPEVAL een hoge correlatie heeft met menselijke beoordelingen, waardoor het een betrouwbare standaard wordt voor toekomstig onderzoek.

4. Resultaten

De auteurs hebben 16 verschillende LLM-modellen (zowel open-source als gesloten, waaronder GPT-5, Claude, Gemini, Qwen en GLM) getest op MINIAPPBENCH.

• Algemene Prestaties: De prestaties zijn over het algemeen laag. De beste modellen (GPT-5.2) haalden een "pass rate" van slechts 45,46%, terwijl het gemiddelde over alle modellen 17,05% bedroeg. Dit onderstreept dat huidige modellen moeite hebben om hoogwaardige, principes-gedreven interactieve applicaties te genereren.
• Open-source vs. Gesloten: Gesloten modellen presteerden consequent beter dan open-source modellen, hoewel de prestatiegap kleiner is dan bij traditionele code-generatie benchmarks, wat suggereert dat MINIAPPBENCH minder vatbaar is voor overfitting.
• Moeilijkheidsgraad: De prestaties daalden sterk naarmate de taak moeilijker werd. Kleinere modellen konden soms eenvoudige taken aan, maar faalden bij complexe logica.
• Domein-specifiek: Modellen presteerden beter bij domeinen met duidelijke doelen (Visualisatie, Lifestyle) dan bij domeinen die diepgaande domeinkennis en complexe engineering vereisen (Wetenschap, Geesteswetenschappen).
• Validatie van MINIAPPEVAL: De ablatiestudies toonden aan dat elk component van MINIAPPEVAL (Code-inspectie, Agentische verkenning, Evaluatie-referentie) essentieel is. Zonder de agentische verkenning daalt de precisie drastisch, omdat statische inspectie dynamische bugs niet kan opsporen.

5. Betekenis en Impact

Deze paper markeert een cruciaal punt in de ontwikkeling van LLM-powered assistenten:

• Van Tekst naar Actie: Het benadrukt dat de toekomst van AI niet ligt in het genereren van meer tekst, maar in het creëren van functionele, interactieve tools die direct bruikbaar zijn.
• Nieuwe Evaluatiestandaard: MINIAPPBENCH en MINIAPPEVAL vullen een kritieke leemte in de literatuur. Ze bieden een manier om te meten of AI-modellen werkelijk "redeneren" over de wereld en deze principes kunnen vertalen naar werkende software, in plaats van alleen patronen te herkennen.
• Toekomstgericht: De bevindingen dat huidige modellen nog significant falen bij het creëren van betrouwbare MINIAPPS, wijzen op een grote kans voor verbetering en nieuwe onderzoeksdomeinen in "Agentic Web Development".

Kortom, dit werk definieert een nieuwe meetlat voor AI-vaardigheden: niet alleen of code werkt, maar of het een correcte, interactieve en realistische weergave is van de wereld zoals bedoeld door de gebruiker.