Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation
Dit artikel introduceert een benchmark die aantoont dat multimodale grote taalmodellen een sterke patroonvullingsbias vertonen bij het omzetten van webpagina-screenshots naar code, waarbij ze visueel verstoorde elementen frequent overschrijven met herhaalde UI-patronen, zelfs wanneer ze over het redeneervermogen beschikken om de anomalieën te identificeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert om een schilderij te maken op basis van een foto die je hem laat zien. Je geeft de robot een camera en een reeks instructies: "Kijk naar deze foto en teken precies wat je ziet." In de wereld van de informatica wordt dit "multimodaal" leren genoemd, waarbij een computer zowel zijn "ogen" gebruikt (om afbeeldingen te zien) als zijn "brein" (om tekst en code te begrijpen). Onlangs zijn deze robots erg goed geworden in het bekijken van screenshots van websites en het schrijven van de computercode (HTML en CSS) die nodig is om deze te reconstrueren. Het is alsof je een robot een foto van een huis laat zien en hij direct de blauwdruk schrijft om het te bouwen. Maar hier komt het lastige gedeelte bij: robots zijn ook erg goed in het raden van patronen. Als je ze een rij identieke rode ballen laat zien, en dan één blauwe bal, kunnen ze raden dat de laatste ook rood is, simpelweg omdat "rood" het patroon is dat ze verwachten. Dit artikel stelt een angstaanjagende vraag: wanneer een robot een website ziet, kijkt hij dan echt naar de pixels, of raadt hij gewoon op basis van wat er volgens hem zou moeten zijn?
De onderzoekers achter deze studie, Khai-Nguyen Nguyen, Oscar Chaparro en Antonio Mastropaolo, besloten dit te testen door een spelletje "zoek de verschillen" te spelen met enkele van de slimste AI-robots die beschikbaar zijn. Ze bouwden een speciale test genaamd "Pattern2Code". Stel je een webpagina voor die vol staat met een stapel identieke kaarten, zoals een kaartspel. De onderzoekers namen één kaart en maakten deze stiekem iets breder of veranderden de lettergrootte van de tekst op de kaart. Vervolgens lieten ze de screenshot van dit lichtelijk "defecte" deck aan vijf verschillende AI-modellen zien en vroegen hen de code te schrijven voor de breedte of de lettergrootte van die ene vreemde kaart. De crux? De code die ze kregen om naar te kijken, liet zien dat alle andere kaarten dezelfde grootte hadden, wat een sterk patroon creëerde.
De resultaten waren een beetje alsof je naar een goochelaar kijkt die de truc kent, maar besluit hem toch uit te voeren. De AI-modellen waren verrassend slecht in het negeren van het patroon. Wanneer de "vreemde" kaart een grote, duidelijke verandering was (zoals een kaart die 20% breder was), had de beste AI het ongeveer 69% van de tijd bij het rechte eind. Maar wanneer de verandering klein en subtiel was (zoals een lettergrootte die net iets groter was), gaven de modellen de strijd bijna volledig op om naar de afbeelding te kijken. In plaats daarvan schreven ze simpelweg code die zei dat "alles 100% is", passend bij het patroon, ook al liet de afbeelding duidelijk iets anders zien. Sterker nog, voor de subtiele tekstveranderingen hadden de modellen vaker dan 80% van de tijd ongelijk; ze volgden blindelings het patroon in plaats van het visuele bewijs.
De studie vond dat deze "patroonblindheid" erger wordt wanneer de afbeelding moeilijker duidelijk te zien is. Als de onderzoekers visuele "ruis" (zoals willekeurige grijze blokken) over de afbeelding plaatsten, raakten de modellen nog meer in de war en bleven ze hangen in het patroon. Ze ontdekten ook dat als de vreemde kaart in het midden van de rij stond, omringd door normale kaarten, het voor de AI makkelijker was om deze te spotten. Maar als de kaart aan de uiterste rand zat, was de AI eerder geneigd deze te missen. Interessant genoeg, zelfs wanneer de AI-modellen in hun "denkproces" wel opschreven dat ze de vreemde kaart hadden gezien en de juiste grootte hadden berekend, negeerden ze vaak hun eigen wiskunde en veranderden ze hun antwoord om bij het patroon te passen. Het is alsof de robot de blauwe bal zag, dacht "die is blauw", maar toen zei: "Wacht even, iedereen is rood, dus ik zal ook zeggen dat hij rood is."
De onderzoekers concluderen dat hoewel deze AI-tools geweldig zijn voor het krijgen van de algemene vorm van een website, ze niet vertrouwd kunnen worden om de kleine, precieze details correct te krijgen zonder dat een mens hun werk controleert. Hoe subtieler het detail, hoe groter de kans dat de AI een patroon "hallucineert" dat er niet is. Dit suggereert dat we AI-gegenereerde code voorlopig moeten behandelen als een conceptversie die een zorgvuldig menselijk oog nodig heeft om de kleine fouten te vangen die de robot te enthousiast negeert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.