Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation
Dieses Paper führt einen Benchmark ein, der demonstriert, dass multimodale große Sprachmodelle eine starke Mustervervollständigungs-Verzerrung aufweisen, wenn sie Webseiten-Screenshots in Code umwandeln, wobei sie visuell gestörte Elemente häufig durch wiederkehrende UI-Muster überschreiben, selbst wenn sie über die Fähigkeit zur logischen Schlussfolgerung verfügen, die Anomalien zu identifizieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Bild basierend auf einem Foto zu malen, das Sie ihm zeigen. Sie geben dem Roboter eine Kamera und eine Anweisung: „Sieh dir dieses Foto an und zeichne exakt das, was du siehst.“ In der Welt der Informatik nennt man das „multimodales“ Lernen, bei dem ein Computer sowohl seine „Augen“ (um Bilder zu sehen) als auch sein „Gehirn“ (um Text und Code zu verstehen) nutzt. In letzter Zeit sind diese Roboter sehr gut darin geworden, Screenshots von Websites zu betrachten und den Computercode (HTML und CSS) zu schreiben, der nötig ist, um diese nachzubauen. Es ist, als würde man einem Roboter ein Foto eines Hauses zeigen und er ließe sofort den Bauplan erstellen, um es zu bauen. Aber hier liegt der knifflige Teil: Roboter sind auch großartig darin, Muster zu erraten. Wenn man ihnen eine Reihe identischer roter Bälle zeigt und dann einen blauen Ball, könnten sie raten, dass der letzte auch rot ist, einfach weil „Rot“ das Muster ist, das sie erwarten. Diese Arbeit stellt eine beängstigende Frage: Wenn ein Roboter eine Website sieht, schaut er dann tatsächlich auf die Pixel oder rät er nur basierend auf dem, was er glaubt, dass dort sein sollte?
Die Forscher hinter dieser Studie, Khai-Nguyen Nguyen, Oscar Chaparro und Antonio Mastropaolo, beschlossen, dies zu testen, indem sie ein Spielchen wie „Finde den Unterschied“ mit einigen der klügsten KI-Roboter spielten. Sie entwickelten einen speziellen Test namens „Pattern2Code“. Stellen Sie sich eine Webseite voller eines Stapels identischer Karten vor, wie ein Kartendeck. Die Forscher nahmen eine Karte und machten sie heimlich etwas breiter oder änderten die Schriftgröße des Textes auf ihr. Dann zeigten sie dem Screenshot dieses leicht „fehlerhaften“ Decks fünf verschiedene KI-Modelle und baten sie, den Code für die Breite oder die Schriftgröße dieser einen seltsamen Karte zu schreiben. Der Haken dabei? Der Code, den sie zu betrachten bekamen, zeigte, dass alle anderen Karten dieselbe Größe hatten, was ein starkes Muster erzeugte.
Die Ergebnisse waren ein wenig so, als würde man einem Magier beim Zuschauen, der den Trick kennt, aber ihn trotzdem ausführt. Die KI-Modelle waren überraschend schlecht darin, das Muster zu ignorieren. Als die „seltsame“ Karte eine große, offensichtliche Änderung war (wie eine Karte, die 20 % breiter war), hatte die beste KI in etwa 69 % der Fälle recht. Aber als die Änderung winzig und subtil war (wie eine Schriftgröße, die nur ein kleines bisschen größer war), gaben die Modelle der visuellen Prüfung fast vollständig den Vorzug. Stattdessen schrieben sie einfach den Code, der besagte, dass „alles zu 100 %“ sei, was dem Muster entsprach, obwohl das Bild eindeutig etwas anderes zeigte. Tatsächlich waren die Modelle bei den subtilen Textänderungen in mehr als 80 % der Fälle falsch, da sie blind dem Muster folgten, anstatt auf die visuellen Beweise zu achten.
Die Studie fand heraus, dass diese „Musterblindheit“ schlimmer wird, wenn das Bild schwerer klar zu erkennen ist. Wenn die Forscher visuelles „Rauschen“ (wie zufällige graue Blöcke) über das Bild legten, wurden die Modelle noch verwirrter und blieben stärker am Muster hängen. Sie fanden auch heraus, dass es für die KI einfacher war, die seltsame Karte zu entdecken, wenn sie in der Mitte der Reihe lag, umgeben von normalen Karten. Aber wenn sie ganz am Rand war, war die KI eher geneigt, sie zu übersehen. Interessanterweise schrieben die KI-Modelle, selbst wenn sie in ihrem „Gedankengang“ tatsächlich die seltsame Karte sahen und die korrekte Größe berechneten, oft ihre eigene Mathematik und änderten ihre Antwort, um zum Muster zu passen. Es ist, als ob der Roboter den blauen Ball sähe, dachte „das ist blau“, aber dann sagte: „Warte, alle anderen sind rot, also sage ich auch rot.“
Die Forscher kommen zu dem Schluss, dass diese KI-Werkzeuge zwar fantastisch darin sind, die allgemeine Form einer Website zu erfassen, man ihnen aber nicht vertrauen kann, die winzigen, präzisen Details korrekt zu erfassen, ohne dass ein Mensch ihre Arbeit doppelt prüft. Je subtiler das Detail ist, desto wahrscheinlicher ist es, dass die KI ein Muster „halluziniert“, das gar nicht da ist. Dies deutet darauf hin, dass wir KI-generierten Code vorerst als einen groben Entwurf behandeln sollten, der ein sorgfältiges menschliches Auge braucht, um die kleinen Fehler zu finden, die der Roboter zu eifrig ignoriert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.