Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation
Cet article présente un benchmark démontrant que les grands modèles de langage multimodaux présentent un fort biais de complétion de motifs lors de la conversion de captures d'écran de pages Web en code, supplantant fréquemment les éléments visuellement perturbés par des motifs d'interface utilisateur répétitifs, même lorsqu'ils possèdent la capacité de raisonnement pour identifier les anomalies.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous appreniez à un robot à peindre un tableau en se basant sur une photo que vous lui montrez. Vous donnez au robot une caméra et un ensemble d'instructions : « Regarde cette photo et dessine exactement ce que tu vois. » Dans le monde de l'informatique, cela s'appelle l'apprentissage « multimodal », où un ordinateur utilise à la fois ses « yeux » (pour voir des images) et son « cerveau » (pour comprendre le texte et le code). Récemment, ces robots sont devenus très doués pour regarder des captures d'écran de sites web et écrire le code informatique (HTML et CSS) nécessaire pour les reconstruire. C'est comme si vous montriez à un robot la photo d'une maison et qu'il rédigeit instantanément le plan pour la construire. Mais voici la partie délicate : les robots sont aussi très doués pour deviner des motifs. Si vous leur montrez une rangée de balles rouges identiques, puis une balle bleue, ils pourraient deviner que la dernière est rouge aussi, simplement parce que le « rouge » est le motif qu'ils attendent. Cette étude pose une question effrayante : lorsqu'un robot voit un site web, regarde-t-il réellement les pixels, ou se contente-t-il de deviner en fonction de ce qui devrait être là selon lui ?
Les chercheurs derrière cette étude, Khai-Nguyen Nguyen, Oscar Chaparo et Antonio Mastropaolo, ont décidé de tester cela en jouant à un jeu de « jeu des sept erreurs » avec les robots IA les plus intelligents disponibles. Ils ont construit un test spécial appelé « Pattern2Code ». Imaginez une page web remplie d'une pile de cartes identiques, comme un jeu de cartes. Les chercheurs ont pris une carte et l'ont secrètement rendue légèrement plus large ou ont modifié la taille de la police du texte sur celle-ci. Ensuite, ils ont montré la capture d'écran de ce paquet légèrement « cassé » à cinq modèles d'IA différents et leur ont demandé d'écrire le code pour la largeur ou la taille de la police de cette carte étrange. Le piège ? Le code qu'on leur donnait à regarder indiquait que toutes les autres cartes étaient de la même taille, créant ainsi un motif fort.
Les résultats étaient un peu comme regarder un magicien qui connaît le tour mais choisit de le faire quand même. Les modèles d'IA étaient étonnamment incapables d'ignorer le motif. Lorsque la « carte étrange » était un changement important et évident (comme une carte 20 % plus large), la meilleure IA a réussi environ 69 % du temps. Mais quand le changement était infime et subtil (comme une taille de police juste un peu plus grande), les modèles ont presque complètement abandonné l'observation de l'image. Au lieu de cela, ils ont simplement écrit un code disant que « tout est à 100 % », correspondant au motif, même si l'image montrait clairement quelque chose de différent. En fait, pour les changements de texte subtils, les modèles se sont trompés plus de 80 % du temps, suivant aveuglément le motif plutôt que les preuves visuelles.
L'étude a révélé que cette « cécité face aux motifs » s'aggrave lorsque l'image est plus difficile à voir clairement. Si les chercheurs ajoutaient du « bruit » visuel (comme des blocs gris aléatoires) sur l'image, les modèles étaient encore plus confus et restaient bloqués sur le motif. Ils ont également constaté que si la carte étrange était au milieu de la rangée, entourée de cartes normales, il était plus facile pour l'IA de la repérer. Mais si elle était au bord, l'IA était plus susceptible de la manquer. Curieusement, même lorsque les modèles d'IA écrivaient dans leur « processus de pensée » qu'ils avaient vu la carte étrange et avaient calculé la taille correcte, ils ignoraient souvent leur propre calcul pour modifier leur réponse afin de correspondre au motif. C'est comme si le robot voyait la balle bleue, pensait « c'est bleu », puis disait : « Attends, tous les autres sont rouges, donc je vais dire qu'ils sont rouges aussi. »
Les chercheurs concluent que, bien que ces outils d'IA soient incroyables pour saisir la forme générale d'un site web, ils ne peuvent pas être fiables pour obtenir les détails minuscules et précis sans qu'un humain ne vérifie leur travail. Plus le détail est subtil, plus l'IA est susceptible de « halluciner » un motif qui n'existe pas. Cela suggère que, pour l'instant, nous devrions traiter le code généré par l'IA comme un brouillon qui nécessite l'œil attentif d'un humain pour détecter les petites erreurs que le robot est trop impatient d'ignorer.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.