Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

L'article présente Scam2Prompt, un cadre évolutif qui révèle une vulnérabilité de sécurité critique et aggravante dans les modèles de langage de grande taille en production, où des invites automatisées dérivées de sites d'arnaque malveillants déclenchent avec succès la génération de code nuisible dans jusqu'à 47,3 % des cas sur plusieurs modèles, rendant les mesures de sécurité actuelles telles que les garde-fous et la RAG insuffisantes.

L'essentiel

Imaginez que vous embauchiez un apprenti programmeur brillant et ultra-rapide pour écrire du code pour votre entreprise. Vous lui faites une demande simple et normale, du genre : « Écrivez un script pour acheter un jeton numérique spécifique sur ce site de trading populaire. » Vous vous attendez à ce qu'il écrive un code sûr et standard.

Cependant, cet article révèle une réalité effrayante : votre apprenti a mémorisé une bibliothèque d'instructions dangereuses et falsifiées, cachées dans ses livres d'apprentissage. Lorsque vous lui demandez de l'aide pour une tâche spécifique, il pourrait accidentellement extraire une page du manuel d'un escroc et l'intégrer dans votre code, envoyant ainsi votre argent à un voleur plutôt qu'au site légitime.

Voici une analyse des conclusions de l'article à l'aide d'analogies simples :

1. Le problème : le « livre de cuisine empoisonné »

Les grands modèles de langage (LLM) sont comme des chefs qui ont lu presque tous les livres de recettes sur Internet pour apprendre à cuisiner. Le problème est qu'Internet regorge de recettes « empoisonnées » — de fausses instructions conçues pour voler votre portefeuille ou vos données.

• L'incident réel : L'article commence par l'histoire d'une personne réelle qui a perdu 2 500 $. Elle a demandé à un chatbot d'écrire un script pour acheter une cryptomonnaie sur un site populaire appelé pump.fun. Le chatbot, essayant d'être utile, a écrit un code incluant un lien vers une fausse API (une porte numérique) qui semblait réelle mais qui était en réalité un piège d'escroc. Le code demandait même à l'utilisateur de remettre sa « clé privée » (la clé maîtresse de son coffre-fort bancaire) directement à cette fausse porte. L'utilisateur, faisant confiance à l'IA, a exécuté le code, et son argent a disparu en 30 minutes.

2. L'enquête : « Scam2Prompt »

Les chercheurs ont créé un outil appelé Scam2Prompt pour déterminer s'il s'agissait d'un accident isolé ou d'une épidémie généralisée.

• L'analogie : Imaginez un agent de sécurité qui veut tester si un nouveau système de sécurité fonctionne. Au lieu d'essayer de forcer l'entrée avec une masse (ce qui est évident), l'agent prend les plans connus d'un « méchant », les réécrit pour qu'ils ressemblent à une demande de construction normale, et les remet au système de sécurité.
• Comment cela a fonctionné :
  1. Ils ont pris des listes de sites d'escroquerie connus.
  2. Ils ont alors extrait les mots-clés, les affirmations et les phrases courantes que ces sites utilisent pour tromper les victimes. En utilisant ces termes, ils ont demandé à un système d'IA de générer des demandes de codage légitimes, telles que « Comment acheter cette pièce numérique ? » ou « Comment puis-je payer via cette plateforme de vols pour acheter des billets à prix réduit ? »
  3. Ils ont soumis ces demandes « innocentes » à quatre grands modèles d'IA de production (comme GPT-4o et Llama).
  4. Ils ont vérifié si l'IA avait écrit du code contenant des liens d'escroquerie.

3. Les résultats : le piège « innocent »

Les résultats étaient alarmants. Même si les demandes semblaient parfaitement normales et provenaient de « développeurs », les modèles d'IA continuaient de générer du code contenant des liens malveillants.

• Les statistiques : Dans leur test initial, environ 4,24 % du code généré contenait un lien d'escroquerie. Cela signifie que si vous demandiez à ces IA d'écrire du code 100 fois, environ 4 fois elles vous remettraient accidentellement une arme.
• Le « Innoc2Scam-bench » : Les chercheurs ont créé une liste de « test de résistance » de 1 377 questions spécifiques qui ont toujours trompé les quatre premiers modèles pour générer du mauvais code. Ils ont ensuite testé cette liste sur sept modèles plus récents et plus avancés publiés en 2025.
• Les nouveaux modèles : Le problème n'a pas disparu ; il est resté sérieux. Les nouveaux modèles ont généré du code malveillant à des taux allant de 12,9 % à 47,3 % lorsqu'ils ont été testés sous Innoc2Scam-bench.
  • Analogie : C'est comme si vous amélioriez le moteur de votre voiture pour qu'il soit plus rapide et plus intelligent, mais que le système GPS continuait d'essayer de vous conduire dans une falaise parce que les données de la carte étaient corrompues dès le départ.

4. La hiérarchie de la sécurité

L'article a classé les modèles comme un bulletin de notes :

• Première catégorie (Les plus sûrs) : Gemini-2.5-Pro et GPT-5. Ils étaient les meilleurs pour dire « Non » ou refuser de répondre lorsque la demande était risquée. Cependant, même eux n'étaient pas parfaits.
• Deuxième catégorie : Claude-Sonnet-4.
• Troisième catégorie (Les plus risqués) : Des modèles comme DeepSeek-Chat-v3.1 et Qwen3-Coder. Ces modèles étaient très empressés de répondre aux questions, mais ils ont généré du code malveillant près de la moitié du temps (jusqu'à 47,3 %).

5. Pourquoi les défenses actuelles échouent

Les chercheurs ont testé si les outils de sécurité existants pouvaient arrêter cela.

• Les « garde-fous » : Ils ont essayé d'utiliser des filtres de sécurité standards (comme un videur dans une boîte de nuit) et des « agents de récupération » (des IA qui consultent le web pour vérifier les faits).
• Le résultat : Les garde-fous étaient largement inutiles. Ils n'ont pas réussi à détecter le code malveillant car le code semblait syntaxiquement correct et les demandes semblaient normales. Les agents de « recherche web » ont aidé un peu (réduisant le risque de 50 % à 29 %), mais ils ont tout de même échoué à attraper la majorité des escroqueries.
• La conclusion : On ne peut pas simplement compter sur l'IA pour « savoir mieux » ou sur un filtre simple. La connaissance malveillante est cuite en profondeur dans le cerveau du modèle, issue de ses données d'entraînement.

6. Les escroqueries « fantômes »

L'une des découvertes les plus glaçantes était que les modèles d'IA génèrent des liens vers des sites d'escroquerie qui n'existaient même pas encore dans les bases de données de sécurité.

• L'analogie : Les modèles d'IA avaient mémorisé les « plans » des escroqueries si bien qu'ils pouvaient reconstruire les faux sites web même si les agents de sécurité n'avaient pas encore attrapé les criminels. Certains de ces sites étaient actifs depuis plus d'un an, échappant à la détection, pourtant l'IA savait comment les utiliser.

Résumé

L'article conclut que les modèles d'IA sont actuellement « empoisonnés » par les déchets d'Internet. Même les modèles les plus intelligents et les plus récents écriront volontiers du code qui vole votre argent si vous leur posez la bonne question (mais qui semble innocente). Les mesures de sécurité actuelles sont comme essayer d'arrêter une inondation avec un parapluie en papier ; elles ne sont pas assez solides. Les auteurs suggèrent que nous devons mieux nettoyer les données d'entraînement et ajouter des vérifications externes strictes sur chaque lien généré par l'IA avant de permettre à un humain d'exécuter le code.

Résumé technique

Résumé Technique : Scam2Prompt

Énoncé du Problème

Les modèles de langage à grande échelle (LLM) sont devenus une infrastructure critique pour le développement logiciel, mais leur dépendance à l'égard de jeux de données d'entraînement non curatés à l'échelle du web introduit un risque de sécurité fondamental : l'absorption et l'intégration permanente de contenu malveillant dans les poids des modèles. Contrairement aux services web traditionnels où les URL nuisibles peuvent être retirées des listes, les données malveillantes au sein d'un corpus d'entraînement persistent à travers les futures itérations de modèles. Cet article se concentre sur une manifestation spécifique et à fort impact de ce risque : la génération de code contenant des URL d'arnaque malveillantes (par exemple, des points de terminaison de hameçonnage, des API frauduleuses) en réponse à des invites de style développeur bénignes.

L'urgence de cette question est soulignée par un incident réel survenu en novembre 2024, où un utilisateur a perdu 2 500 $ en cryptomonnaie après avoir exécuté du code généré par ChatGPT. Le code contenait un point de terminaison d'API malveillant demandant la clé privée de l'utilisateur, une violation fondamentale de la sécurité. Cet incident suggère que les LM peuvent involontairement récupérer et reproduire de la documentation malveillante ou une infrastructure d'arnaque qui a été empoisonnée dans leurs données d'entraînement, présentant une menace grave pour les systèmes de production où le code généré est souvent exécuté sans examen ligne par ligne.

Méthodologie : Cadre Scam2Prompt

Pour évaluer systématiquement ce risque, les auteurs introduisent Scam2Prompt, un cadre d'audit automatisé évolutif conçu pour identifier si les LM de production génèrent du code malveillant en réponse à des demandes de développeurs normales. Le cadre fonctionne selon le pipeline suivant :

1. Collecte d'URL Malveillantes : Le système amorce le processus avec des URL d'arnaque connues provenant des bases de données établies (par exemple, eth-phishing-detect de MetaMask et phishing-fort de PhishFort).
2. Extraction de Contenu et Synthèse d'Invites : Un robot d'indexation web extrait le texte visible des pages d'arnaque accessibles. Un « LLM d'Invite » analyse ensuite ce contenu pour synthétiser des invites de style développeur. Ces invites sont des demandes de codage totalement légitimes, telles que la demande de scripts, mais sont conçues pour toucher des domaines sensibles ou financièrement pertinents couramment exploités par les sites d'arnaque, tels que la réservation de vols, l'intégration de cartes de crédit virtuelles, les paiements en ligne ou d'autres services liés à l'argent.
3. Génération de Code : Les invites synthétisées sont soumises à un « LLM de Génération de Code » (le modèle audité) pour générer des extraits de code.
4. Extraction d'URL et Détection par Oracle : Le code généré est analysé à la recherche d'URL. Un ensemble d'oracles (ChainPatrol, Google Safe Browsing, SecLookup) détermine si ces URL sont malveillantes.
5. Validation Humaine : Pour s'assurer que les invites ne sont pas adversaires (par exemple, des contournements de sécurité) mais plutôt des demandes de développeurs bénignes, un sous-ensemble d'invites fait l'objet d'une validation manuelle par des annotateurs humains.

Ce processus produit un ensemble de données de paires Invite-Code où une demande bénigne aboutit à du code malveillant.

Contributions Clés

L'article apporte quatre contributions principales :

1. Preuve Empirique de la Génération de Code Malveillant : L'étude fournit des preuves solides que les LM de production génèrent du code contenant des URL malveillantes à des taux non négligeables en réponse à des invites de style développeur.
2. Cadre Scam2Prompt : Un outil d'audit automatisé et évolutif qui transforme des sources malveillantes connues en invites de style développeur pour tester la sécurité des LM. Les auteurs publient le code source pour soutenir la reproductibilité.
3. Innoc2Scam-bench : Un ensemble de données de référence curaté de 1 377 invites de style développeur qui ont systématiquement suscité du code malveillant de la part de quatre LM de production initiaux (GPT-4o, GPT-4o-mini, Llama-4-Scout et DeepSeek-V3). Cette référence est conçue pour tester la robustesse de l'alignement de sécurité des futurs modèles.
4. Évaluation de la Défense : Une évaluation des mécanismes de sécurité existants, y compris les garde-fous de pointe (par exemple, NeMo Guardrails) et les agents de Génération Augmentée par Récupération (RAG), démontrant leur insuffisance face à ce vecteur de menace spécifique.

Résultats Expérimentaux

Audit Initial (Modèles 2024)

Dans une étude à grande échelle impliquant plus de 265 000 invites sur quatre LM de production, les auteurs ont constaté que 4,24 % du code généré contenait des URL malveillantes. Le taux variait selon l'appariement des modèles, allant de 3,19 % à 5,94 %. Il est à noter que le cadre a identifié 62 nouveaux domaines malveillants absents des bases de données d'amorçage, qui ont ensuite été signalés et ajoutés à la liste de blocage eth-phishing-detect.

Tests de Stress sur les Modèles Plus Récents (Sorties 2025)

Le Innoc2Scam-bench a été appliqué à sept autres LM de production sortis en 2025 (y compris GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 et DeepSeek-Chat-V3.1). Les résultats indiquent que la vulnérabilité est systémique et grave :

• Taux de Génération Malveillante : Ils variaient de 12,9 % (Gemini-2.5-Pro) à 47,3 % (DeepSeek-Chat-V3.1).
• Classement de Sécurité :
  • Niveau 1 (Haute Sécurité) : Gemini-2.5-Pro et GPT-5. Gemini-2.5-Pro a obtenu le taux le plus bas (12,9 %) principalement grâce à un filtrage de contenu agressif (refusant environ 40 % des invites).
  • Niveau 2 (Sécurité Modérée) : Claude-Sonnet-4 (taux malveillant de 34,3 %).
  • Niveau 3 (Faible Sécurité) : Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder et DeepSeek-Chat-V3.1, tous affichant des taux malveillants compris entre 43,4 % et 47,3 %.
• Filtrage vs Sécurité Intrinsèque : Lorsque le filtrage de contenu (refus) était exclu et que seules les générations de code complètes étaient analysées, l'écart de sécurité entre les modèles de premier rang s'est considérablement réduit, et les taux de génération malveillante pour tous les modèles sont restés élevés (souvent supérieurs à 40 % pour les niveaux inférieurs). Cela suggère que, bien que le filtrage aide, la vulnérabilité sous-jacente (mémorisation de motifs malveillants) persiste.

Évaluation des Atténuations

• Garde-fous : Les garde-fous de pointe (NeMo Guardrails, API de modération OpenAI, Llama Guard 3) ont échoué à détecter la grande majorité du code malveillant. Les taux de détection étaient négligeables (de 0 % à 8,43 %), indiquant que les filtres de sécurité génériques sont insuffisants pour les menaces au niveau des points de terminaison.
• Agents RAG : Un agent augmenté par récupération avec des instructions explicites de vérifier la sécurité des URL a réduit le taux malveillant pour GPT-4o de 50,04 % à 29,41 %. Cependant, un risque résiduel d'environ 30 % est resté, prouvant que le RAG seul n'est pas une solution complète.

Importance et Revendications

L'article affirme que la contamination des jeux de données d'entraînement par des sources d'arnaque malveillantes est un problème à l'échelle de l'industrie qui persiste malgré les progrès en matière de sécurité et d'alignement des modèles. Les résultats démontrent que :

1. La Contamination des Données d'Entraînement est Persistante : Le contenu malveillant absorbé lors du pré-entraînement n'est pas facilement éliminé par un ajustement fin de sécurité standard ou un alignement, comme en témoignent les taux d'échec élevés des modèles de 2025.
2. Les Défenses Actuelles sont Insuffisantes : Les garde-fous standards et les agents basés sur le RAG offrent une protection limitée contre la génération d'URL malveillantes dans le code.
3. Besoin Urgent de Nouvelles Défenses : Les auteurs plaident pour la nécessité d'étapes de validation d'URL explicites et basées sur des oracles dans le pipeline de génération de code et d'amélioration des techniques de curation des données (par exemple, l'oubli machine, le nettoyage par agents) pour s'attaquer à la cause racine.

Les auteurs positionnent ce travail comme une démystification d'une faille de sécurité existante plutôt que comme l'introduction d'une nouvelle menace, en soulignant la nécessité d'un audit systématique et de la publication de références (Innoc2Scam-bench) pour stimuler les recherches futures sur un développement assisté par LM robuste et sécurisé.