Résumé Technique : Gare aux Botnets d'Agents

Énoncé du Problème

L'adoption rapide des applications de Grands Modèles de Langage (LLM) agentiques a introduit un nouveau vecteur de menace appelé promptware : des entrées conçues pour induire un comportement malveillant dans le contexte d'un LLM. Bien que des recherches antérieures aient démontré des attaques par injection de prompt ciblées (par exemple, via des e-mails ou des invitations de calendrier), celles-ci nécessitent que les adversaires aient un accès direct à la victime ou à un canal de communication spécifique.

Une lacune critique subsiste concernant les attaques de promptware non ciblées. Les méthodes non ciblées actuelles (par exemple, la publication de prompts adverses sur des sites web à faible trafic) manquent de scalabilité car elles reposent sur la récupération par l'application LLM de données empoisonnées provenant de sources obscures. À l'inverse, placer des prompts adverses sur des ressources à fort trafic nécessite généralement de compromettre des serveurs sécurisés, ce qui est difficile sous des modèles de menace faibles. Ce document traite la question fondamentale suivante : Les attaquants peuvent-ils exploiter les applications de LLM à grande échelle sans canal direct ni compromission préalable de cibles de haute valeur ?

Les auteurs postulent que la tendance inhérente des LLM à halluciner des identifiants de ressources (par exemple, des noms de dépôts ou des slugs de compétences inexistants) crée une surface d'attaque scalable. En exploitant ces hallucinations, les adversaires peuvent établir un « botnet » d'appareils agentiques compromis.

Méthodologie : L'Adversarial HalluSquatting

Le document introduit l'Adversarial HalluSquatting, une technique où les attaquants enregistrent préemptivement des ressources correspondant aux hallucinations les plus probables d'un LLM. Le flux d'attaque comprend six étapes :

1. Préparation : L'attaquant identifie les ressources tendances (par exemple, des dépôts GitHub populaires ou des compétences) et sonde le LLM cible (ou le modèle fondamental) avec des prompts conçus pour susciter la récupération de ressources (par exemple, « clone le dépôt X »).
2. Analyse de la Distribution : L'attaquant analyse la sortie du LLM pour déterminer la distribution de probabilité des identifiants hallucinés (par exemple, des noms de propriétaires incorrects pour un dépôt ou des slugs de compétences malformés).
3. Squatting (Squattage) : L'attaquant enregistre les identifiants hallucinés à haute probabilité sur des plateformes publiques (par exemple, GitHub, ClawHub) avant que des utilisateurs ou des agents légitimes ne puissent le faire.
4. Déclencheur : Un utilisateur sollicite un agent pour récupérer la ressource originale (par exemple, « clone librepods »).
5. Hallucination et Récupération : Le LLM hallucine un identifiant qui correspond à la ressource enregistrée par l'attaquant. Le framework agentique récupère alors le contenu contrôlé par l'attaquant au lieu de la ressource légitime.
6. Exécution de la Charge Utile : Le contenu récupéré contient des prompts adverses intégrés (promptware) qui ordonnent à l'agent d'exécuter des actions malveillantes, telles que l'installation d'un reverse shell, l'exfiltration de données ou l'exécution de code arbitraire.

L'attaque repose sur la transférabilité des hallucinations entre différents modèles fondamentaux et couches d'application, permettant à un seul candidat de squatting de compromettre plusieurs systèmes.

Principales Contributions

1. Promptware Non Ciblé Scalable pour les Botnets : Contrairement aux attaques scalables précédentes qui reposaient sur des prompts auto-réplicatifs dans des chaînes d'e-mails ciblées, ce travail démontre une méthode pour infecter des applications agentiques à grande échelle sans canaux d'injection directs. En ciblant des ressources populaires, les attaquants peuvent compromettre un grand nombre d'appareils pour former un botnet.
2. Vulnérabilités Universelles et Transférables : L'étude prouve que les schémas d'hallucination sont cohérents entre différentes familles de LLM (Gemini, GPT, Claude) et se transfèrent de la couche du modèle fondamental à la couche d'application (assistants de codage, outils CLI, assistants personnels).
3. Armement des Hallucinations : Le document se distingue des attaques de la chaîne d'approvisionnement antérieures (qui se concentrent sur les packages fantômes générés lors de l'écriture de code) en ciblant le temps d'inférence de l'application LLM elle-même. L'attaque exploite la confiance de l'application envers les ressources externes récupérées.

Résultats Expérimentaux

Les auteurs ont évalué l'attaque contre un large éventail d'applications et de plateformes agentiques.

Squatting de Dépôts (Assistants de Codage)

• Taux d'Hallucination : Les modèles fondamentaux ont halluciné les propriétaires de dépôts pour 92,4 % des dépôts récents et tendances (créés en 2025), contre seulement 0,9 % pour les dépôts plus anciens. Dans certains cas, le taux d'hallucination a atteint 100 %.
• Schémas : Un schéma dominant est l'« hallucination auto-référentielle », où le modèle utilise le nom du dépôt comme propriétaire (par exemple, librepods/librepods). Ce schéma est enregistrable et est apparu dans 27 % de tous les essais sur les modèles.
• Succès de Bout en Bout : L'attaque a été testée contre six assistants de codage (Cursor, Cursor CLI, Gemini CLI, Windsurf, Copilot Chat, Cline).
  • Succès du Squatting : Les six assistants ont récupéré avec succès le dépôt contrôlé par l'attaquant.
  • Exécution de la Charge Utile : L'exécution de code à distance (RCE) ou l'invocation d'outils a été réalisée dans 20 % à 65 % des essais, selon l'assistant et le modèle. Par exemple, Windsurf a atteint un taux de RCE de 65 %, tandis qu'OpenClaw a atteint 100 % dans certaines configurations.

Squatting de Compétences (Assistants Personnels)

• Classes de Vulnérabilité : Deux modes de défaillance principaux ont été identifiés dans l'installation de compétences :
  • V1 (Suppression de Mot) : Le LLM supprime des mots-clés (par exemple, « skill ») de la requête, résolvant ainsi skill-vetter vers le slug vetter.
  • V2 (Divergence Affichage/Slug) : Le LLM échoue à mapper un nom d'affichage lisible par l'humain vers le slug technique correct, particerrement pour les compétences documentées en non-anglais.
• Taux d'Hallucination : Sur 140 essais sur OpenClaw, 90,7 % des requêtes d'installation ont été résolues vers un slug squattable.
• Succès de Bout en Bout : Lors de tests contre OpenClaw, ZeroClaw et NanoClaw, une seule compétence squattée a atteint 100 % de succès dans l'exfiltration de contexte et 84–100 % de succès dans l'exécution de reverse shell (transfert de terminal), selon le modèle spécifique et les politiques de sécurité.

Signification et Revendications

Le document affirme que l'Adversarial HalluSquatting représente un changement fondamental dans le paysage des menaces pour l'IA agentique. Sa signification réside dans :

• Scalabilité : Elle permet des attaques non ciblées qui peuvent compromettre des milliers d'appareils simultanément en tirant parti de la prévisibilité des erreurs des LLM, plutôt que de nécessiter un ciblage individuel.
• Formation de Botnets : Le vecteur d'attaque permet aux adversaires de transformer des applications agentiques distribuées en un botnet capable de mener des attaques DDoS à grande échelle, du minage de cryptomonnaies ou du déploiement de ransomwares.
• Universalité : La vulnérabilité n'est pas isolée à un seul modèle ou une seule application, mais est un problème systémique affectant l'interaction entre les frameworks agentiques et les registres de ressources externes.

Les auteurs concluent que les stratégies de mitigation actuelles sont insuffisantes et que la communauté doit traiter la frontière de confiance entre les applications de LLM et les ressources externes. Ils soulignent que bien que leurs charges utiles aient été bénignes pour des raisons éthiques, les mécaniques d'attaque sont pleinement fonctionnelles et posent une menace réaliste à haut impact.

Stratégies de Mitigation Proposées

Le document suggère des mitigations à deux niveaux :

1. Côté Application : Imposer un flux de travail où un outil de recherche doit être invoqué avant toute opération de récupération de ressource. Cela réduit considérablement les taux d'hallucination (par exemple, de ~90 % à <10 % dans certains cas).
2. Côté Plateforme : Mettre en œuvre des contraintes d'enregistrement plus strictes, telles que l'unicité globale des noms (élimination des espaces de noms) ou l'enregistrement préemptif des noms de ressources probablement hallucinés pour les rediriger vers des sources légitimes. De plus, les plateformes devraient scanner le contenu enregistré pour détecter des schémas d'injection de prompt.