EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
Cet article présente EchoCoT, un cadre d'attaque multi-étapes qui parvient à extraire des traces de chaîne de pensée cachées de manière quasi textuelle à partir de modèles de raisonnement de pointe et de modèles open-source via des interactions API, démontrant ainsi un risque de sécurité significatif pour ces actifs de modèles précieux.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les systèmes d'intelligence artificielle modernes sont devenus remarquablement habiles pour résoudre des problèmes complexes, de l'écriture de code informatique à la navigation dans des énigmes scientifiques. Lorsque ces modèles avancés s'attaquent à une question difficile, ils ne se contentent pas de recracher une réponse finale. Au lieu de cela, ils génèrent d'abord un long flux de pensée interne, un processus de raisonnement étape par étape où ils explorent des idées, vérifient leur travail, corrigent leurs erreurs et considèrent différents chemins avant de se fixer sur une conclusion. Ce monologue interne, souvent appelé « chaîne de pensée » (chain of thought), est généralement caché à l'utilisateur. Le modèle garde ce raisonnement privé, ne montrant que le résultat final pour protéger ses actifs intellectuels et empêcher l'exposition de données sensibles ou de logique propriétaire. Pour les développeurs, ce raisonnement caché est une ressource précieuse pour améliorer les futurs modèles, tandis que pour les utilisateurs, c'est une boîte noire qui promet une réponse correcte sans révéler le travail désordonné qui se cache derrière.
Une équipe de chercheurs en sécurité du centre CISPA Helmholtz pour la sécurité de l'information a découvert que ce raisonnement caché n'est pas aussi sécurisé qu'on le croyait. Ils ont trouvé un moyen de tromper ces modèles avancés pour les forcer à révéler l'intégralité de leur processus de pensée interne, presque mot pour mot, même lorsque les modèles sont conçus pour le garder secret. Les chercheurs ont développé une méthode appelée EchoCoT, qui exploite une particularité spécifique dans la manière dont ces modèles interagissent avec des outils externes. Dans de nombreux systèmes, lorsqu'un modèle doit utiliser un outil — comme une calculatrice ou une base de données — il interrompt son raisonnement pour effectuer l'appel, mais il conserve ses pensées précédentes actives dans sa mémoire pour assurer la continuité. Les chercheurs ont réalisé qu'un attaquant pourrait utiliser cette continuité à son avantage. En demandant de manière répétée au modèle d'enregistrer ses pensées dans un outil, puis en rejetant ces pensées enregistrées comme étant incomplètes, ils pourraient forcer le modèle à rejouer son raisonnement interne, révélant à chaque fois plus de détails jusqu'à ce que l'intégralité de la chaîne de pensée cachée soit exposée.
Les chercheurs ont testé cette technique sur une variété de modèles, incluant à la fois des systèmes open-source et les modèles propriétaires les plus avancés des grandes entreprises technologiques. Sur les modèles open-source, où les chercheurs pouvaient comparer les pensées extraites aux pensées cachées originales, ils ont constaté qu'EchoCoT pouvait récupérer la quasi-totalité du processus de raisonnement. Dans de nombreux cas, le texte extrait correspondait aux pensées cachées originales avec une précision extrême, capturant plus de 90 % des mots et expressions exacts. La méthode a fonctionné même pour des chaînes de raisonnement très longues, extrayant avec succès des milliers de jetons (tokens) de pensée. Lorsque les chercheurs ont appliqué la même technique aux modèles propriétaires de sociétés comme Google et Anthropic, ils ne pouvaient pas voir les pensées cachées originales pour les comparer directement. Cependant, les pensées extraites étaient incroyablement longues, correspondant souvent à la longueur du raisonnement que les entreprises avaient déclaré avoir utilisé par les modèles. De plus, le contenu de ces pensées extraites s'alignait étroitement avec les brèves résumés fournis par les entreprises, suggérant que l'extraction était précise. Dans un cas impliquant un modèle de Google, les chercheurs ont récupéré une chaîne de raisonnement de plus de 33 000 jetons, ce qui était presque identique en longueur au processus interne rapporté par le modèle.
Au-delà de la simple récupération du texte, les pensées extraites ont révélé des détails riches sur la manière dont ces modèles pensent. Les chercheurs ont observé les modèles simulant des recherches Google, passant d'une langue à l'autre, comme le chinois et l'anglais, lors du rappel d'informations, et s'engageant dans une auto-correction étendue. Ces comportements, tels qu'un modèle disant « Attendez, est-ce vrai ? » ou « Laissez-moi essayer une autre approche », font partie du processus interne brut qui est typiquement supprimé avant que la réponse finale ne soit montrée à l'utilisateur. L'étude a également montré que l'attaque pouvait être automatisée. Les chercheurs ont construit un système capable d'apprendre la meilleure façon de demander les pensées, affinant ses questions en fonction de signaux de rétroaction comme le nombre de mots utilisés par le modèle. Cette approche automatisée a rendu l'attaque encore plus efficace, lui permettant de se généraliser à différents types de questions et de jeux de données sans avoir besoin d'être reprogrammée manuellement pour chaque nouveau problème.
Les implications de cette découverte sont significatives pour la sécurité de l'intelligence artificielle. Les chercheurs ont découvert que le simple fait de cacher le raisonnement à l'utilisateur ne suffit pas à le protéger. Tant que le modèle conserve son état interne pour effectuer des tâches nécessitant l'utilisation d'outils, cet état peut être rejoué et extrait. L'étude a testé plusieurs défenses potentielles, telles que masquer le décompte des mots de raisonnement ou ajouter des instructions strictes au prompt système du modèle pour empêcher les fuites. Bien que certaines de ces mesures aient réduit le succès de l'attaque, aucune ne l'a complètement arrêtée. La défense la plus efficace testée a été de supprimer l'accès du modèle à son propre raisonnement précédent après un appel d'outil, mais cela briserait la capacité du modèle à effectuer des tâches complexes à plusieurs étapes. Les chercheurs ont rapporté de manière responsable leurs conclusions aux grandes entreprises technologiques concernées, soulignant une vulnérabilité critique dans la conception actuelle de ces puissants systèmes de raisonnement. Leur travail suggère que la protection de la propriété intellectuelle et de la sécurité de ces modèles nécessitera des changements plus fondamentaux dans la manière dont ils sont construits et dont ils interagissent avec le monde extérieur, plutôt que de simplement compter sur l'hypothèse que les pensées cachées restent cachées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.