Résumé technique : L'apprentissage automatique adversarial pour les LLM ne fait aucun progrès

Énoncé du problème

L'article soutient que le domaine de l'apprentissage automatique adversarial (Adversarial ML) a régressé dans sa capacité à réaliser des progrès mesurables depuis qu'il a délaissé les modèles de classification simples et bien définis au profit des grands modèles de langage (LLM). Alors que l'ère précoce de l'Adversarial ML se concentrait sur des problèmes « jouets » aux objectifs clairs (par exemple, la mauvaise classification d'une image sous des perturbations de pixels bornées), l'ère actuelle des LLM présente des problèmes qui sont fondamentalement moins clairement définis, plus difficiles à résoudre et plus complexes à évaluer.

Les auteurs soutiennent que la transition vers des modèles génératifs à usage général a supprimé la rigueur mathématique et expérimentale qui permettait auparavant de comparer les attaques et les défenses. Par conséquent, le domaine risque de passer une autre décennie à produire des travaux qui ne parviennent pas à générer de progrès scientifiques significatifs, reproductibles ou de garanties de sécurité robustes.

Méthodologie

Ce document est un article de positionnement plutôt qu'une étude empirique présentant de nouveaux résultats expérimentaux. La méthodologie des auteurs consiste en une analyse critique de l'état actuel du domaine à travers :

1. Analyse conceptuelle : Déconstruction de l'évolution des problèmes adversariaux, de la classification vers les modèles génératifs, en identifiant les changements structurels spécifiques dans la définition des problèmes, les espaces de solutions et les métriques d'évaluation.
2. Études de cas : Examen systématique de six domaines de recherche spécifiques pour illustrer comment le passage aux LLM exacerbe les difficultés :
   • Jailbreaks (débridages)
   • Modèles non finançables (Un-finetunable Models)
   • Empoisonnement et portes dérobées (Poisoning and Backdoors)
   • Injections de prompts
   • Inférence d'appartenance (Membership Inference)
   • Oubli machine (Machine Unlearning)
3. Synthèse des contre-arguments : Traitement des points de vue alternatifs suggérant que le domaine progresse ou que l'augmentation de la complexité est une étape nécessaire pour résoudre les problèmes du monde réel.

Contributions et conclusions clés

1. Les problèmes sont plus difficiles à définir

Les auteurs identifient trois dimensions centrales où la définition est devenue ambiguë :

• Définir le succès : Contrairement à la classification (où le succès est un taux de mauvaise classification), la sécurité des LLM implique des objectifs qualitatifs et subjectifs (ex: « l'absence de nocivité », « l'utilité »). Les métriques de succès reposent souvent sur des systèmes de type « LLM-as-a-judge » (le LLM comme juge), ce qui introduit une circularité, des biais et une vulnérabilité aux attaques mêmes qu'ils mesurent.
• Borner l'espace d'attaque : La robustesse traditionnelle reposait sur des espaces d'entrée bornés (ex: normes $\ell_p$). Pour les LLM, l'espace d'attaque est effectivement non borné (tout texte en entrée), et les modèles de menace se sont étendus pour inclure la modification du modèle (fine-tuning, élagage) plutôt que la simple perturbation d'entrée. Il n'y a pas de consensus sur ce qui constitue un prompt adversarial « valide » ou « nouveau ».
• Délimiter les données : Le concept d'un ensemble d'entraînement distinct et d'un ensemble de test réservé a disparu. Les LLM sont entraînés sur de vastes corpus internet qui se chevauchent, où les frontières entre les données d'entraînement et de test, ainsi qu'entre les points de données individuels, sont floues. Cela rend des concepts tels que l'« appartenance » ou l'« oubli » de points de données spécifiques mal définis.

2. Les problèmes sont plus difficiles à résoudre

• Optimisation inefficace : L'optimisation basée sur le gradient, qui a stimulé les progrès dans la classification d'images, est largement inefficace pour les LLM en raison des entrées textuelles discrètes et de l'absence d'une fonction de perte formelle pour la sécurité.
• Dépendance à l'effort humain : Comme l'optimisation automatisée peine, les attaques les plus puissentes sur les LLM sont désormais souvent pilotées par l'humain (ex: ingénierie sociale, modulation de persona) plutôt qu'algorithmiques. Cela empêche la découverte systématique des scénarios du pire cas.
• Manque de défenses principled : Sans objectifs formels ou espaces d'attaque bornés, les défenses sont largement ad hoc (ex: filtrage de sortie, entraînement adversarial virtuel). Ces défenses ne peuvent pas être analysées ou certifiées formellement, ce qui conduit à des évaluations qui surestiment souvent la robustesse.

3. Les problèmes sont plus difficiles à évaluer

• Crise de la reproductibilité : De nombreux LLM de pointe sont fermés, mis à jour silencieusement et déployés via des API. Ce manque de transparence rend impossible la reproduction des résultats, la comparaison équitable des approches ou le suivi des progrès dans le temps.
• Évaluation de l'utilité : Les défenses qui empêchent les sorties nuisibles dégradent souvent l'utilité générale du modèle (ex: refus de toutes les requêtes). Mesurer le compromis entre sécurité et utilité est subjectif et dépend du contexte, manquant des métriques standardisées (comme la précision) utilisées dans l'apprentissage automatique traditionnel.

4. Insights des études de cas

Le papier détaille comment ces défis se manifestent dans des domaines spécifiques :

• Jailbreaks : Le succès est défini par un contenu « nuisible », ce qui manque d'une définition formelle. L'optimisation est difficile, menant à un recours au prompt engineering manuel.
• Modèles non finançables : Le modèle de menace inclut désormais des attaquants capables de modifier les poids du modèle, élargissant l'espace de recherche des gradients d'entrée aux gradients de paramètres (ordres de grandeur supérieurs).
• Empoisonnement/Portes dérobées : L'entraînement multi-étapes des LLM (pré-entraînement + fine-tuning) et l'échelle des données rendent l'entraînement de modèles à partir de zéro pour établir des bases de référence propres pour l'évaluation informatiquement irréalisable.
• Injections de prompts : L'évaluation de celles-ci nécessite des environnements d'agents réalistes avec utilisation d'outils, qui sont coûteux à simuler et reposent souvent sur des juges LLM, réintroduisant un biais d'évaluation.
• Inférence d'appartenance et Oubli : L'absence de frontières de données claires et l'impossibilité de créer des modèles contrefactuels (ré-entraîner sans un point spécifique) rendent impossible la preuve rigoureuse qu'une donnée a été « oubliée » ou qu'un échantillon faisait partie de l'entraînement.

Résultats et affirmations

Le papier ne présente pas de nouvelles données expérimentales mais synthétise la littérature existante pour soutenir les affirmations suivantes :

• Stagnation : Le domaine ne parvient pas à produire de progrès significatifs car les problèmes ne sont plus des problèmes « jouets » dotés de cadres rigoureux.
• Échec de l'évaluation : Les méthodes d'évaluation actuelles (juges LLM, benchmarks ad hoc) sont insuffisantes pour suivre les progrès ou comparer les défenses de manière fiable.
• Le sophisme du « Monde Réel » : Bien que certains soutiennent que l'étude de problèmes non bornés et réels soit nécessaire, les auteurs affirment que sans sous-problèmes formels pour ancrer l'enquête scientifique, le domaine ne peut distinguer les véritables améliorations de sécurité des artefacts d'une évaluation opaque.
• Risque d'obscurité : La tendance vers des systèmes de défense complexes et opaques (sécurité par l'obscurité) peut offrir une sécurité à court terme mais entrave la compréhension scientifique requise pour une robustesse à long terme.

Signification

Le papier sert de mise en garde pour la communauté de l'Apprentissage Automatique Adversarial. Sa signification réside dans :

1. Recadrage du récit : Il conteste l'optimisme prédominant selon lequel les nouveaux modèles sont intrinsèquement plus sécurisés, arguant que l'incapacité à évaluer rigoureusement les défenses masque une stagnation potentielle.
2. Appel à la rigueur : Il préconise un retour à des sous-problèmes bien définis et formels (similaires aux perturbations bornées $\ell_p$) comme prérequis au progrès scientifique. Les auteurs soutiennent que sans la capacité de résoudre des problèmes formels soigneusement délimités, le défi plus large de la sécurité des LLM ne pourra être abordé.
3. Orientation méthodologique : Il suggère que les articles doivent explicitement déclarer si leur objectif est la sécurité du monde réel (où des définitions floues peuvent être acceptables pour une réduction immédiate des dommages) ou l'avancement scientifique (qui nécessite des cadres formels et rigoureux).

Les auteurs concluent que si la communauté ne peut pas rétablir des définitions rigoureuses, des méthodes d'optimisation et des benchmarks reproductibles, le domaine risque de passer une autre décennie sans produire de progrès significatifs dans la sécurisation des LLM.