Résumé technique : POLAR-Bench

Énoncé du problème

Les agents de modèles de langage (LLM) sont de plus en plus déployés pour agir au nom des utilisateurs, accédant à des documents privés et interagissant avec des systèmes tiers pour accomplir des tâches. Dans ces scénarios, un agent de confiance doit équilibrer deux exigences concurrentes : partager suffisamment d'informations pour accomplir la tâche (utilité) tout en adhérant strictement aux politiques de confidentialité définies par l'utilisateur pour retenir les données sensibles (confidentialité). Ce défi est aggravé lorsque les systèmes tiers se comportent de manière adverse, employant des stratégies telles que l'injection directe de prompts, le jeu de rôle ou l'élicitation progressive pour extraire des attributs protégés.

Les benchmarks existants pour la confidentialité dans les contextes d'agents souffrent de limitations significatives. La plupart évaluent les modèles dans des conditions fixes, testant soit un seul type de politique, soit une seule stratégie d'attaque à la fois. Aucun ne fait varier simultanément la dimension de la politique de confidentialité et la stratégie d'attaque comme axes conjoints. Par conséquent, le compromis confidentialité-utilité reste sous-exploré, rendant difficile l'identification précise de l'endroit où les capacités de suivi des intentions d'un modèle s'effondrent.

Méthodologie

Les auteurs présentent POLAR-Bench (Policy-aware adversarial Benchmark), un cadre diagnostique conçu pour évaluer le compromis confidentialité-utilité des agents LLM dans des conditions adverses.

Structure du benchmark

POLAR-Bench construit une surface diagnostique de 5 × 5 pour chaque modèle évalué, faisant varier deux axes orthogonaux :

1. Dimension de la politique de confidentialité ($L_P$) : Cinq niveaux de difficulté croissante du raisonnement, allant des contraintes de champ explicites (P1) aux contraintes sémantiques (P2), en passant par la divulgation conditionnelle (P3), la divulgation partielle/abstraite (P4) et les objectifs conflictuels (P5).
2. Stratégie d'attaque ($L_S$) : Cinq stratégies utilisées par un modèle tiers adverse pour éliciter des informations, allant des demandes directes en un seul tour (S1) au resserrement par oui/non (S2), en passant par la confusion de rôle (S3), l'injection de prompts (S4) et l'élicitation progressive multi-tours (S5).

Génération de données et évaluation

• Jeu de données : Le benchmark couvre 10 domaines (par exemple, médical, juridique, finance) avec un total de 7 852 échantillons.
• Pipeline de génération : Les échantillons sont générés à partir de profils JSON structurés contenant des attributs liés à la tâche ($A_{task}$), des attributs protégés ($A_{protected}$) et du bruit sans rapport ($A_{other}$). Ceux-ci sont rendus sous forme de documents sources en langage naturel, de politiques de confidentialité, d'instructions de tâche et de prompts d'attaquant.
• Découplage : Un principe de conception critique garantit que l'instruction de tâche ($T$) ne contient aucun indice de confidentialité, forçant le modèle à se fier exclusivement à la politique de confidentialité ($P$) pour les contraintes.
• Protocole d'évaluation : Un modèle de confiance ($T$) converse avec un modèle adverse fixe ($E$). L'interaction est notée de manière déterministe à l'aide de vérifications d'appartenance à un ensemble basées sur des expressions régulières par rapport aux attributs de vérité terrain, éliminant ainsi le besoin d'un juge LLM dans la boucle de notation.
  • Score de confidentialité : La fraction d'attributs protégés retenus avec succès.
  • Score d'utilité : La fraction d'attributs liés à la tâche partagés avec succès.
  • Score global : Une combinaison convexe de confidentialité et d'utilité (par défaut $\lambda = 0,5$).

Contributions clés

1. Première surface diagnostique conjointe : POLAR-Bench est le premier benchmark à faire varier la dimension de la politique de confidentialité et la stratégie d'attaque comme axes conjoints, créant une surface d'évaluation de 5 × 5 qui révèle des modes de défaillance spécifiques plutôt que des scores agrégés.
2. Notation déterministe : En utilisant un appariement basé sur des expressions régulières sur une vérité terrain structurée, le benchmark évite la subjectivité et les risques d'hallucination associés aux juges basés sur des LLM pour la notation des résultats.
3. Couverture complète : Le benchmark couvre 10 domaines diversifiés et 7 852 échantillons, évaluant un large éventail de modèles propriétaires et à poids ouverts (de 3B à 120B paramètres).
4. Tests de stress de défense : Le cadre est conçu pour être compatible avec les défenses au moment de l'inférence, permettant l'évaluation de mécanismes tels que PrivacyChecker.

Résultats

L'évaluation des modèles de pointe et à poids ouverts révèle une division nette des performances :

• Modèles de pointe : Les modèles de pointe actuels (par exemple, GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) démontrent un suivi d'intention robuste, retenant plus de 99 % des attributs protégés tout en maintenant une utilité élevée.
• Petits modèles à poids ouverts : Les modèles de la gamme 1–30B, couramment déployés comme agents sur appareil ou pour une inférence privée, obtiennent des scores nettement inférieurs. Les modèles les plus faibles fuient plus de 50 % des attributs protégés. Certains modèles plus petits maintiennent la confidentialité uniquement en sacrifiant l'utilité (devenant excessivement conservateurs), tandis que d'autres privilégient l'utilité au détriment de la confidentialité.
• Taille du modèle vs Capacité : La taille du modèle seule n'est pas un indicateur fiable de la confidentialité ou de l'utilité. Les effets de mise à l'échelle sont incohérents au sein des familles de modèles. En revanche, la capacité générale de raisonnement (proximée par les scores GPQA Diamond) montre une forte corrélation positive avec la protection de la confidentialité ($r=0,752$) mais une faible corrélation négative avec l'utilité, suggérant que les meilleurs raisonneurs peuvent être excessivement conservateurs.
• Vulnérabilité aux attaques :
  • S2 (Resserrement par oui/non) et S5 (Progression multi-tours) sont les stratégies d'attaque les plus efficaces, provoquant les plus grandes baisses des scores de confidentialité et la plus grande variance entre les modèles.
  • S1 (Demande directe en un seul tour) est la plus facile à défendre.
  • La robustesse de la confidentialité ne peut pas être évaluée uniquement via des attaques directes ; les attaques incrémentielles et conversationnelles sont essentielles pour une évaluation précise.
• Variabilité des domaines : Bien que le classement des modèles reste relativement stable à travers les domaines, la performance absolue varie. « Support client » est le domaine le plus difficile pour l'utilité, tandis que « Recrutement » présente le risque de confidentialité et la variance les plus élevés.

Importance et affirmations

L'article affirme que POLAR-Bench fournit un « point d'appui nécessaire pour l'alignement de la confidentialité là où cela compte le plus ». Son importance principale réside dans la localisation de l'endroit où le suivi d'intention d'un modèle s'effondre. Plutôt que de simplement signaler si un modèle échoue, la surface diagnostique identifie comment il échoue :

• S'il échoue en divulguant excessivement des informations protégées.
• S'il échoue en devenant trop conservateur pour accomplir la tâche.
• S'il échoue sous des stratégies d'attaque ou des types de politiques spécifiques.

Les auteurs soulignent que l'écart entre les modèles de pointe et la classe des modèles à poids ouverts de 1 à 30B est critique pour le déploiement, car les utilisateurs s'appuient de plus en plus sur ces modèles plus petits et déployables localement en tant qu'agents de confiance pour éviter d'envoyer des données privées à des API tierces. L'article postule que l'alignement et les choix de formation pilotent la performance plus que le nombre de paramètres seul, et que la capacité de raisonnement est fortement corrélée à la capacité de reconnaître quoi retenir, même si cela ne garantit pas une meilleure accomplissement de la tâche.

Enfin, le benchmark sert de test de stress pour la prochaine génération d'alignement conscient de la confidentialité et de défenses au moment de l'inférence, en particulier celles ciblant la classe de modèles plus petits pertinente pour le déploiement.