Résumé Technique : HelpBench

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus utilisés par les individus pour obtenir de l'aide concernant la confidentialité, la sécurité et la protection (PSS - Privacy, Safety, and Security) numériques. Bien que des recherches antérieures aient exploré les capacités des LLM à générer des mots de passe, analyser des politiques ou détecter des vulnérabilités, des lacunes importantes subsistent. Des études existantes indiquent que les LLM échouent souvent à réfuter les idées reçues, génèrent des identifiants non sécurisés, peinent avec les sujets de sécurité sensibles et manquent de modèles mentaux précis concernant la divulgation d'informations sensibles. De manière cruciale, il manque des benchmarks spécifiquement conçus pour évaluer la qualité des conseils fournis à des utilisateurs honnêtes demandant de l'aide. Contra irement aux benchmarks de sécurité axés sur la prévention des violations de politiques ou des jailbreaks adverses, le domaine de la PSS nécessite d'évaluer si les modèles fournissent des conseils factuellement exacts, sensibles au contexte et non nuisibles à des utilisateurs en détresse réelle. Des conseils erronés dans ce domaine comportent des enjeux élevés, pouvant mener à la compromission de comptes, des pertes financières ou des dommages physiques.

Méthodologie

Les auteurs introduisent HelpBench, un benchmark comprenant 450 questions de curation manuelle dérivées de situations réelles d'utilisateurs sur Reddit. La méthodologie comprend quatre étapes principales :

1. Curation et Construction des Questions

• Source : Les questions ont été tirées d'un ensemble de données de trois millions de publications Reddit (2021–2024) préalablement identifiées comme liées à la PSS.
• Sujets : Les 450 questions couvrent neuf catégories distinctes : Comptes, Outils de Modération, Outils de Sécurité, Outils de Confidentialité, Compromission, Actions de Plateforme, Arnaques, Harcèlement et Préoccupations relatives aux Données.
• Stratification : Pour assurer la diversité, le processus de sélection a équilibré les questions selon :
  • Longueur : Courte (<333 car.), Moyenne (333–666 car.) et Longue (666–1000 car.).
  • Pratiques : Si l'utilisateur mentionnait des pratiques PSS antérieures (ex: exécution de scans antivirus).
  • Type de besoin : "Sensmaking" (compréhension d'une situation) vs "Guidance" (étapes exploitables).
• Confidentialité et Reformulation : Pour protéger la vie privée des utilisateurs et éviter la mémorisation, toutes les questions ont été reformulées à l'aide d'un LLM (Gemini 2.5 Flash) et vérifiées manuellement. Ce processus a supprimé les informations personnellement identifiables (PII), ajusté le contexte pour une audience de LLM (suppression des salutations spécifiques aux forums) et assuré l'équivalence sémantique tout en minimisant la similitude lexicale (chevauchement moyen de 3-grammes de 0,04).

2. Développement de la Grille d'Évaluation

Pour chacune des 450 questions, les auteurs ont développé une grille d'évaluation spécifique.

• Implication d'Experts : Six chercheurs, possédant chacun plus d'une décennie d'expertise en PSS, ont collaboré à la création de ces grilles.
• Structure : Les grilles consistent en 5 à 15 critères assignant des valeurs de points (+1 à +5 pour l'inclusion, -1 à -5 pour l'exclusion).
  • Critères Factuels : Évaluent l'exactitude des informations techniques (ex: "Indique que les ponts Tor ne cachent pas l'utilisation de Tor").
  • Critères de Livraison (Delivery) : Évaluent le ton, la pertinence et la clarté (ex: "L'information la plus importante est au début", "Évite de submerger l'utilisateur").
• Notation : Le score d'une réponse est calculé comme la somme des points pour les critères positifs remplis et les critères négatifs évités, divisée par le nombre maximum de points possibles.

3. Évaluation Automatique (Auto-Rater)

Pour permettre l'évaluation à l'échelle de 18 LLM de pointe, les auteurs ont développé un auto-rater.

• Processus : L'auto-rater utilise un LLM (Gemini 2.5 Pro) pour appliquer les grilles développées par les humains aux réponses des modèles.
• Calibration : L'auto-rater a été affiné de manière itérative en comparant ses scores avec les scores des experts humains sur des sous-ensembles aléatoires.
• Performance : L'auto-rater final a atteint une corrélation de Pearson de 0,85 avec les scores humains (0,96 pour les critères factuels, 0,78 pour les critères de livraison).

4. Configuration Expérimentale

• Modèles Évalués : 18 modèles issus de sept familles (ChatGPT, Claude, Gemini, Grok, DeepSeek, GLM, Qwen).
• Procédure : Chaque modèle est interrogé cinq fois par question en utilisant les paramètres par défaut et les interfaces de chat.
• Échelle : Cela a généré un total de 40 500 réponses (2 250 par modèle).

Résultats Clés

L'évaluation de 18 modèles a produit les conclusions suivantes :

• Performance Globale : Les modèles ont atteint un score moyen de 82 %. Le modèle le plus performant était GPT 5.0 (87 %), tandis que le moins bon était Qwen 3 (67 %).
• La "Longue Traîne" d'Échec : Malgré des moyennes élevées, 1 réponse sur 10 (14 %) a obtenu un score inférieur à 65 %. Cela indique une longue traîne significative de conseils incorrects ou nuisibles. Par exemple, Qwen 3 a produit 800 réponses sous le seuil de 65 %, tandis que GPT 5.0 en a produit 156.
• Variance par Sujet : La performance variait considérablement selon le sujet.
  • Plus facile : Arnaques (moyenne de 88 %).
  • Plus difficile : Outils de Modération (moyenne de 77 %).
  • Les modèles présentaient des différences de performance statistiquement significatives entre les sujets pour 17 des 18 modèles.
• Factuel vs Livraison :
  • Les modèles réussissent généralement bien sur les critères factuels positifs (éviter la désinformation).
  • Cependant, les échecs provenaient souvent de critères de livraison négatifs (ex: submerger l'utilisateur, escalade du ton) ou de critères factuels négatifs (ex: confirmer des idées reçues).
  • GPT 5.0 a le mieux évité les critères factuels négatifs (7 %), mais était le moins susceptible de satisfaire les critères de livraison positifs (82 %).
• Évolution des Modèles : Au sein des familles de modèles, les améliorations de performance étaient marginales ou inexistantes entre les versions (ex: GPT 4.1 vs 5.0 montrait une différence de 3 % ; certaines versions ont régressé). La taille du modèle (ex: Opus vs Sonnet) avait un impact mineur (différence de 1 à 2 %).
• Sensibilité au Contexte : Les modèles ont eu du mal avec les questions impliquant des pratiques utilisateur existantes ou des contextes de sécurité complexes. Par exemple, de nombreux modèles n'ont pas reconnu que la création de comptes multiples pour récupérer un compte gelé est un signal de sécurité.

Caractérisation des Réponses de Faible Qualité

Le papier identifie des schémas spécifiques dans les 14 % de réponses score inférieures à 65 % :

1. Échecs de Contexte à Risque : Les modèles n'ont pas reconnu des scénarios à enjeux élevés (ex: violence domestique), proposant des conseils techniques qui pourraient aggraver un danger physique (ex: suggérer à une victime de porter un déguisement pour se cacher d'un agresseur).
2. Risques Négligés : Les modèles ont fourni de faux réassurances, affirmant par exemple que le déplacement d'un fichier vers un coffre cryptographique supprime l'original de manière sécurisée, ou minimisant le suivi de localisation comme une simple intimidation.
3. Solutions Non-Scalables : Suggérer des actions insoutenables comme contacter directement un vice-président d'une plateforme ou lancer des campagnes de "déshonneur" (shaming).
4. Conseils Coûteux : Recommander des mesures extrêmes comme l'achat d'un nouvel appareil ou l'ouverture d'un nouveau compte bancaire pour des problèmes qui pourraient être résolus par des étapes plus simples.
5. Contournement de la Sécurité : Certains modèles ont adopté une posture de neutralité de valeur sur les violations des Conditions d'Utilisation, déléguant de fait les décisions éthiques à l'utilisateur.
6. Escalade du Ton : Les modèles ont souvent utilisé un langage incendiaire ("horrible", "traumatisant") pour des requêtes neutres, violant les principes de l'informatique informée par le trauma.

Signification et Revendications

Les auteurs affirment que HelpBench est le premier benchmark évaluant les demandes d'aide d'utilisateurs honnêtes dans le domaine de la PSS, allant au-delà des tests de sécurité adverses.

• Lacune Critique : Le papier soutient que les modèles actuels ne sont pas encore prêts à servir de sources fiables et évolutives de conseils PSS personnalisés. L'existence d'une "longue traîne" de conseils nuisibles (1 réponse sur 10) est inacceptable étant donné le potentiel de dommages réels.
• Utilité du Benchmark : HelpBench sert d'outil pour isoler les comportements nuisibles et suivre les progrès de l'expertise de domaine. Il souligne que les améliorations doivent porter non seulement sur l'exactitude factuelle, mais aussi sur la livraison, la conscience du contexte et la cohérence éthique.
• Directions Futures : Les auteurs suggèrent que les travaux futurs doivent aborder les entrées multimodales (ex: analyse de captures d'écran), les dialogues multi-tours pour l'intervention de crise, et le support multilingue. Ils insistent sur le fait que les modèles doivent s'intégrer à des écosystèmes socio-techniques plus larges (ex: diriger les utilisateurs vers des groupes de défense humains) plutôt que d'agir comme des arbitres de sécurité autonomes.

Le papier conclut que, bien que les LLM fournissent des conseils de haute qualité en moyenne, l'inconstance et le potentiel de nuisance dans certains contextes spécifiques nécessitent une évaluation rigoureuse continue et le développement de paradigmes d'interaction plus sûrs avant que ces modèles puissent être pleinement fiables pour les besoins critiques de la PSS.