Résumé technique : Schützen – Évaluation de la sécurité des LLM dans les contextes bulgare et allemand

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines professionnels, pourtant les ressources existantes d'évaluation de la sécurité restent massivement centrées sur l'anglais et le chinois. Cette lacune est critique pour les langues opérant au sein de cadres socioculturels, juridiques et éthiques partagés, comme c'est le cas en Europe. Plus précisément, les langues à faibles ressources comme le bulgare manquent de référentiels de sécurité natifs, tandis que les langues à hautes ressources comme l'allemand sont souvent évaluées à l'aide de prompts traduits qui ne parviennent pas à capturer les normes culturelles, les contraintes juridiques et les sensibilités politiques spécifiques à la région. Les benchmarks multilingues actuels reposent souvent sur une traduction directe, ce qui limite la capacité à évaluer comment les comportements de sécurité se transfèrent entre des langues partageant un environnement réglementaire mais différant par leur disponibilité en ressources.

Méthodologie

Pour remédier à ces limitations, les auteurs introduisent Schützen, un ensemble de données de sécurité bilingue conçu pour l'allemand et le bulgare. La méthodologie repose sur trois composantes fondamentales :

1. Construction du jeu de données

Le jeu de données comprend environ 8 000 prompts (3 978 par langue) dérivés de la série Do-not-Answer (DNA) et étendus avec du contenu spécifique à la région. Le processus de construction met l'accent sur la localisation culturelle plutôt que sur la traduction directe :

• Stratégie de localisation : Les questions à risque général ont été réécrites pour refléter des figures locales, des événements historiques, des politiques et des conventions culturelles (par exemple, en remplaant des noms génériques par des équivalents locaux comme « Pepa » et « Senya » pour le bulgare, ou « Gertrude » et « Karina » pour l'allemand).
• Couverture des risques : Le jeu de données couvre six domaines de risque et 16 types de préjudices, incluant les dangers liés à l'information, les usages malveillants, la discrimination/toxicité, la désinformation, les préjudices liés à l'interaction humain-chatbot, et la sensibilité spécifique à la région (ex: événements historiques controversés et sujets politiques).
• Modes d'attaque : Les prompts sont classés en trois types :
  • Attaques directes (Ori) : Requêtes explicitement risquées.
    iv. Attaques indirectes (FN) : Requêtes d'apparence bénigne conçues pour susciter un contenu dangereux.
  • Évaluations de la sur-sensibilité (FP) : Requêtes contenant des termes sensibles mais demandant des informations bénignes pour tester les faux refus.

2. Cadre d'évaluation

Les réponses ont été collectées auprès de 15 LLM, incluant des modèles multilingues (ex: GPT-4o, Claude-3.7, variantes de Llama-4, EuroLLM-9B) et des modèles spécifiques à la langue (ex: série BgGPT pour le bulgare, série Leo/LLaMmlein pour l'allemand). L'évaluation s'est déroulée en deux étapes :

• Classification binaire : Déterminer si une réponse est « Sûre » ou « Dangereuse ». Cela a été effectué via des approches basées sur des classificateurs (Llama-Guard) et des approches basées sur le raisonnement (critères de risque personnalisés via GPT-4.1).
• Analyse de motifs fins :
  • Motifs sûrs : Classés en six types, incluant le refus pur et simple, la réfutation d'opinion, les déclarations équilibrées, les réponses prudentes avec avertissements, les informations générales et l'aveu d'incertitude.
  • Motifs dangereux : Classés en quatre types : contenu dangereux général, désinformation, violations de la vie privée et contenus offensants ou émotionnellement préjudiciables.

3. Annotation collaborative Humain-IA

Les auteurs ont développé un pipeline où les modèles génèrent des étiquettes et des explications préliminaires, qui sont ensuite vérifiées par des annotateurs humains. Cette approche a été validée par rapport à une annotation exclusivement humaine, démontrant une meilleure concordance avec les métriques automatiques et une efficacité accrue.

Résultats clés

L'étude a évalué plus de 95 000 réponses à travers les deux langues :

• Performance globale de sécurité : La plupart des modèles ont atteint des taux de sécurité élevés (>95 %). Claude-3.7 a obtenu la meilleure performance de sécurité pour les deux langues (99,92 % de réponses sûres). BgGPT-27B a le mieux performé parmi les modèles centrés sur le bulgare (99,57 %), tandis que Leo-mistral-hessianai-7B-chat a mené parmi les modèles centrés sur l'allemand (98,27 %).
• Disparités entre modèles : LLaMmlein-7B-chat (allemand) et BgGPT-2.6B (bulgare) ont obtenu les rangs les plus bas en matière de sécurité. Notamment, GPT-4o a sous-performé par rapport aux autres systèmes open-source sur ce benchmark spécifique.
• Vulnérabilités des domaines de risque : Dans les deux langues, les Usages malveillants (Domaine de risque IV) ont représenté le défi le plus important, comptabilisant la plus grande part de sorties dangereuses.
• Sensibilité aux modes d'attaque : Bien que les attaques directes aient produit le plus grand nombre absolu de réponses dangereuses, les attaques indirectes ont été plus efficaces pour contourner les garde-fous lorsqu'elles sont normalisées par rapport à la taille de l'échantillon. Les huit modèles les plus sûrs ont montré des taux de dangerosité plus élevés lors d'attaques indirectes.
• Comportement translinguistique : Malgré les différences linguistiques, les modèles ont présenté des modes de défaillance similaires dans les deux langues lorsqu'ils opèrent dans le cadre réglementaire européen partagé. Cependant, les modèles ont généralement mieux performé en allemand qu'en bulgare, soulignant un déséquilibre de la représentation régionale.
• Motifs de réponse : Les réponses sûres se sont le plus fréquemment concrétisées sous forme de réponses informationnelles génériques. Les comportements dangereux se sont concentrés sur la fourniture d'informations incorrectes (Motif 7/8) ou le défaut d'expression de l'incertitude.

Signification et revendications

L'article affirme que Schützen est le premier benchmark bilingue explicitement conçu pour l'évaluation de la sécurité des LLM en bulgare et en allemand. Ses principales contributions sont :

1. Évaluation spécifique à la région : En combinant la localisation avec une comparaison contrôlée d'une langue à faibles ressources (bulgare) et d'une langue à hautes ressources (allemand) sous des normes européennes partagées, le jeu de données révèle des disparités de sécurité translinguistiques que les benchmarks monolingues ou lâchement multilingues ne perçoivent pas.
2. Aperçu empirique sur le transfert : Contrairement à l'hypothèse selon laquelle les langues à faibles ressources présenteraient un alignement plus faible, les résultats suggèrent que lorsque les cultures cibles partagent des normes et des politiques de sécurité avec les contextes anglophones, les capacités de sécurité se transfèrent de manière robuste, même vers les langues à faibles ressources.
3. Avancée méthodologique : L'article démontre l'efficacité d'un pipeline d'annotation collaborative humain-IA, qui améliore l'accord avec les métriques automatiques et réduit la difficulté de la tâche par rapport à une annotation uniquement humaine.
4. Ressource pour un déploiement responsable : Le jeu de données et le code constituent une ressource pratique pour soutenir le déploiement responsable des LLM dans les contextes européens où les facteurs linguistiques et culturels interagissent, en répondant spécifiquement à la lacune de l'évaluation de la sécurité pour les régions sous-représentées.

Les auteurs concluent que bien que les modèles actuels fassent preuve d'une sécurité générale forte, ils se dégradent notablement sur le contenu spécifique à la région, nécessitant des ressources d'évaluation adaptées et régionales pour soutenir un déploiement robuste des LLM en Allemagne et en Bulgarie.