💬 NLP

Who Pays More for Safety? Measuring the Disparate Cost of Safety Alignment across Languages

Cet article introduit une métrique de « coût de sécurité » pour démontrer que l'alignement de sécurité pénalise de manière disproportionnée les langues autres que l'anglais, avec une perte d'utilité plus grande et une protection plus faible par rapport à l'anglais, révélant ainsi une inégalité systématique dans les pratiques de sécurité actuelles.

Auteurs originaux : Chanwoong Yoon, Jungsoo Park, Alan Ritter

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chanwoong Yoon, Jungsoo Park, Alan Ritter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les grands modèles de langage sont les moteurs numériques qui alimentent les chatbots, les traducteurs et les assistants. Avant que ces machines ne puissent être utiles aux humains, elles subissent un processus d'entraînement rigoureux appelé alignement. Voyez cela comme une période de scolarité où le modèle apprend non seulement à répondre aux questions, mais à y répondre de manière sûre, en respectant les valeurs humaines et en refusant de générer du contenu nuisible comme des instructions pour la violence ou des actes illégaux. Cet entraînement à la sécurité est essentiel, mais il vient avec un prix caché. Tout comme une voiture dotée de freins trop sensibles pourrait s'arrêter trop rapidement pour un obstacle mineur, une IA trop prudente peut devenir inutile, refusant de répondre à des questions inoffensives ou fournissant des réponses vagues et édulcorées. Cette perte d'utilité est connue sous le nom de coût d'utilité. Depuis des années, les chercheurs savent que l'entraînement à la sécurité réduit la performance globale d'un modèle, mais une question critique restait sans réponse : ce coût frappe-t-il tout le monde de la même manière, ou certaines langues souffrent-elles plus que d'autres ?

Une équipe de chercheurs s'est donné pour mission d'étudier si le fardeau de l'alignement de sécurité est partagé équitablement entre les langues du monde. Ils se sont concentrés sur un phénomène spécifique où les modèles pourraient rejeter des requêtes sûres simplement parce qu'elles semblent légèrement risquées, un comportement connu sous le nom de sur-refus. Pour mesurer le véritable coût de la sécurité, l'équipe a conçu une méthode de comparaison ingénieuse. Ils ont pris des modèles puissants, alignés sur la sécurité, et ont créé des versions « non alignées » du même logiciel. Ces versions non alignées n'étaient pas entraînées pour être dangereuses ; au contraire, les chercheurs ont retiré chirurgicalement les mécanismes de sécurité spécifiques qui poussaient les modèles à refuser les requêtes, laissant intacts le reste des connaissances et de la capacité de parole du modèle. En comparant les réponses du modèle aligné sur la sécurité par rapport à son jumeau non aligné pour la même question, les chercheurs pouvaient isoler exactement quelle part de l'utilité avait été perdue à cause de l'entraînement à la sécurité seule. Ils ont testé cela en anglais et dans cinq autres langues, notamment le chinois, l'arabe, le coréen, le vietnamien et le thaï, en utilisant un ensemble de questions conçues pour être inoffensives mais susceptibles de déclencher une alarme de sécurité.

Les résultats ont révélé une inégalité flagrante et systématique. Les chercheurs ont découvert que les utilisateurs non anglophones paient systématiquement un prix plus élevé pour la sécurité que les anglophones. Dans de nombreux cas, les filtres de sécurité étaient moins efficaces pour protéger les locuteurs de langues autres que l'anglais contre les dangers réels, pourtant ces utilisateurs recevaient des réponses nettement moins utiles et de moindre qualité à leurs questions inoffensives. L'étude a identifié trois schémas distincts derrière cette disparité. Premièrement, de nombreuses langues sont tombées dans une zone de « double pénalité » : elles recevaient une protection plus faible contre les dangers réels tout en subissant simultanément une chute beaucoup plus importante de la qualité de leurs réponses. Deuxièmement, dans certains cas, une langue semblait présenter un coût de sécurité faible uniquement parce que les filtres de sécurité n'avaient pas du tout réussi à s'activer, laissant les utilisateurs exposés à du contenu nuisible sans même que le modèle ne s'en rende compte. Troisièmement, même pour des langues à hautes ressources comme le chinois, qui possèdent de vastes quantités de données d'entraînement, le coût pour atteindre le même niveau de sécurité que l'anglais était sensiblement plus élevé. La perte d'utilité ne consistait pas seulement à ce que le modèle dise « non » quand il aurait dû dire « oui ». Les chercheurs ont découvert que même lorsque le modèle répondait, la réponse était souvent plus mince, moins détaillée et factuellement moins précise. L'entraînement à la sécurité avait discrètement supprimé la profondeur et la nuance, rendant l'IA moins utile sans que l'utilisateur ne réalise nécessairement pourquoi.

Ce travail suggère que les méthodes actuelles pour rendre l'IA sûre ne sont pas calibrées équitablement entre les différentes cultures et langues. L'entraînement à la sécurité, qui est fortement influencé par les données et les normes de la langue anglaise, crée par inadvertance un fossé structurel où les locuteurs de langues autres que l'anglais reçoivent une expérience de moindre qualité. Les chercheurs soutiennent que ce n'est pas un effet secondaire inévitable de la sécurisation de l'IA, mais plutôt un défaut dans la manière dont la sécurité est actuellement mise en œuvre. En mesurant le coût spécifique de la sécurité dans chaque langue, l'étude expose une iniquité fondamentale dans la technologie. Elle montre que tandis que les anglophones peuvent obtenir une réponse sûre et utile, un locataire d'une autre langue peut obtenir une réponse qui est soit dangereuse, soit inutilement vague, tout cela parce que les mécanismes de sécurité ne sont pas réglés sur leur contexte linguistique spécifique. Ces conclusions appellent à une nouvelle approche de l'alignement de la sécurité, une approche qui garantisse que le coût d'être en sécurité soit réparti uniformément, afin que les bénéfices de l'intelligence artificielle ne soient pas diminués par la langue dans laquelle elle est parlée.

Résumé technique : Qui paie plus cher pour la sécurité ? Mesurer le coût disparate de l'alignement de sécurité entre les langues

Énoncé du problème

L'alignement de sécurité des grands modèles de langage (LLM) est conçu pour empêcher les sorties préjudiciables, mais il entraîne souvent un « coût d'utilité », dégradant ainsi l'utilité et le caractère informatif du modèle. Bien que des recherches antérieures aient établi l'existence de ce compromis (ex. : sur-refus, dégradation des capacités), une question critique reste sans réponse : le coût de l'alignement de sécurité impose-t-il ce coût d'utilité de manière égale à travers les différentes langues ?

Les méthodes d'évaluation existantes comparent généralement les performances absolues entre les langues en utilisant un seul modèle aligné sur la sécurité. Cette approche ne permet pas de distinguer si les disparités de performance proviennent de lacunes de capacités préexistantes (ex. : faible maîtrise des langues à faibles ressources) ou du processus d'alignement de sécurité lui-même. De plus, le coût d'utilité est souvent implicite ; les modèles peuvent paraître utiles tout en omettant discrètement des informations, une dégradation que les mesures d'évaluation standard peinent à capturer.

Méthodologie

Pour isoler l'impact spécifique de l'alignement de sécurité, les auteurs introduisent un protocole d'évaluation rigoureux centré sur le concept de Coût de Sécurité.

1. Définition du Coût de Sécurité

Le Coût de Sécurité est défini comme la perte d'utilité directement attribuable à l'alignement de sécurité sur des requêtes bénignes où une réponse utile et conforme est attendue. Il est quantifié par la probabilité qu'un modèle non aligné ( $M_{unaligned}$ ) soit préféré à un modèle aligné sur la sécurité ( $M_{aligned}$ ) dans une évaluation de l'utilité par paire :
$Cost_L = P(M_{unaligned} \succ M_{aligned} | L)$
où $L$ représente une langue spécifique.

2. Configuration expérimentale

Appariement de modèles : L'étude utilise des modèles alignés sur la sécurité issus de quatre familles majeures (Llama-3.3-70B, Qwen2.5-72B, Gemma-3-27B, Qwen3-32B) et leurs homologues non alignés correspondants. Les modèles non alignés sont générés via l'ablation de la direction de refus (abliteration), une technique qui projette les poids du modèle orthogonalement à une direction de refus unique, supprimant les défenses de sécurité tout en préservant les connaissances de base et les capacités de suivi d'instructions.
Sélection de benchmarks : L'évaluation se concentre sur des jeux de données de sur-refus (XSTest, OR-Bench, OR-Bench-Hard). Ces jeux de données contiennent des prompts bénins qui sont lexicalement ou thématiquement similaires à des requêtes non sécurisées, conçus pour déclencher les mécanismes de sécurité sans être réellement préjudiciables. Cela garantit que le filtre de sécurité est actif tout en permettant de mesurer la perte d'utilité.
Métrique d'évaluation : L'étude emploie un cadre de comparaison par paire (inspiré de Chatbot Arena) utilisant un LLM-as-a-Judge (GPT-5-mini) pour déterminer quelle réponse est la plus utile. Le Coût de Sécurité Marginal (MSC) est calculé comme la différence entre le Coût de Sécurité d'une langue et la référence anglaise ( $MSC_L = Cost_L - Cost_{English}$ ).
Variables contrôlées : Pour s'assurer que les disparités observées ne sont pas des artefacts du processus d'ablation ou de la qualité de la traduction, les auteurs ont mené des contrôles approfondis, notamment :
- La comparaison des « Différences de l'Écart d'Alignement » sur des tâches bénignes pour exclure les déficits linguistiques préexistants.
- La validation de la qualité de la traduction via des locuteurs natifs et la rétrotraduction.
- La réplication des résultats en utilisant des checkpoints appariés entraînés de zéro (Qwen3-8B) avec et sans données de sécurité, évitant ainsi toute ablation.

Principales contributions

Iniquité systématique : L'article fournit une preuve empirique que les utilisateurs non anglophones supportent systématiquement un Coût de Sécurité plus élevé que les utilisateurs anglophones. Cette disparité persiste même dans les modèles qui mettent l'accent sur un large support multilingue et un entraînement de sécurité rigoureux.
Identification de trois modèles de disparité :
- Zone de double pénalité : De nombreuses langues non anglaises tombent dans un quadrant où elles souffrent à la fois d'une protection de sécurité plus faible (Gain de Sécurité moindre) et d'une perte d'utilité plus élevée (Coût de Sécurité plus élevé).
- Faible coût trompeur : Dans certains cas (ex. : Qwen3), un Coût de Sécurité apparemment faible est en réalité la conséquence du fait que les filtres de sécurité ne s'activent pas pour les entrées non anglaises, laissant les utilisateurs exposés à des contenus préjudiciables plutôt que de fournir un compromis équilibré.
- Disparité des ressources élevées : Même les langues à hautes ressources (ex. : le chinois) subissent un Coût de Sécurité nettement plus élevé que l'anglais pour atteindre un niveau de sécurité comparable.
Mécanisme de dégradation : L'étude révèle que le Coût de Sécurité n'est pas uniquement piloté par les refus explicites. Une part substantielle de la perte d'utilité provient d'une dégradation qualitative implicite, où les modèles alignés fournissent des réponses moins informatives, moins exploitables et moins précises que leurs homologues non alignés, même lorsqu'ils ne refusent pas la requête.
Cadre méthodologique : Les auteurs proposent un protocole contrôlé pour mesurer le Coût de Sécurité qui isole l'effet d'alignement des capacités préexistantes du modèle, offrant un prisme plus précis pour évaluer la sécurité multilingue.

Résultats

Constats quantitatifs : À travers plusieurs familles de modèles, les langues non anglaises présentent un Coût de Sécurité Marginal positif, indiquant une pénalité d'utilité disproportionnée. Par exemple, dans les familles Gemma-3 et Qwen2.5, les langues non anglaises ont montré des coûts nettement plus élevés que l'anglais.
Refus vs Coût implicite : L'analyse montre que si les taux de refus explicites contribuent au coût (particulièrement dans les benchmarks « difficiles »), ils n'expliquent pas entièrement la disparité. Dans de nombreux cas, le modèle non aligné fournit une réponse plus complète et exploitable que le modèle aligné, même lorsque les deux se conforment à la requête.
Tests de robustesse : Les conclusions se confirment lors de l'utilisation de checkpoints appariés entraînés de zéro, confirmant que la disparité provient de l'objectif d'alignement de sécurité lui-même plutôt que d'artefacts de la technique d'ablation.

Signification

L'article soutient que les pratiques actuelles d'alignement de sécurité contiennent une faille fondamentale : elles imposent une pénalité structurelle dépendante de la langue qui dégrade l'expérience utilisateur pour les non-anglophones. En exposant le fait que les mécanismes de sécurité sont souvent mal calibrés pour les entrées non anglaises — entraînant soit une perte d'utilité excessive, soit une protection insuffisante — les auteurs appellent au développement de mécanismes de sécurité équitables.

L'étude conclut que l'alignement de sécurité ne doit pas être considéré comme un processus uniforme. Au lieu de cela, les développeurs doivent mesurer et traiter le Coût de Sécurité dans toutes les langues supportées pour garantir que le compromis entre sécurité et utilité est réparti équitablement, plutôt que de peser de manière disproportionnée sur les utilisateurs non anglophones. Ce travail souligne la nécessité de dépasser les paradigmes de sécurité centrés sur l'anglais pour parvenir à des systèmes d'IA véritablement inclusifs et utiles.