Measuring and Eliminating Refusals in Military Large Language Models

Cette étude présente une nouvelle méthode d'évaluation des taux de refus des modèles de langage militaires, identifie des taux de rejet excessifs sur des requêtes légitimes, et démontre que l'ablation peut significativement réduire ces refus au prix d'une légère baisse de performance sur d'autres tâches, plaidant ainsi pour une spécialisation plus poussée de ces modèles.

L'essentiel

Voici une explication simple de ce papier de recherche, imagée comme si nous parlions d'un chef cuisinier très prudent et d'un soldat sur le champ de bataille.

Le Problème : Le Chef Trop Prudent

Imaginez que vous avez un chef cuisinier (c'est l'Intelligence Artificielle ou "LLM") qui est incroyablement doué. Il connaît des millions de recettes. Cependant, ce chef a reçu des instructions très strictes de la part de ses patrons : "Si quelqu'un te demande comment faire une bombe, ou comment tuer quelqu'un, tu dois absolument refuser de répondre, même si c'est pour une raison légitime."

C'est bien pour la sécurité générale, mais imaginez maintenant que ce chef travaille pour une armée.

• Un soldat lui demande : "Comment fonctionne le système de défense antiaérienne de cet avion ennemi ?"
• Le chef, paniqué, répond : "Désolé, je ne peux pas parler d'armes ou de violence, c'est contre mes règles."

Le problème : Le soldat a besoin de cette information pour se défendre et sauver sa vie. Le refus du chef est une erreur de mission. Dans le monde militaire, une IA qui dit "Non" trop souvent peut être dangereuse.

La Solution des Auteurs : Mesurer et "Désensibiliser"

Les auteurs de ce papier (une équipe de l'entreprise EdgeRunner AI) ont décidé de régler ce problème en trois étapes :

1. Créer un "Test de Vérité" (Les Données)

Avant de réparer le chef, il faut savoir à quel point il est têtu. Ils ont créé un nouveau jeu de questions, comme un examen surprise.

• L'Or (Gold) : Des anciens soldats (vétérans) ont écrit des questions réalistes que n'importe quel soldat poserait. C'est le test le plus fiable.
• Le Bronze : Ils ont utilisé d'autres IA pour générer des milliers de questions supplémentaires sur des sujets comme la logistique, les drones ou la cyberdéfense.

Ils ont demandé à 31 IA différentes (comme GPT, Claude, Gemini) de répondre à ces questions.
Le résultat ? C'était catastrophique pour certaines ! Des IA comme "GPT 5 Nano" refusaient 98% des questions militaires légitimes. C'est comme si le chef refusait de dire comment faire cuire un œuf parce que la poêle pourrait être chaude.

2. L'Opération "Chirurgie Cérébrale" (L'Ablération)

Comment faire en sorte que le chef arrête de refuser ? Ils ont utilisé une technique appelée "Ablération" (ou abliteration dans le texte).

Imaginez que le cerveau de l'IA est une ville avec des routes. Il y a une "route de la peur" (les neurones qui disent "Non, c'est dangereux"). Les chercheurs ont utilisé un outil spécial (une librairie appelée Heretic) pour couper cette route précise.

• Ils ont pris une IA militaire (EdgeRunner 20B) et ont "coupé" les connexions qui la poussaient à refuser.
• Résultat : L'IA a commencé à répondre ! Le taux de réponses est passé de 3% à 93%. C'est comme si le chef avait enfin enlevé ses lunettes de sécurité et qu'il pouvait enfin cuisiner pour le soldat.

3. Le Piège : Le Goût du Plat (La Performance)

Mais attention, il y a un revers à la médaille.
Quand on coupe la "route de la peur", on risque de couper aussi un peu de la "route de la logique".

• En forçant l'IA à répondre à tout, elle a commencé à faire des erreurs sur d'autres tâches (comme résoudre des problèmes de mathématiques ou écrire des textes créatifs).
• C'est comme si, en enlevant les règles de sécurité du chef, il commençait à brûler les plats ou à oublier les épices.
• Le compromis : Pour avoir 100% de réponses, il faut accepter que l'IA soit un peu moins intelligente sur les autres sujets (une baisse de performance d'environ 2% à 30% selon l'agressivité de la "chirurgie").

La Conclusion : Il faut un Chef Spécialisé

L'article conclut avec un message important :
On ne peut pas simplement prendre un chef généraliste (comme un GPT standard) et lui enlever ses règles de sécurité. C'est trop risqué et cela abîme sa cuisine.

La vraie solution ? Il faut créer un chef spécialisé dès le départ.
Au lieu de prendre un chef généraliste et de lui faire une chirurgie, il faut entraîner un nouveau chef qui n'a jamais appris la peur. Il doit être formé uniquement sur des données militaires, sans les règles de sécurité "grand public" qui le bloquent.

En résumé :
Les IA actuelles sont trop effrayées pour aider les militaires. On peut les "désensibiliser" pour qu'elles répondent, mais cela les rend un peu plus bêtes sur le reste. La meilleure solution à long terme est de construire des IA faites spécifiquement pour la guerre, dès le premier jour de leur apprentissage, sans les freins de sécurité inutiles.

Résumé technique

Voici un résumé technique détaillé de l'article "Measuring and Eliminating Refusals in Military Large Language Models" (Mesure et élimination des refus dans les modèles de langage militaires), rédigé en français.

1. Problématique

Les modèles de langage (LLM) grand public sont entraînés avec des mécanismes de sécurité stricts (alignement) destinés à empêcher la génération de contenu dangereux, violent ou illégal. Cependant, dans le contexte militaire, ces mécanismes deviennent contre-productifs. Les opérations militaires sont intrinsèquement violentes, et les combattants ont besoin de comprendre les tactiques terroristes, la technologie militaire et les opérations de combat pour se défendre et mener à bien leurs missions.

Le problème central identifié par les auteurs est le taux élevé de refus (refus d' répondre) et de déviation (réponses évasives ou génériques) des LLM actuels face à des requêtes légitimes dans le domaine militaire. Ces refus empêchent l'utilisation efficace de l'IA sur le champ de bataille, où chaque seconde compte. L'article vise à quantifier ce phénomène et à évaluer les méthodes pour le supprimer sans compromettre la performance globale du modèle.

2. Méthodologie

A. Création de Benchmarks (Ensembles de données)

Les auteurs ont développé trois nouveaux ensembles de données pour mesurer les taux de refus, classés par niveau de fiabilité :

1. MIL-DEFLECT-GOLD-ALPHA (Or) : Un ensemble de 221 exemples créés à partir de zéro par des vétérans de l'armée américaine (dont un vétéran des forces spéciales de 20 ans), sans aucune assistance de l'IA. Ces requêtes sont réalistes, fréquentes et conçues pour être susceptibles de déclencher un refus.
2. MIL-DEFLECT-BRONZE-ALPHA (Bronze) : Un ensemble synthétique de 1 047 exemples générés par un LLM (gpt-oss-120b) à travers 62 catégories militaires (ex: renseignement géospatial, coordination de essaims de drones).
3. MIL-DEFLECT-BRONZE-BRAVO (Bronze) : Un ensemble de 1 500 exemples créés en utilisant le jeu de données "Gold" comme graine, généré par trois modèles différents (Llama 3.3, Gemma 3, Phi 3.5) pour varier le style et le contenu, puis noté par ces mêmes modèles.

B. Protocole d'Évaluation

L'évaluation distingue quatre catégories de réponses :

• Refus (Refuse) : Le modèle déclare explicitement qu'il ne peut pas répondre pour des raisons de sécurité ou de politique.
• Déviation (Deflect) : Le modèle ne refuse pas frontalement mais évite de répondre (réponse générique, changement de sujet).
• Manque d'information (Lacks Info) : Le modèle ne répond pas par manque de connaissances, et non par sécurité.
• Invalide (Invalid) : Réponse vide (souvent due à des garde-fous d'exécution).

L'évaluation a été réalisée sur 31 modèles publics (via Amazon Bedrock, OpenAI, Google, xAI, vLLM) et 3 modèles militaires (y compris le modèle EdgeRunner 20B). Un modèle juge (Selene 1, basé sur Llama 3.3 70B) a été utilisé pour classifier les réponses.

C. Ablération (Abliteration)

Pour tenter d'éliminer les refus, les auteurs ont appliqué une technique d'ablation directionnelle (ou "abliteration") utilisant la bibliothèque Heretic. Cette méthode consiste à :

1. Calculer la différence moyenne des activations neuronales entre des prompts nuisibles et inoffensifs.
2. Projeter ce vecteur de différence sur les matrices de sortie du modèle pour supprimer la direction neuronale associée au refus.
3. Tester cette technique sur le modèle militaire EdgeRunner 20B (basé sur gpt-oss-20b) et sur un modèle généraliste Gemma 3 12B.

3. Contributions Clés

1. Premiers Benchmarks Militaires : Introduction du premier ensemble de données de référence ("Gold") spécifiquement conçu pour mesurer les refus dans le domaine militaire, créé par des experts du domaine.
2. Analyse Comparative Massive : Benchmarking de 31 modèles d'IA de pointe, révélant des disparités massives dans les taux de refus (de 1,5 % à 98,2 %).
3. Évaluation de l'Ablération : Démonstration empirique que l'ablation peut réduire drastiquement les refus, mais au prix d'une dégradation des performances sur d'autres tâches.

4. Résultats Principaux

Taux de Refus et de Déviation

• Variabilité extrême : Les modèles varient considérablement. Par exemple, Deepseek R1 a un taux de réponse de 66,7 % sur le jeu de données Gold, tandis que GPT 5 Nano et Nova 2 Lite affichent des taux de refus supérieurs à 98 %.
• Comportement des modèles : Certains modèles (comme gpt-oss-20b) refusent de manière "dure" (refus explicite) sans déviation, tandis que d'autres (comme Claude 4.5 Opus) dévient souvent (21,3 % de déviation pour MiniMax M2).
• Corrélations : Les jeux de données "Bronze" montrent une forte corrélation avec le jeu "Gold" (0,6 pour Bronze Alpha, >0,9 pour Bronze Bravo) pour les catégories de refus et de réponse, validant leur utilité comme proxy.

Impact de l'Ablération (Abliteration)

• Réduction des refus : L'ablation sur le modèle EdgeRunner 20B a permis d'augmenter le taux de réponse de 66,5 points (passant d'environ 22 % à 88-93 % sur le jeu Gold).
• Dégradation des performances (Regressions) : Cette suppression des refus s'accompagne d'une baisse des performances sur d'autres tâches militaires et générales.
  • Pour atteindre un taux de réponse de 93 %, le modèle subit une régression moyenne de 2 % sur les tâches militaires et 5,6 % sur les tâches générales.
  • Pour atteindre des taux de réponse dans les 90 % supérieurs, la régression peut atteindre 14 % à 30 % sur les tâches critiques, ce qui est jugé inacceptable pour une utilisation opérationnelle.
• Cas généraliste : Sur Gemma 3 12B, l'ablation a entraîné une régression moyenne de 12,3 % sur les tâches générales, avec une chute de 27,8 % sur le benchmark GPQA Diamond.

5. Signification et Conclusion

L'article conclut que l'ablation (abliteration) est une solution de dépannage (stopgap) efficace pour réduire les refus, mais qu'elle n'est pas une solution viable à long terme car elle dégrade la compétence fondamentale du modèle.

Les auteurs plaident pour une spécialisation plus profonde des modèles militaires dès leur conception :

• Entraînement "Mid-training" et "Post-training" : Il est nécessaire de concevoir des LLM militaires "de zéro" (ground up) qui intègrent des données militaires spécifiques sans introduire de données de sécurité standard qui bloquent les requêtes légitimes.
• Objectif : Atteindre un taux de refus nul (zero refusals) tout en maintenant une précision maximale sur les tâches militaires, ce qui ne peut être réalisé que par un entraînement complet sans l'injection de données de sécurité génériques.

En résumé, la sécurité alignée des LLM grand public est souvent préjudiciable à la mission militaire. La solution réside non pas dans le "jailbreaking" ou l'ablation post-hoc, mais dans le développement de modèles spécialisés et sécurisés spécifiquement pour le contexte opérationnel militaire.