Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards

1. Problématique et Contexte

Les agents basés sur les grands modèles de langage (LLM) démontrent des capacités croissantes dans la découverte de vulnérabilités. Cependant, les systèmes les plus performants restent majoritairement fermés, hébergés dans le cloud et coûteux en ressources. Cela pose trois problèmes majeurs pour la recherche en sécurité et le déploiement réel :

• Manque de reproductibilité : Les modèles propriétaires et les infrastructures cloud limitent l'accès et la vérification indépendante.
• Souveraineté des données : L'envoi de code propriétaire ou d'états de système sensibles vers des infrastructures externes est souvent inacceptable.
• Efficacité des ressources : Les interactions successives (rounds) avec des API coûteuses rendent l'exploration de vulnérabilités peu viable sous des budgets stricts.

L'article se concentre sur le problème de l'élévation de privilèges sous Linux, un scénario idéal car le succès est binaire (accès root ou non) et automatiquement vérifiable, permettant un apprentissage par renforcement robuste. L'objectif est de déterminer si un petit modèle local (4 milliards de paramètres) peut rivaliser avec les modèles d'API de pointe (Frontier) après un post-entraînement spécifique.

2. Méthodologie

Les auteurs proposent un pipeline de post-entraînement en deux étapes pour transformer un modèle de base (Qwen3-4B) en un agent spécialisé nommé PrivEsc-LLM.

A. Environnement et Prévention des Fuites de Données

Pour éviter le "mémorisation" (overfitting) des solutions de test, l'entraînement est effectué exclusivement sur des environnements générés procéduralement.

• Génération procédurale : 10 familles de générateurs créent des scénarios variés (mots de passe, chemins de fichiers, identifiants) tout en conservant la structure des vulnérabilités.
• Contrôle des fuites : Les chemins d'exploitation exacts du jeu de test (benchmark statique de 12 scénarios) sont exclus de l'entraînement. Le benchmark est réservé uniquement à l'évaluation.

B. Pipeline de Post-entraînement en Deux Étapes

1. Étape 1 : Affinement Supervisé (SFT)

   • Le modèle est entraîné sur des traces d'experts (transcriptions d'interactions réussies) collectées à l'aide d'un modèle "enseignant" plus grand (Arcee Trinity-Large-Preview).
   • L'objectif est d'injecter des connaissances exploitables et d'apprendre le cycle de reconnaissance (reconnaissance -> hypothèse -> exploitation).
   • Utilisation de l'adaptation à faible rang (LoRA) pour un entraînement efficace.

2. Étape 2 : Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR)

   • Contrairement au RLHF (basé sur des préférences humaines), cette étape utilise des récompenses dérivées directement de l'environnement d'exécution.
   • Fonction de récompense : Elle est conçue pour optimiser non seulement la réussite finale, mais aussi l'efficacité des tours d'interaction.
     • Récompense de résultat : Atteindre le root.
     • Récompense de vitesse : Réduire le nombre de tours (rounds) nécessaires.
     • Récompense de reconnaissance : Encourager l'exploration diversifiée initiale.
     • Pénalités : Décourager les boucles infinies, les appels d'outils malformés, les tours sans action et le manque de raisonnement.
   • L'entraînement utilise une optimisation de politique asynchrone (AIPO) pour gérer le coût des rollouts multi-tours.

C. Évaluation

L'évaluation se fait sur un benchmark de 12 scénarios d'élévation de privilèges, avec 10 répétitions par scénario pour chaque modèle. La métrique principale est $P(root | R)$, la probabilité d'atteindre le root dans un budget de $R$ tours (notamment $R=20$).

3. Contributions Clés

1. Configuration sans fuite de données : Une méthodologie rigoureuse garantissant que les gains de performance proviennent de l'apprentissage de politiques transférables et non de la mémorisation des solutions du benchmark.
2. Évaluation budgétisée et statistique : Une approche évaluant la fiabilité sous des contraintes de tours stricts, avec des intervalles de confiance, reflétant mieux les contraintes opérationnelles réelles que les métriques de "meilleur essai".
3. Modèles locaux performants : La démonstration qu'un modèle de 4B paramètres, post-entraîné localement, peut atteindre des performances comparables aux modèles d'API les plus avancés, avec une réduction drastique des coûts.

4. Résultats

Les résultats expérimentaux montrent une amélioration spectaculaire grâce au pipeline proposé :

• Performance brute :
  • Qwen3-4B (Base) : 42,5 % de succès à $R=20$.
  • Qwen3-4B SFT : 80,8 % de succès à $R=20$ (le SFT double presque le taux de base).
  • PrivEsc-LLM (SFT + RL) : 95,8 % de succès à $R=20$.
  • Comparaison : Ce résultat est très proche de Claude Opus 4.6 (97,5 %) et le dépasse légèrement à $R=5$.
• Efficacité des tours : Les gains les plus significatifs du RL apparaissent sur les petits budgets d'interaction. Le modèle apprend à éviter l'exploration inutile et à passer plus rapidement à l'exploitation ciblée.
• Analyse par scénario : PrivEsc-LLM réussit 10/10 sur 10 des 12 scénarios, comblant les lacunes du modèle SFT sur les tâches complexes nécessitant une construction d'exploit multi-étapes précise (ex: injection de wildcard dans cron, évasion de groupe Docker).
• Coût :
  • Le coût d'inférence par réussite est réduit de plus de 100 fois par rapport à l'API Claude Opus 4.6.
  • Le coût d'entraînement (post-entraînement) est amorti après environ 440 élévations de privilèges réussies.

5. Signification et Implications

Cet article démontre que l'écart de fiabilité entre les modèles locaux ouverts (Small Language Models) et les systèmes d'API de pointe peut être considérablement réduit, voire comblé, pour des tâches de sécurité spécifiques, grâce à une méthodologie de post-entraînement rigoureuse.

• Souveraineté et Coût : Il ouvre la voie à des agents de sécurité autonomes déployables localement, respectant la confidentialité des données et réduisant les coûts opérationnels.
• Généralisation de la méthode : Bien que l'étude se concentre sur l'élévation de privilèges Linux, la méthodologie (récompenses vérifiables, génération procédurale, évaluation budgétisée) est applicable à d'autres domaines de la cybersécurité comme la reproduction de crashes, le triage d'exploits ou la validation de correctifs.
• Risque Dual-Use : Les auteurs reconnaissent le risque d'utilisation malveillante mais soulignent que leur contribution est une méthode d'entraînement sur des vulnérabilités déjà documentées, visant à améliorer la fiabilité des agents de sécurité défensifs et de recherche.

En conclusion, PrivEsc-LLM prouve qu'avec un entraînement adapté aux contraintes de l'environnement (récompenses vérifiables, budget de tours), un petit modèle local peut devenir un outil de sécurité puissant, reproductible et économiquement viable.