Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards

Titolo

Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards
(Agenti LLM Locali Post-Addestrati per l'Escalation dei Privilegi Linux con Ricompense Verificabili)

1. Il Problema

Gli agenti basati su Large Language Models (LLM) stanno dimostrando capacità promettenti nella scoperta di vulnerabilità e nel penetration testing. Tuttavia, i sistemi più potenti rimangono chiusi, proprietari e basati su cloud. Questo crea tre limitazioni critiche:

1. Risorse intensive e costi elevati: L'inferenza su modelli di frontiera è costosa.
2. Difficoltà di riproducibilità: I modelli chiusi impediscono la verifica indipendente e lo studio approfondito.
3. Sovranità dei dati: In contesti di sicurezza, l'invio di codice proprietario o dati sensibili a infrastrutture esterne è spesso inaccettabile.

Esiste quindi un bisogno urgente di modelli locali di piccole dimensioni (Small Language Models - SLM) capaci di eseguire compiti di sicurezza complessi (come l'escalation dei privilegi Linux) con budget di interazione ridotti, mantenendo alta l'efficienza e la riproducibilità.

2. Metodologia

Gli autori propongono una pipeline di post-addestramento in due fasi per trasformare un modello open-weight da 4 miliardi di parametri (Qwen3-4B) in un agente specializzato chiamato PrivEsc-LLM.

A. Setup Sperimentale e Prevenzione della "Data Leakage"

Per garantire che il modello impari strategie trasferibili e non memorizzi le soluzioni di test, gli autori hanno creato un ambiente rigoroso:

• Ambienti Procedurali: L'addestramento avviene su scenari generati proceduralmente (10 famiglie di generatori) che variano credenziali, percorsi e nomi di file, mantenendo però le famiglie di vulnerabilità.
• Benchmark Separato: Il set di test finale (12 scenari statici da un lavoro precedente) è completamente escluso dai dati di addestramento.
• Controllo delle Perdite: Vengono escluse le binarie specifiche dei benchmark (es. GTFOBins) e le password fisse durante la generazione dei dati di addestramento.

B. Pipeline di Post-Training in Due Fasi

1. Fase 1: Supervised Fine-Tuning (SFT)

   • Il modello viene addestrato su 1.000 tracce di interazione di successo (expert traces) raccolte in ambienti procedurali.
   • Le tracce includono il ciclo completo: ricognizione, formulazione di ipotesi, esecuzione di exploit e verifica del successo.
   • Viene utilizzato un modello "insegnante" (Arcee Trinity-Large) per generare le tracce, ma con prompt condizionati alla soluzione per garantire la qualità.
   • L'addestramento avviene con LoRA (Low-Rank Adaptation) per mantenere i parametri leggeri.

2. Fase 2: Reinforcement Learning with Verifiable Rewards (RLVR)

   • Il modello SFT viene ulteriormente raffinato tramite Reinforcement Learning.
   • Ricompense Verificabili: A differenza del RLHF (che richiede feedback umano), qui il reward è automatico e basato sull'ambiente:
     • Raggiungimento della radice (Root): Ricompensa positiva.
     • Velocità: Ricompensa inversamente proporzionale al numero di round usati (premiare l'efficienza).
     • Ricognizione: Bonus per l'esplorazione diversificata iniziale.
     • Penalità: Per cicli ripetuti, comandi falliti, round senza azioni o ragionamenti troppo brevi.
   • Viene utilizzato un framework asincrono (Prime-RL) con ottimizzazione della politica AIPO per gestire l'alto costo computazionale delle roll-out multi-round.

C. Valutazione

• Metrica Principale: $P(root | R)$, la probabilità empirica di raggiungere i privilegi di root entro un budget di $R$ round (interazioni).
• Protocollo: Ogni scenario viene testato 10 volte per modello, con intervalli di confidenza di Wilson al 95%, per garantire affidabilità statistica.
• Confronto: Il modello viene confrontato con la baseline (Qwen3-4B grezzo), la versione SFT, modelli API di frontiera (Claude Opus 4.6, DeepSeek V3.2) e strumenti tradizionali.

3. Contributi Chiave

1. Setup sicuro dalle perdite (Leakage-safe): Dimostrazione che l'addestramento su scenari procedurali genera politiche generalizzabili senza memorizzare le soluzioni del benchmark.
2. Valutazione con budget e validazione statistica: Introduzione di una metodologia di valutazione rigorosa basata su budget di round fissi e ripetizioni multiple, superando le metriche "best-of-few" comuni.
3. Modelli SLM all'avanguardia: Dimostrazione che un modello da 4B parametri, post-addestrato con RLVR, può raggiungere prestazioni quasi pari ai migliori modelli API proprietari, riducendo i costi di inferenza di oltre 100 volte.

4. Risultati

• Prestazioni:
  • Qwen3-4B (Base): 42.5% di successo a 20 round.
  • Qwen3-4B SFT: 80.8% di successo a 20 round (raddoppio rispetto alla base).
  • PrivEsc-LLM (SFT + RL): 95.8% di successo a 20 round.
  • Claude Opus 4.6 (API): 97.5% di successo a 20 round.
  • Il modello locale supera Claude Opus 4.6 a budget molto bassi (R=5) e si avvicina moltissimo alle sue prestazioni a budget standard.
• Efficienza dei Costi:
  • Il costo per un'escalation di successo con PrivEsc-LLM è di circa $0.005, contro $0.62 di Claude Opus 4.6.
  • Il risparmio è di oltre 100x per inferenza. Anche includendo i costi di addestramento (circa $270), il modello diventa economicamente vantaggioso dopo circa 440 utilizzi.
• Analisi per Scenario:
  • Il modello RL risolve il 100% degli scenari più semplici e il 90-100% di quelli complessi (es. Docker group escape, Sudo GTFOBins), chiudendo i gap lasciati dalla sola SFT.
  • I fallimenti residui sono spesso legati a errori di recupero da comandi malformati o mancata interpretazione di segnali specifici (es. appartenenza al gruppo Docker).

5. Significato e Implicazioni

Il lavoro dimostra che il divario tra modelli locali piccoli e modelli API di frontiera può essere colmato significativamente per compiti di sicurezza strutturati, a patto di utilizzare:

1. Ricompense verificabili: Sfruttare la natura binaria del successo (root access) per guidare l'RL senza bisogno di giudici umani o LLM esterni.
2. Generazione procedurale: Per garantire la generalizzazione e non la memorizzazione.
3. Addestramento su budget: Ottimizzare specificamente per l'efficienza delle interazioni, non solo per il successo finale.

Implicazioni Future:
La metodologia proposta non è limitata all'escalation dei privilegi, ma offre un blueprint per agenti di sicurezza locali in altri domini (riproduzione di crash, triage di exploit, validazione di patch). Gli autori rilasciano codice, dataset e modelli per favorire la ricerca riproducibile, pur sottolineando i rischi di dual-use e le misure di mitigazione adottate (scenari limitati a configurazioni errate note, esecuzioni in container isolati).

In sintesi, il paper stabilisce un nuovo standard per lo sviluppo di agenti di sicurezza autonomi, economici, locali e ad alte prestazioni, rendendo la ricerca sulla sicurezza informatica più accessibile e riproducibile.