A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

Riepilogo Tecnico: Un Benchmark di Candidati Controllati per la Decomposizione di Piani di Sicurezza Satellitare Offline

Formulazione del Problema

Il documento affronta una componente specifica dello sviluppo della sicurezza satellitare: la mappatura di un obiettivo di sicurezza di alto livello (ad esempio, il test dell'autorizzazione dei telecomandi) verso un piano d'azione ordinato e verificabile. In ambienti in cui gli artefatti sensibili non possono lasciare un contesto locale, si preferiscono modelli locali compatti. Tuttavia, la ricerca esistente sulla decomposizione tramite prompting e sulla specializzazione dei task non ha stabilito se queste strategie siano efficaci per i piani di campagne di sicurezza.

La sfida centrale è definita come un compito di decomposizione di obiettivi con set di candidati. Dato un obiettivo $o$ e un insieme di tecniche disponibili $G(o)$, il modello deve selezionare le tecniche di riferimento corrette e ordinarle in una sequenza $\sigma(o)$.

• Il Riferimento: Una decomposizione è una sequenza ordinata di triple $(t_i, \tau_i, c_i)$, dove $t_i$ è un'azione in linguaggio naturale, $\tau_i$ è un identificatore di tecnica appartenente al framework SPARTA e $c_i$ è un'istruzione di controllo (check statement) redatta dall'autore.
• Il Vincolo: Il modello opera all'interno di un "set di candidati controllato" $G(o)$. In questo studio, $G(o)$ è un set oracle costruito per includere ogni tecnica di riferimento più dei distrattori in-domain (tecniche provenienti da famiglie diverse). Il compito è selezionare e ordinare il subset corretto, non recuperare tecniche da un vasto corpus o generarle da zero.
• L'Obiettivo: Misurare la fedeltà di selezione (precisione/selettività) e di ordinamento, distinguendo la capacità del modello di scegliere gli strumenti giusti dalla semplice capacità di elencare l'intero set di candidati (il che porterebbe a un'alta recall ma a una bassa precisione).

Metodologia

Gli autori propongono un low-rank adapter (LoRA) addestrato per emettere un piano condizionato da un esplicito set di candidati, separando la componente di decomposizione dai livelli di recupero (retrieval) e verifica.

1. Costruzione del Dataset (Corpus SatSec):

   • Fonte: 24 casi redatti basati su standard SPARTA e di sicurezza spaziale, che coprono incidenti come lo spoofing GNSS, l'intercettazione passiva e l'analisi di telecomandi non autenticati.
   • Composizione: 24 esempi di "decomposizione" scritti dall'autore e 83 esempi di "passaggio successivo" derivati meccanicamente, per un totale di 107 esempi.
   • Suddivisione: Il dataset è suddiviso in modo disgiunto per caso (case-disjointly). Sei casi sono tenuti fuori per la valutazione, garantendo che nessun passaggio di un caso di test appaia nel set di addestramento.
   • Controllo della Leakage: Per prevenire la fuga di riferimenti (reference leakage), i prompt di input contengono solo l'obiettivo e otto candidati rimescolati (le tecniche di riferimento più i distrattori). La narrativa di riferimento e le sequenze di passaggi sono rimosse dagli input.
   • Distrattori: I candidati sono estesi a otto tecniche distinte. I distrattori sono tratti da diverse famiglie di tecniche per garantire che il compito sia una selezione cross-family, non una discriminazione tra elementi simili.

2. Architettura del Modello e Addestramento:

   • Modelli Base: Qwen2.5-0.5B, 1.5B e 7B-Instruct.
   • Adapter: Un low-rank adapter (Rank 16, $\alpha=32$) è addestrato sul modello base congelato.
   • Supervisione: Vengono utilizzate due modalità:
     • Full Decomposition: Generazione autoregressiva dell'intero piano.
     • Next-Step: Supervisione di una singola continuazione dato un precedente passaggio.
   • Funzione di Perdita (Loss Function): Viene utilizzata la mascheratura della sola completazione (completion-only masking), il che significa che la perdita è calcolata solo sui token generati, non sul prompt (che include il set di candidati).

3. Protocollo di Valutazione:

   • Baseline: Modelli non adattati con soli candidati, modelli con schema-prompting e modelli con two-shot prompting con esempi fissi.
   • Metriche:
     • Recall: Frazione di tecniche di riferimento recuperate.
     • Precision (Selettività): Frazione di tecniche emesse che appartengono al set di riferimento (penalizzando l'inclusione di distrattori).
     • Ordering Fidelity: Violazioni di precedenza tra i passaggi corrispondenti.
     • Validità del Candidato: Se gli identificatori emessi sono voci SPARTA valide presenti in $G(o)$.
     • Presenza del Campo Check: Presenza sintattica del campo di controllo.
   • Controlli di Stabilità: Valutazione su cinque seed di decodifica e tre seed di addestramento (42, 43, 44) per distinguere il rumore di campionamento dalla varianza dell'addestramento. Viene eseguito un censimento LOCO (leave-one-case-out) a 24 volte a 0.5B e 1.5B.

Risultati Chiave

La valutazione rivela trade-off sfumati piuttosto che una chiara superiorità dell'approccio con l'adapter in tutte le metriche e dimensioni dei modelli.

• Trade-off Precisione vs. Recall:
  • A 1.5B, l'adapter raggiunge una precisione maggiore (0.583) rispetto al two-shot prompting (0.480) ma una recall inferiore (0.586 vs. 0.660).
  • A 7B, l'adapter mostra una precisione maggiore (0.67) rispetto allo schema prompting (0.59) ma una fedeltà di ordinamento inferiore (0.68 vs. 0.84).
  • A 0.5B, l'adapter supera leggermente il two-shot prompting in precisione (0.27 vs. 0.20) ma resta indietro nella recall.
• Conformità del Formato: L'adapter è sostanzialmente più conforme al formato. A 1.5B, il 96.7% delle predizioni dell'adapter contiene campi strutturati completi, rispetto al 30.0% dello schema prompting. Ciò suggerisce che una parte significativa della differenza di punteggio sia dovuta all'aderenza sintattica piuttosto che alla qualità della selezione semantica.
• Accuratezza del Next-Step: L'accuratezza del next-step autoregressivo è bassa, in particolare per i modelli più piccoli (0.08 a 0.5B, 0.06 a 1.5B, 0.29 a 7B).
• Stabilità: La varianza dell'addestramento non è trascurabile. Gli intervalli di ri-campionamento dei casi per la precisione rispetto alla baseline più forte incrociano lo zero a 1.5B e 7B, indicando che i guadagni osservati non sono statisticamente robusti in tutti i casi.
• Diagnostica di Trasferimento: Un test separato su tre crackme pubblici ha mostrato che, sebbene il concetto del contratto azione-tecnica-controllo possa essere riutilizzato (con normalizzazione post-hoc), il tasso di contratto esatto era basso (0.133, e l'adapter stesso non è stato valutato in questo scenario di trasferimento).

Significato e Rivendicazioni

Gli autori inquadrano esplicitamente questo lavoro come una prova di concetto controllata, non come prova di un sistema di decomposizione affidabile e autonomo o di un vantaggio generale dell'adapter.

• Contributo: Il documento fornisce una formulazione per la decomposizione di set di candidati, un dataset a controllo di leakage (SatSec) e un pacchetto di riproducibilità che include generazioni grezze e strumenti di audit.
• Limitazioni dell'Ambito: Lo studio isola la parte front-end della decomposizione. Non valuta il recupero (poiché vengono utilizzati set oracle), la verifica semantica dei controlli, né la generalizzazione a nuove tecniche senza riaddestramento.
• Conclusioni Modeste:
  • I risultati mostrano un trade-off precisione-recall piuttosto che un miglioramento universale.
  • I guadagni di prestazione osservati sono parzialmente confondenti con l'apprendimento del formato (l'adapter impara a emettere meglio JSON strutturati rispetto alle baseline).
  • Il piccolo corpus e la suddivisione disgiunta per caso caratterizzano questi specifici 24 casi, ma non stimano le prestazioni su una popolazione più ampia.
  • La bassa accuratezza del next-step indica che il sistema non è ancora pronto per una pianificazione autonoma a lungo termine.

Il documento conclude che l'artefatto serve come un punto di partenza verificabile per testare la selezione dei candidati separatamente dal recupero e dalla verifica. Esso richiama il lavoro futuro che coinvolga la revisione semantica della comunità, set di test esterni genuinamente non toccati, integrazione del recupero realistico e profilazione on-device prima che qualsiasi affermazione di affidabilità o prontezza operativa possa essere fatta.