A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

Technische Samenvatting: Een Gecontroleerde Kandidaat-verzameling Benchmark voor Offline Satelliet-beveiligingsplan-decompositie

Probleemformulering

Het artikel behandelt een specifiek onderdeel van de ontwikkeling van satellietbeveiliging: het mappen van een hoogwaardig beveiligingsdoel (bijv. het testen van telecommand-autorisatie) naar een geordend, controleerbaar actieplan. In omgevingen waar gevoelige artefacten een lokale setting niet mogen verlaten, zijn compacte lokale modellen te prefereren. Bestaand onderzoek naar decompositie-prompting en taakspecialisatie heeft echter nog niet vastgesteld of deze strategieën werken voor beveiligingscampagneplannen.

De kernuitdaging wordt gedefinieerd als een kandidaat-verzameling doelstelling-decompositie taak. Gegeven een doelstelling $o$ en een set beschikbare technieken $G(o)$, moet het model de juiste referentietechnieken selecteren en deze ordenen in een sequentie $\sigma(o)$.

• De Referentie: Een decompositie is een geordende sequentie van triples $(t_i, \tau_i, c_i)$, waarbij $t_i$ een natuurlijke taal actie is, $\tau_i$ een techniek-identificator uit het SPARTA-framework is, en $c_i$ een geschreven controle-bewering (check statement) is.
• De Beperking: Het model opereert binnen een "gecontroleerde kandidaat-verzameling" $G(o)$. In deze studie is $G(o)$ een orakel-verzameling die is geconstrueerd om elke referentietechniek te bevatten plus in-domain distractors (technieken uit andere families). De taak is om de juiste subset te selecteren en te ordenen, niet om technieken te extraheren uit een enorme corpus of ze vanaf nul te genereren.
• Het Doel: Om de mate van selectie (precisie/selectiviteit) en ordening te meten, waarbij onderscheid wordt gemaakt tussen het vermogen van het model om de juiste tools te kiezen en het vermogen om simpelweg de gehele kandidaat-verzameling te dumpen (wat een hoge recall maar lage precisie zou opleveren).

Methodologie

De auteurs stellen een low-rank adapter (LoRA) voor die getraind is om een plan te emitteren onder conditie van een expliciete kandidaat-verzameling, waarbij de decompositie-component wordt gescheiden van de retrieval- en verificatielagen.

1. Dataset Constructie (SatSec Corpus):

   • Bron: 24 geschreven gevallen gegrond in SPARTA en ruimtevaartbeveiligingsstandaarden, variërend van incidenten zoals GNSS-spoofing, passieve afluistering en ongeauthenticeerde telecommand-analyse.
   • Samenstelling: 24 door de auteur geschreven "decompose" voorbeelden en 83 mechanisch afgeleide "next-step" voorbeelden, totaal 107 voorbeelden.
   • Splitsing: De dataset is case-disjoint gesplitst. Zes gevallen zijn apart gehouden voor evaluatie, wat garandeert dat geen stappen uit een testgeval voorkomen in de trainingsset.
   • Leakage Control: Om referentie-lekken te voorkomen, bevatten input-prompts alleen de doelstelling en acht geschudde kandidaten (de referentietechnieken plus distractors). Het referentie-narratief en de stap-sequenties zijn verwijderd uit de inputs.
   • Distractors: Kandidaten zijn aangevuld tot acht verschillende technieken. Distractors zijn afkomstig uit verschillende techniek-families om te zorgen dat de taak een cross-family selectie is, en geen discriminatie op niveau van directe verwanten.

2. Modelarchitectuur & Training:

   • Base Modellen: Qwen2.5-0.5B, 1.5B, en 7B-Instruct.
   • Adapter: Een low-rank adapter (Rank 16, $\alpha=32$) is getraind op het bevroren base model.
   • Supervisie: Twee modi worden gebruikt:
     • Full Decomposition: Autoregressieve generatie van het volledige plan.
     • Next-Step: Het superviseren van een enkele continuatie gegeven voorgaande stappen.
   • Loss Functie: Er wordt gebruik gemaakt van completion-only masking, wat betekent dat de loss alleen wordt berekend op de gegenereerde tokens, en niet op de prompt (die de kandidaat-verzameling bevat).

3. Evaluatieprotocol:

   • Baselines: Niet-geadapteerde modellen met enkel kandidaten, schema-geprompte modellen, en two-shot prompting met vaste exemplaren.
   • Metrieken:
     • Recall: Fractie van de referentietechnieken die zijn teruggevonden.
     • Precisie (Selectiviteit): Fractie van de geëmitteerde technieken die in de referentieset zitten (straft inclusie van distractors af).
     • Ordering Fidelity: Vooraanstaande schendingen (precedence violations) tussen gematchte stappen.
     • Candidate Validity: Of geëmitteerde identificatoren geldige SPARTA-entries zijn uit $G(o)$.
     • Check-Field Presence: Syntactische aanwezigheid van het controleveld (check field).
   • Stabiliteitscontroles: Evaluatie over vijf decoding seeds en drie training seeds (42, 43, 44) om onderscheid te maken tussen sampling-ruis en trainingsvariantie. Een 24-voudige leave-one-case-out (LOCO) census wordt uitgevoerd bij 0.5B en 1.5B.

Belangrijkste Resultaten

De evaluatie onthult genuanceerde trade-offs in plaats van een duidelijke superioriteit van de adapter-aanpak over alle metrieken en modelgroottes heen.

• Precisie vs. Recall Trade-off:
  • Bij 1.5B bereikt de adapter een hogere precisie (0.583) dan two-shot prompting (0.480) maar een lagere recall (0.586 vs. 0.660).
  • Bij 7B vertoont de adapter een hogere precisie (0.67) dan schema prompting (0.59) maar een lagere ordering fidelity (0.68 vs. 0.84).
  • Bij 0.5B presteert de adapter iets beter dan two-shot prompting in precisie (0.27 vs. 0.20) maar loopt hij achter in recall.
• Format Compliance: De adapter is aanzienlijk meer format-compliant. Bij 1.5B bevat 96.7% van de adapter-voorspellingen volledige gestructureerde velden, vergeleken met 30.0% voor schema prompting. Dit suggereert dat een aanzienlijk deel van het verschil in score te wijten is aan syntactische naleving in plaats van semantische selectiekwaliteit.
• Next-Step Accuratesse: De autoregressieve next-step accuratesse is laag, met name voor kleinere modellen (0.08 bij 0.5B, 0.06 bij 1.5B, 0.29 bij 7B).
• Stabiliteit: Trainingsvariantie is niet verwaarloosbaar. De case-resampling intervallen voor precisie relatief aan de sterkste baseline kruisen nul bij 1.5B en 7B, wat aangeeft dat de geobserveerde winsten niet statistisch robuust zijn over alle gevallen.
• Transfer Diagnostiek: Een aparte test op drie publieke crackmes toonde aan dat hoewel het concept van het actie-techniek-controle contract hergebruikt kan worden (met post-hoc normalisatie), de exacte contract-rate laag was (0.133), en de adapter zelf niet werd geëvalueerd in dit transfer-scenario.

Betekenis en Claims

De auteurs kaderen dit werk expliciet als een gecontroleerde proof of concept, niet als bewijs voor een betrouwbaar zelfstandig decompositie-systeem of een algemeen voordeel van de adapter.

• Bijdrage: Het artikel biedt een formulering voor kandidaat-verzameling decompositie, een lekage-gecontroleerde dataset (SatSec), en een reproduceerbaarheidspakket inclusief ruwe generaties en audit-tools.
• Scope Beperkingen: De studie isoleert de decompositie front-end. Het evalueert geen retrieval (aangezien orakel-verzamelingen worden gebruikt), semantische verificatie van de controles, of generalisatie naar nieuwe technieken zonder hertraining.
• Bescheiden Conclusies:
  • De resultaten tonen een precisie-recall trade-off aan in plaats van een universele verbetering.
  • De geobserveerde prestatiewinsten worden gedeeltelijk beïnvloed door format learning (de adapter leert beter gestructureerde JSON te produceren dan de baselines).
  • De kleine corpus en de case-disjoint split karakteriseren deze specifieke 24 gevallen, maar schatten de prestaties op een bredere populatie niet in.
  • De lage next-step accuratesse geeft aan dat het systeem nog niet klaar is voor autonome, langdurige planning (long-horizon planning).

Het artikel concludeert dat het artefact dient als een auditbaar startpunt voor het testen van kandidaat-selectie apart van retrieval en verificatie. Het roept op tot toekomstig werk bestaande uit community semantische review, echt ongemoeide externe testsets, realistische retrieval-integratie en on-device profilering voordat er enige claim kan worden gemaakt over betrouwbaarheid of gereedheid voor implementatie.