A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

Resumo Técnico: Um Benchmark de Conjunto de Candidatos Controlado para Decomposição de Planos de Segurança de Satélites Offline

Formulação do Problema

O artigo aborda um componente específico do desenvolvimento de segurança de satélites: o mapeamento de um objetivo de segurança de alto nível (ex: testar a autorização de telecomando) para um plano de ação ordenado e verificável. Em ambientes onde artefatos sensíveis não podem deixar um ambiente local, modelos locais compactos são preferidos. No entanto, pesquisas existentes sobre prompting de decomposição e especialização de tarefas não estabeleceram se essas estratégias funcionam para planos de campanhas de segurança.

O desafio central é definido como uma tarefa de decomposição de objetivo de conjunto de candidatos. Dado um objetivo $o$ e um conjunto de técnicas disponíveis $G(o)$, o modelo deve selecionar as técnicas de referência corretas e ordená-las em uma sequência $\sigma(o)$.

• A Referência: Uma decomposição é uma sequência ordenada de triplas $(t_i, \tau_i, c_i)$, onde $t_i$ é uma ação em linguagem natural, $\tau_i$ é um identificador de técnica do framework SPARTA e $c_i$ é uma instrução de verificação (check statement) autoriais.
• A Restrição: O modelo opera dentro de um "conjunto de candidatos controlado" $G(o)$. Neste estudo, $G(o)$ é um conjunto oráculo construído para incluir cada técnica de referência mais distratores dentro do domínio (técnicas de diferentes famílias). A tarefa é selecionar e ordenar o subconjunto correto, não recuperar técnicas de um vasto corpus ou gerá-las do zero.
• O Objetivo: Medir a fidelidade de seleção (precisão/seletividade) e ordenação, distinguindo a capacidade do modelo de escolher as ferramentas certas da sua capacidade de simplesmente despejar todo o conjunto de candidatos (o que resultaria em alta revocação, mas baixa precisão).

Metodologia

Os autores propõem um adaptador de baixo rank (LoRA) treinado para emitir um plano condicionado a um conjunto de candidatos explícito, separando o componente de decomposição das camadas de recuperação e verificação.

1. Construção do Dataset (Corpus SatSec):

   • Fonte: 24 casos autorais fundamentados no SPARTA e em padrões de segurança espacial, cobrindo incidentes como spoofing de GNSS, escuta passiva e análise de telecomando não autenticado.
   • Composição: 24 exemplos de "decomposição" escritos por autores e 83 exemplos de "próximo passo" derivados mecanicamente, totalizando 107 exemplos.
   • Divisão: O dataset é dividido de forma disjunta por caso. Seis casos são reservados para avaliação, garantindo que nenhum passo de um caso de teste apareça no conjunto de treinamento.
   • Controle de Vazamento: Para evitar vazamento de referência, os prompts de entrada contêm apenas o objetivo e oito candidatos embaralhados (as técnicas de referência mais os distratores). A narrativa de referência e as sequências de passos são removidas das entradas.
   • Distratores: Os candidatos são preenchidos com oito técnicas distintas. Os distratores são extraídos de diferentes famílias de técnicas para garantir que a tarefa seja de seleção entre famílias (cross-family selection), e não discriminação ao nível de irmãos.

2. Arquitetura do Modelo e Treinamento:

   • Modelos Base: Qwen2.5-0.5B, 1.5B e 7B-Instruct.
   • Adaptador: Um adaptador de baixo rank (Rank 16, $\alpha=32$) é treinado no modelo base congelado.
   • Supervisão: Dois modos são usados:
     • Decomposição Total: Geração autorregressiva de todo o plano.
     • Próximo Passo: Supervisionando uma continuação única dado os passos anteriores.
   • Função de Perda: É utilizada a máscara de completude (completion-only masking), o que significa que a perda é calculada apenas nos tokens gerados, não no prompt (que inclui o conjunto de candidatos).

3. Protocolo de Avaliação:

   • Baselines: Modelos não adaptados com candidatos apenas, modelos com prompting de esquema (schema-prompted) e prompting de dois disparos (two-shot) com exemplares fixos.
   • Métricas:
     • Revocação (Recall): Fração de técnicas de referência recuperadas.
     • Precisão (Seletividade): Fração de técnicas emitidas que estão no conjunto de referência (penalizando a inclusão de distratores).
     • Fidelidade de Ordenação: Violações de precedência entre os passos correspondentes.
     • Validade do Candidato: Se os identificadores emitidos são entradas válidas do SPARTA provenientes de $G(o)$.
     • Presença do Campo de Verificação: Presença sintática do campo de verificação (check field).
   • Verificações de Estabilidade: Avaliação através de cinco sementes de decodificação e três sementes de treinamento (42, 43, 44) para distinguir ruído de amostragem de variância de treinamento. Um censo de 24 vezes de "deixar um caso fora" (LOCO) é realizado em 0.5B e 1.5B.

Principais Resultados

A avaliação revela trocas sutis (trade-offs) em vez de uma superioridade clara da abordagem do adaptador em todas as métricas e tamanhos de modelo.

• Troca entre Precisão e Revocação:
  • Em 1.5B, o adaptador alcança maior precisão (0.583) do que o prompting de dois disparos (0.480), mas menor revocação (0.586 vs. 0.660).
  • Em 7B, o adaptador mostra maior precisão (0.67) do que o prompting de esquema (0.59), mas menor fidelidade de ordenação (0.68 vs. 0.84).
  • Em 0.5B, o adaptador supera ligeiramente o prompting de dois disparos em precisão (0.27 vs. 0.20), mas fica atrás em revocação.
• Conformidade de Formato: O adaptador é substancialmente mais conforme ao formato. Em 1.5B, 96,7% das predições do adaptador contêm campos estruturados completos, comparado a 30,0% para o prompting de esquema. Isso sugere que uma parte significativa da diferença de pontuação deve-se à adesão sintática, e não à qualidade da seleção semântica.
• Precisão do Próximo Passo: A precisão autorregressiva do próximo passo é baixa, particularmente para modelos menores (0.08 em 0.5B, 0.06 em 1.5B, 0.29 em 7B).
• Estabilidade: A variância de treinamento não é desprezível. Os intervalos de reamostragem de casos para precisão relativa ao baseline mais forte cruzam o zero em 1.5B e 7B, indicando que os ganhos observados não são estatisticamente robustos em todos os casos.
• Diagnóstico de Transferência: Um teste separado em três crackmes públicos mostrou que, embora o conceito do contrato ação-técnica-verificação possa ser reutilizado (com normalização a posteriori), a taxa exata do contrato foi baixa (0.133, e o próprio adaptador não foi avaliado neste cenário de transferência.

Significância e Alegações

Os autores enquadram explicitamente este trabalho como uma prova de conceito controlada, não como evidência de um sistema de decomposição autônomo confiável ou de uma vantagem geral do adaptador.

• Contribuição: O artigo fornece uma formulação para decomposição de conjunto de candidatos, um dataset com controle de vazamento (SatSec) e um pacote de reprodutibilidade incluindo gerações brutas e ferramentas de auditoria.
• Limitações de Escopo: O estudo isola o front-end de decomposição. Não avalia a recuperação (já que conjuntos oráculos são usados), a verificação semântica das verificações, ou a generalização para novas técnicas sem retreinamento.
• Conclusões Modestas:
  • Os resultados mostram uma troca entre precisão e revocação em vez de uma melhoria universal.
  • Os ganhos de desempenho observados são parcialmente confundidos pelo aprendizado de formato (o adaptador aprende a emitir JSON estruturado melhor que os baselines).
  • O pequeno corpus e a divisão disjunta por caso caracterizam esses 24 casos específicos, mas não estimam o desempenho em uma população mais ampla.
  • A baixa precisão do próximo passo indica que o sistema ainda não está pronto para planejamento autônomo de longo horizonte.

O artigo conclui que o artefato serve como um ponto de partida auditável para testar a seleção de candidatos separadamente da recuperação e verificação. Ele chama para trabalhos futuros envolvendo revisão semântica comunitária, conjuntos de teste externos genuinamente intocados, integração de recuperação realista e perfilamento em dispositivo antes que qualquer alegação de confiabilidade ou prontidão de implantação possa ser feita.