A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

Resumen Técnico: Un Benchmark de Conjunto de Candidatos Controlado para la Descomposición de Planes de Seguridad Satelital Offline

Formulación del Problema

El artículo aborda un componente específico del desarrollo de seguridad satelital: el mapeo de un objetivo de seguridad de alto nivel (por ejemplo, probar la autorización de telecomando) a un plan de acción ordenado y verificable. En entornos donde los artefactos sensibles no pueden salir de un entorno local, se prefieren modelos locales compactos. Sin embargo, la investigación existente sobre el prompting de descomposición y la especialización de tareas no ha establecido si estas estrategias funcionan para planes de campañas de seguridad.

El desafío central se define como una tarea de descomposición de objetivos de conjunto de candidatos. Dada una de un objetivo $o$ y un conjunto de técnicas disponibles $G(o)$, el modelo debe seleccionar las técnicas de referencia correctas y ordenarlas en una secuencia $\sigma(o)$.

• La Referencia: Una descomposición es una secuencia ordenada de triples $(t_i, \tau_i, c_i)$, donde $t_i$ es una acción en lenguaje natural, $\tau_i$ es un identificador de técnica del marco de trabajo (framework) SPARTA y $c_i$ es una sentencia de verificación redactada.
• La Restricción: El modelo opera dentro de un "conjunto de candidatos controlado" $G(o)$. En este estudio, $G(o)$ es un conjunto oráculo construido para incluir cada técnica de referencia más distractores en el dominio (técnicas de diferentes familias). La tarea es seleccionar y ordenar el subconjunto correcto, no recuperar técnicas de un vasto corpus o generarlas desde cero.
• El Objetivo: Medir la fidelidad de selección (precisión/selectividad) y de ordenación, distinguiendo la capacidad del modelo para elegir las herramientas adecuadas de la capacidad de simplemente volcar todo el conjunto de candidatos (lo que resultaría en una alta recuperación pero baja precisión).

Metodología

Los autores proponen un adaptador de bajo rango (LoRA) entrenado para emitir un plan condicionado a un conjunto de candidatos explícito, separando el componente de descomposición de las capas de recuperación y verificación.

1. Construcción del Conjunto de Datos (Corpus SatSec):

   • Fuente: 24 casos redactados fundamentados en SPARTA y estándares de seguridad espacial, que cubren incidentes como spoofing de GNSS, escucha pasiva y análisis de telecomando no autenticado.
   • Composición: 24 ejemplos de "descomposición" escritos por autores y 83 ejemplos de "siguiente paso" derivados mecánicamente, sumando un total de 107 ejemplos.
   • División: El conjunto de datos se divide de forma disjunta por caso. Se reservan seis casos para la evaluación, asegurando que ningún paso de un caso de prueba aparezca en el conjunto de entrenamiento.
   • Control de Fuga (Leakage): Para evitar la fuga de referencias, los prompts de entrada contienen solo el objetivo y ocho candidatos mezclados (las técnicas de referencia más los distractores). La narrativa de referencia y las secuencias de pasos se eliminan de las entradas.
   • Distractores: Los candidatos se completan hasta alcanzar ocho técnicas distintas. Los distractores se extraen de diferentes familias de técnicas para asegurar que la tarea sea de selección entre familias (cross-family selection), no de discriminación entre hermanos.

2. Arquitectura del Modelo y Entrenamiento:

   • Modelos Base: Qwen2.5-0.5B, 1.5B y 7B-Instruct.
   • Adaptador: Un adaptador de bajo rango (Rango 16, $\alpha=32$) entrenado sobre el modelo base congelado.
   • Supervisión: Se utilizan dos modos:
     • Descomposición Completa: Generación autorregresiva de todo el plan.
     • Siguiente Paso: Supervisión de una continuación única dado un paso previo.
   • Función de Pérdida: Se utiliza el enmascaramiento solo para la completitud (completion-only masking), lo que significa que la pérdida se calcula solo en los tokens generados, no en el prompt (que incluye el conjunto de candidatos).

3. Protocolo de Evaluación:

   • Baselines (Líneas de Base): Modelos sin adaptar con candidatos solamente, modelos con prompting de esquema (schema-prompted) y prompting de dos disparos (two-shot) con ejemplares fijos.
   • Métricas:
     • Recall (Recuperación): Fracción de técnicas de referencia recuperadas.
     • Precisión (Selectividad): Fracción de técnicas emitidas que están en el conjunto de referencia (penalizando la inclusión de distractores).
     • Fidelidad de Ordenación: Violaciones de precedencia entre pasos coincidentes.
     • Validez del Candidato: Si los identificadores emitidos son entradas válidas de SPARTA dentro de $G(o)$.
     • Presencia del Campo de Verificación: Presencia sintáctica del campo de verificación (check field).
   • Controles de Estabilidad: Evaluación a través de cinco semillas de decodificación y tres semillas de entrenamiento (42, 43, 44) para distinguir el ruido de muestreo de la varianza del entrenamiento. Se realiza un censo de 24 veces de "dejar uno fuera por caso" (LOCO) en los modelos 0.5B y 1.5B.

Resultados Clave

La evaluación revela compensaciones (trade-offs) matizadas en lugar de una superioridad clara del enfoque de adaptador en todas las métricas y tamaños de modelo.

• Compensación entre Precisión y Recuperación (Precision vs. Recall):
  • En 1.5B, el adaptador logra una mayor precisión (0.583) que el prompting de dos disparos (0.480), pero una menor recuperación (0.586 vs. 0.660).
  • En 7B, el adaptador muestra una mayor precisión (0.67) que el prompting de esquema (0.59), pero una menor fidelidad de ordenación (0.68 vs. 0.84).
  • En 0.5B, el adaptador supera ligeramente al prompting de dos disparos en precisión (0.27 vs. 0.20), pero queda rezagado en recuperación.
• Cumplimiento de Formato: El adaptador es sustancialmente más cumplidor con el formato. En 1.5B, el 96.7% de las predicciones del adaptador contienen campos estructurados completos, comparado con el 30.0% del prompting de esquema. Esto sugiere que una parte significativa de la diferencia de puntuación se debe a la adherencia sintáctica más que a la calidad de la selección semántica.
• Precisión del Siguiente Paso: La precisión del siguiente paso autorregresivo es baja, particularmente en modelos pequeños (0.08 en 0.5B, 0.06 en 1.5B, 0.29 en 7B).
• Estabilidad: La varianza del entrenamiento es no despreciable. Los intervalos de remuestreo de casos para la precisión relativa a la línea de base más fuerte cruzan el cero en 1.5B y 7B, lo que indica que las ganancias observadas no son estadísticamente robustas en todos los casos.
• Diagnóstico de Transferencia: Una prueba separada en tres "crackmes" públicos mostró que, si bien el concepto del contrato acción-técnica-verificación puede reutilizarse (con normalización post-hoc), la tasa de contrato exacta fue baja (0.133), y el adaptador no fue evaluado en este escenario de transferencia.

Significado y Reivindicaciones

Los autores enmarcan explícitamente este trabajo como una prueba de concepto controlada, no como evidencia de un sistema de descomposición fiable e independiente o de una ventaja general del adaptador.

• Contribución: El artículo proporciona una formulación para la descomposición de conjuntos de candidatos, un conjunto de datos con control de fuga (SatSec) y un paquete de reproducibilidad que incluye las generaciones puras y herramientas de auditoría.
• Limitaciones del Alcance: El estudio aísla el front-end de la descomposición. No evalúa la recuperación (ya que se usan conjuntos oráculo), la verificación semántica de las verificaciones, ni la generalización a nuevas técnicas sin reentrenamiento.
• Conclusiones Modestas:
  • Los resultados muestran una compensación entre precisión y recuperación en lugar de una mejora universal.
  • Las ganancias de rendimiento observadas están parcialmente confundidas por el aprendizaje de formato (el adaptador aprende a emitir JSON estructurado mejor que las líneas de base).
  • El pequeño corpus y la división disjunta por caso caracterizan estos 24 casos específicos, pero no estiman el rendimiento sobre una población más amplia.
  • La baja precisión del siguiente paso indica que el sistema aún no está listo para la planificación autónoma de largo horizonte.

El artículo concluye que el artefacto sirve como un punto de partida auditable para probar la selección de candidatos de forma separada de la recuperación y la verificación. Hace un llamado a trabajos futuros que involucren revisión semántica comunitaria, conjuntos de prueba externos genuinamente no tocados, integración de recuperación realista y perfilado en el dispositivo antes de que se pueda hacer cualquier afirmación de fiabilidad o preparación para el despliegue.