unix-ctf: Procedural Environments for Unix-Competence Reinforcement Learning

Resumen Técnico: unix-ctf

Enunciado del Problema
Las pruebas de referencia actuales de terminal para evaluar agentes de modelos de lenguaje (LM) confunden dos capacidades distintas: la programación general realizada mediante una terminal y la competencia genuina en Unix. Los autores argumentan que las pruebas existentes (por ejemplo, Terminal-Bench 2.0, InterCode, Cybench) están fuertemente sesgadas hacia la "codificación en una terminal", donde un solucionador fluido en Python pero débil en los internos del sistema operativo puede tener éxito escribiendo scripts que envuelven herramientas estándar. Por el contrario, la "competencia en Unix" se define como la capacidad de utilizar primitivas del sistema operativo, del shell o de formatos de archivo que no tienen un análogo limpio en la programación de propósito general (por ejemplo, acceder a atributos extendidos POSIX, analizar secciones de notas ELF o interpretar tiempos de modificación de archivos anteriores a la época). El artículo postula que esta distinción está actualmente oscurecida, lo que conduce a pipelines de entrenamiento que mejoran la competencia en programación sin necesariamente mejorar la fluidez en Unix.

Metodología
Para aislar y entrenar la competencia en Unix, los autores desarrollaron unix-ctf, un generador de entornos procedimentales para tareas de captura de bandera (CTF). El sistema opera a través de un pipeline de múltiples etapas:

1. Pipeline de Cosecha: El sistema genera tareas alternando entre la exploración con modelos de vanguardia (usando Claude Opus para ocultar las banderas) y la verificación mecánica.

   • Contrato Bidireccional: Para garantizar la validez de las tareas, el pipeline impone un contrato estricto: el script de "siembra" no debe dejar ningún rastro en texto plano de la bandera en el disco, y el script de "recuperación" debe recuperar la bandera con éxito en un directorio nuevo.
   • Factorización del Pipeline: A diferencia de enfoques anteriores (por ejemplo, Endless Terminals) que piden a los LM generar contenedores Docker completos, unix-ctf separa la infraestructura. Una imagen ctf-base predepurada maneja la capa del sistema, mientras que al LM se le restringe la generación de scripts plant.sh y recovery.sh parametrizados. Esta elección arquitectónica aumenta significativamente el rendimiento de variantes portátiles y reutilizables.
   • Canonización: Los scripts generados sufren deduplicación (usando difflib.SequenceMatcher con un umbral de similitud de 0.85) para producir una biblioteca canónica de técnicas.

2. Generación del Entorno:

   • El generador instancia contenedores Docker frescos basados en la biblioteca canónica.
   • Estrategia de Múltiples Banderas: Para abordar las señales de recompensa escasas en el aprendizaje por refuerzo (RL), cada contenedor se siembra con ocho banderas distintas usando diferentes técnicas, en lugar de un único resultado binario.
   • Programación de Pool Adherente: Se mantiene un pool de 50 técnicas durante el entrenamiento. Después de cada lote, las 15 mejores técnicas (por tasa de resolución) se rotan hacia afuera para asegurar que el agente encuentre una distribución amplia de habilidades, evitando el sobreajuste a familias específicas.

3. Protocolo de Entrenamiento:

   • Los autores ajustaron finamente Qwen3-8B utilizando Optimización de Política Relativa de Grupo (GRPO) con adaptadores LoRA.
   • Se probaron dos estrategias de inicialización: GRPO directo desde el modelo base y GRPO desde un modelo que pasó por una breve pasada de ajuste fino supervisado (SFT) sobre trayectorias de solucionadores exitosos para alinear los formatos de llamadas a herramientas.
   • El entrenamiento involucró 40 lotes, rotando el pool de técnicas para exponer al modelo a diversas características de Unix (metadatos de archivos, formatos binarios, IPC, criptografía, etc.).

Contribuciones Clave

1. Generador Procedimental de Alto Rendimiento: El pipeline logra una tasa de portabilidad del 87.5% (656 variantes válidas de 750 intentos brutos), una mejora de cinco veces sobre una reproducción del enfoque Endless Terminals (17.5%). Esto se atribuye a la separación de la infraestructura de la lógica y al contrato bidireccional.
2. Biblioteca Canónica de Técnicas: El proceso produce una biblioteca de 155 identificadores de técnicas distintos que abarcan 16 familias (por ejemplo, metadatos del sistema de archivos, internos de ELF, extensiones X.509, control de procesos). Estas técnicas apuntan específicamente a características del sistema operativo sin análogo directo en Python.
3. Demostración de Separabilidad y Entrenabilidad: El artículo proporciona evidencia empírica de que la competencia en Unix es una habilidad separable que puede entrenarse independientemente de la programación general. El ajuste fino sobre la superficie de unix-ctf mejoró significativamente el rendimiento en tareas de retención y redistribuyó las capacidades del modelo en pruebas de referencia externas.

Resultados

• Rendimiento en Retención: En un conjunto de retención multi-familiar de 15 habilidades ($n=225$), la tasa de resolución aumentó del 11.6% (Qwen3-8B Base) al 43.6% (GRPO con inicialización SFT), representando una mejora de 3.8×.
• Transferencia a InterCode-CTF: El entrenamiento en unix-ctf redistribuyó el rendimiento del modelo en la prueba de referencia externa InterCode-CTF (100 tareas). Mientras que la puntuación agregada se mantuvo estable, la categoría Forense vio una ganancia de 33 puntos porcentuales (de 7% a 40% con GRPO de inicialización base), y la Ingeniería Inversa también mejoró. Esto sugiere que la superficie de entrenamiento mejora específicamente las habilidades relevantes para el análisis forense y los internos del sistema operativo.
• Eficiencia: La variante inicializada con SFT utilizó el presupuesto de 18 turnos de manera más eficiente (12.7 turnos medios frente a 17.2 para la base), indicando un mejor reconocimiento de tareas.
• Divergencia entre Recompensa y Transferencia: Los autores observaron una divergencia donde la variante inicializada con SFT logró recompensas de entrenamiento más altas pero una transferencia menor a InterCode-CTF en comparación con la variante inicializada desde la base, advirtiendo contra el uso de la recompensa de entrenamiento como único proxy para la capacidad posterior.

Significado y Afirmaciones
El artículo afirma que la competencia en Unix es separable, entrenable y mejor evaluada directamente en lugar de ser integrada en tareas generales de programación a través de un shell. Al aislar el componente "Unix" de la interacción con la terminal, los autores demuestran que la generación procedimental puede apuntar eficazmente a características del sistema operativo subrepresentadas (como metadatos de sistemas de archivos y formatos binarios) que las pruebas de referencia actuales pasan por alto. El trabajo sugiere que los pipelines de entrenamiento deberían apuntar explícitamente a estas primitivas específicas del sistema operativo para mejorar el rendimiento de los agentes en contextos de seguridad y administración de sistemas, en lugar de depender de pruebas de referencia de terminal generales que pueden medir principalmente la fluidez en programación.

Los autores permanecen modestos respecto al alcance, señalando que la biblioteca depende de los LM para la generación (potencialmente perdiendo técnicas subrepresentadas) y está actualmente limitada a tareas de estilo CTF, las cuales no cubren la totalidad de la administración de Unix. Publican detalles metodológicos para la reproducción pero retienen la biblioteca completa de artefactos para evitar reducir las barreras para la formación en seguridad ofensiva.