💻 computer science

unix-ctf: Procedural Environments for Unix-Competence Reinforcement Learning

Dit artikel introduceert **unix-ctf**, een procedurale omgeving die 656 verschillende shell-gebaseerde capture-the-flag-taken genereert om Unix-competentie te isoleren en te trainen, en toont aan dat het fijnafstemmen van een taalmodel op dit oppervlak zijn vermogen om besturingssysteemprimitieven onafhankelijk van algemene programmeervaardigheden te gebruiken, aanzienlijk verbetert.

Oorspronkelijke auteurs: Geoffrey Bradway, Roger Creus Castanyer, Lorenz Wolf, Maxwill Lin, Matthew James Sargent, Augustine N. Mavor-Parker

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Geoffrey Bradway, Roger Creus Castanyer, Lorenz Wolf, Maxwill Lin, Matthew James Sargent, Augustine N. Mavor-Parker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Twee Verschillende Vaardigheden

Stel je voor dat je een robot leert werken in een druk kantoor. Er zijn twee heel verschillende vaardigheden bij betrokken:

De "Programmeur"-vaardigheid: De robot moet een complex rapport schrijven, een wiskundig probleem oplossen of een klein apparaat bouwen. Dit kan hij doen met een standaardtaal (zoals Python) en gebruikt de kantoorterminal gewoon als een eenvoudige typemachine om de code in te tikken.
De "Conciërge/Manager"-vaardigheid (Unix-competentie): De robot moet weten waar de verborgen sleutels liggen, hoe hij een specifiek type vergrendelde lade opent, of hoe hij een geheim bericht leest dat met onzichtbare inkt op een archiefkast is geschreven. Dit vereist kennis van de specifieke regels van het gebouw zelf, niet alleen van het schrijven van een rapport.

Het Probleem: Huidige tests voor AI-robots mengen deze twee vaardigheden door elkaar. Een robot die een genie is als programmeur maar niets weet van de geheime regels van het gebouw, kan de test nog steeds halen. De auteurs betogen dat we een manier nodig hebben om alleen de "Conciërge/Manager"-vaardigheid te testen: het vermogen om de ingebouwde hulpmiddelen van het besturingssysteem te gebruiken om dingen te vinden die niet voor het grijpen liggen.

De Oplossing: Een "Schatzoektocht"-generator

De auteurs hebben een systeem gebouwd dat unix-ctf heet. Denk hierbij aan een geautomatiseerde fabriek die Schatzoektochten maakt voor AI-robots.

Het Doel: Een geheim token (een "vlag" zoals flag{abc123}) verstoppen in een digitale kamer (een Linux-container).
De Twist: De vlag staat niet zomaar in een tekstbestand. Hij is verborgen met een specifiek, lastig kenmerk van het besturingssysteem van de computer.
- Voorbeeld: De vlag verstoppen in de "uitgebreide attributen" van een bestand (zoals een geheime brief die op de achterkant van een foto is geplakt, die je niet ziet tenzij je precies weet hoe je moet zoeken).
- Voorbeeld: De vlag verstoppen in de metadata van een muziekbestand of een specifiek deel van de code van een programma.
De Taak van de Robot: De robot moet de kamer verkennen, uitzoeken welke truc is gebruikt, en het juiste commando gebruiken om de vlag te vinden.

Hoe Ze Het Bouwden (De Fabriek)

Het handmatig maken van deze puzzels is moeilijk. De auteurs gebruikten een slimme pijplijn om ze automatisch te bouwen:

De Architect (LLM): Ze vroegen een krachtige AI om ideeën te bedenken voor het verstoppen van de vlag (bijvoorbeeld: "Verstop het in een bestand dat is gemaakt voor het jaar 1970").
De Inspecteur (Mechanische Checks): Voordat de puzzel wordt opgeslagen, controleert een robot-inspecteur twee dingen:
- De "Geen Valsspelen"-regel: Is de vlag zo goed verborgen dat een simpele zoekopdracht hem niet vindt?
- De "Herstel"-regel: Als je begint met een schone kamer, kan het herstelscript de vlag dan daadwerkelijk vinden?
Het Resultaat: Ze begonnen met 750 ideeën. Omdat hun "Inspecteur" zo streng was, haalden 656 ervan het. Dit is een succescijfer van 87,5%.
- Vergelijking: Toen ze probeerden een vergelijkbaar project van andere onderzoekers na te bootsen, werkten slechts 17,5% van de puzzels. De methode van de auteurs is veel beter in het maken van betrouwbare puzzels.

Ze eindigden met 155 unieke soorten trucs (zoals verstoppen in bestandsnamen, verborgen systeemlogboeken of speciale code-secties).

Het Trainen van de Robot

De auteurs namen een standaard AI-model (Qwen3-8B) en trainden het met deze schatzoektochten.

De Training: Ze lieten de robot niet alleen het antwoord zien. Ze lieten de robot proberen, falen en leren van de feedback (Versterkend Leren).
Het Resultaat:
- Voor de training loste de robot ongeveer 11,6% van de nieuwe puzzels op.
- Na de training loste hij 43,6% op.
- Dit bewijst dat de robot de specifieke "Unix"-vaardigheden daadwerkelijk leerde, en niet alleen antwoorden uit het hoofd leerde.

Helpt Het Bij Andere Tests?

De auteurs testten of het leren van deze schatzoektochten de robot hielp bij andere bestaande tests (zoals InterCode-CTF, een standaardtest voor beveiligingsvaardigheden).

De Verrassing: De robot werd niet beter in alles. Hij werd niet beter in het schrijven van code.
De Winst: Hij werd veel beter in de specifieke taken die "Unix-competentie" vereisten (zoals Forensiek).
- In de categorie "Forensiek" (het vinden van verborgen aanwijzingen) steeg het succespercentage met 33 procentpunten.
- Dit bevestigt dat de training de robot leerde hoe hij een betere digitale detective kan zijn, specifiek voor het vinden van verborgen dingen in een computersysteem.

Samenvatting

Dit paper introduceert een nieuwe manier om AI te trainen om direct beter te worden in het gebruik van computerbesturingssystemen. In plaats van de AI alleen te leren code te schrijven via een terminal, bouwden ze een gespecialiseerde "sportschool" met verstop-puzzels. Ze bewezen dat:

Je automatisch hoogwaardige, lastige puzzels kunt genereren.
AI deze specifieke "detective-vaardigheden voor besturingssystemen" kan leren.
Deze training de AI aanzienlijk beter maakt in het vinden van verborgen data, een vaardigheid die eerdere trainingsmethoden vaak misten.

Wat ze niet beweerden: Ze beweerden niet dat dit de AI een betere algemene programmeur maakt, noch dat het echte hack-aanvallen of medische problemen oplost. Ze richtten zich strikt op het meten en verbeteren van het vermogen van de AI om te navigeren en dingen te vinden binnen een Unix-computersysteem.

Technische Samenvatting: unix-ctf

Probleemstelling
Huidige terminal-benchmarks voor het evalueren van taalmodel (LM)-agenten vermengen twee verschillende vaardigheden: algemeen programmeren via een terminal en echte Unix-competentie. De auteurs betogen dat bestaande benchmarks (bijv. Terminal-Bench 2.0, InterCode, Cybench) sterk vertekend zijn naar "coderen-in-een-terminal", waarbij een solver die vloeiend is in Python maar zwak in OS-internals kan slagen door scripts te schrijven die standaardtools omhullen. Daarentegen wordt "Unix-competentie" gedefinieerd als het vermogen om OS-, shell- of bestandsformaat-primitieven te gebruiken die geen schoon equivalent hebben in algemeen doelgericht programmeren (bijv. toegang tot POSIX-uitgebreide attributen, het parseren van ELF-note-secties, of het interpreteren van bestandsaanpassingstijden voor de epoch). Het artikel stelt dat dit onderscheid momenteel wordt vertroebeld, wat leidt tot trainingspijplijnen die programmeervaardigheid verbeteren zonder noodzakelijkerwijs Unix-vlotheid te versterken.

Methodologie
Om Unix-competentie te isoleren en te trainen, ontwikkelden de auteurs unix-ctf, een procedurale omgevinggenerator voor capture-the-flag (CTF)-taken. Het systeem werkt via een meerstapspijplijn:

Oogstpijplijn: Het systeem genereert taken door te wisselen tussen verkenning met frontier-modellen (met behulp van Claude Opus om vlaggen te verbergen) en mechanische verificatie.
- Bidirectioneel Contract: Om de geldigheid van taken te waarborgen, dwingt de pijplijn een strikt contract af: het "plant"-script mag geen platte tekstsporen van de vlag op de schijf achterlaten, en het "herstel"-script moet de vlag succesvol ophalen in een nieuwe map.
- Pijplijn-factoring: In tegenstelling tot eerdere benaderingen (bijv. Endless Terminals) die LLM's vragen om volledige Docker-containers te genereren, scheidt unix-ctf de infrastructuur. Een vooraf gedebugeerde ctf-base-image behandelt de systeemlaag, terwijl de LLM beperkt blijft tot het genereren van geparametriseerde plant.sh- en recovery.sh-scripts. Deze architecturale keuze verhoogt de opbrengst van portable, herbruikbare varianten aanzienlijk.
- Canonisering: gegenereerde scripts ondergaan ontdubbeling (met behulp van difflib.SequenceMatcher bij een gelijkenisdrempel van 0,85) om een canonieke bibliotheek van technieken te produceren.
Omgevinggeneratie:
- De generator instantieert verse Docker-containers op basis van de canonieke bibliotheek.
- Multi-vlagstrategie: Om spaarzame beloningssignalen in versterkingslering (RL) aan te pakken, wordt elke container bezaaid met acht verschillende vlaggen met behulp van verschillende technieken, in plaats van één binair resultaat.
- Sticky Pool-scheduling: Tijdens het trainen wordt een pool van 50 technieken onderhouden. Na elke batch worden de top 15 technieken (op basis van oplospercentage) uitgewisseld om ervoor te zorgen dat de agent een brede verdeling van vaardigheden tegenkomt, waardoor overfitting op specifieke families wordt voorkomen.
Trainingsprotocol:
- De auteurs fine-tuneden Qwen3-8B met Group Relative Policy Optimization (GRPO) met LoRA-adapters.
- Twee initialisatiestrategieën werden getest: directe GRPO vanuit het basismodel en GRPO vanuit een model dat een korte supervised fine-tuning (SFT)-pass onderging op succesvolle solvertrajecten om tool-call-formaten af te stemmen.
- Training omvatte 40 batches, waarbij de techniekpool werd geroteerd om het model bloot te stellen aan diverse Unix-functies (bestandsmetadata, binaire formaten, IPC, crypto, enz.).

Belangrijkste Bijdragen

Hoogopbrengst Procedurale Generator: De pijplijn bereikt een portabiliteitspercentage van 87,5% (656 geldige varianten uit 750 ruwe pogingen), een vijfvoudige verbetering ten opzichte van een reproductie van de Endless Terminals-benadering (17,5%). Dit wordt toegeschreven aan de scheiding van infrastructuur van logica en het bidirectionele contract.
Canonieke Techniekbibliotheek: Het proces levert een bibliotheek op van 155 verschillende techniekidentificatoren die 16 families bestrijken (bijv. bestandsysteemmetadata, ELF-internals, X.509-extensies, procesbesturing). Deze technieken richten zich specifiek op OS-functies zonder direct Python-equivalent.
Demonstratie van Scheidbaarheid en Trainbaarheid: Het artikel levert empirisch bewijs dat Unix-competentie een scheidbare vaardigheid is die onafhankelijk van algemeen programmeren kan worden getraind. Fine-tuning op het unix-ctf-oppervlak verbeterde de prestaties op holdout-taken aanzienlijk en herschikte de capaciteiten van het model op externe benchmarks.

Resultaten

Holdout-prestaties: Op een holdout-set van 15 vaardigheden uit meerdere families ( $n=225$ ) steeg het oplospercentage van 11,6% (Base Qwen3-8B) naar 43,6% (GRPO met SFT-initialisatie), wat een 3,8× verbetering vertegenwoordigt.
Overdracht naar InterCode-CTF: Training op unix-ctf herschikte de prestaties van het model op de externe InterCode-CTF-benchmark (100 taken). Hoewel de totale score stabiel bleef, zag de categorie Forensics een toename van 33 procentpunten (van 7% naar 40% met base-init GRPO), en ook Reverse Engineering verbeterde. Dit suggereert dat het trainingsoppervlak specifiek vaardigheden verbetert die relevant zijn voor forensische analyse en OS-internals.
Efficiëntie: De SFT-geïnitieerde variant gebruikte het budget van 18 beurten efficiënter (12,7 gemiddelde beurten versus 17,2 voor de base), wat wijst op betere taakherkenning.
Divergentie tussen Beloning en Overdracht: De auteurs observeerden een divergentie waarbij de SFT-geïnitieerde variant hogere trainingsbeloningen behaalde maar lagere overdracht naar InterCode-CTF dan de base-geïnitieerde variant, wat waarschuwt voor het gebruik van trainingsbeloning als enige proxy voor downstream-capaciteit.

Betekenis en Claims
Het artikel beweert dat Unix-competentie scheidbaar, trainbaar en het beste direct wordt geëvalueerd in plaats van te worden opgenomen in algemene programmeren-door-een-shell-taken. Door het "Unix"-component van terminalinteractie te isoleren, tonen de auteurs aan dat procedurale generatie effectief kan richten op ondervertegenwoordigde OS-functies (zoals bestandsmetadata en binaire formaten) die huidige benchmarks missen. Het werk suggereert dat trainingspijplijnen deze specifieke OS-primitieven expliciet moeten targeten om de prestaties van agenten te verbeteren in beveiligings- en systeembeheercontexten, in plaats van te vertrouwen op algemene terminal-benchmarks die voornamelijk programmeervlotheid kunnen meten.

De auteurs blijven bescheiden wat de reikwijdte betreft, en merken op dat de bibliotheek afhankelijk is van LLM's voor generatie (wat mogelijk ondervertegenwoordigde technieken mist) en momenteel beperkt is tot CTF-achtige taken, die niet de volledige breedte van Unix-beheer bestrijken. Ze geven methodologische details vrij voor reproductie, maar houden de volledige artifact-bibliotheek achter om te voorkomen dat de drempels voor offensieve beveiligingstraining verlaagd worden.