Technische Samenvatting: Safactory – Een Schaalbare Agentische Infrastructuur voor het Trainen van Betrouwbare Autonome Intelligentie

1. Probleemstelling

Naarmate grote taalmodellen (LLM's) overgaan van conversatieassistenten naar autonome agenten, zijn veiligheidsrisico's geëvolueerd van statische, single-turn outputs. Het artikel identificeert dat agentrisico's progressief accumuleren via besluitvormingsketens met een lange horizon die perceptie, planning, tool-uitvoering en interactie met de omgeving omvatten. Deze risico's manifesteren zich als misbruik van tools, drift in toestand, verlies van controle over processen en cascaderende fouten, die moeilijk te detecteren zijn via traditionele statische benchmarks.

De auteurs betogen dat de bestaande agentische infrastructuur gefragmenteerd is over drie fundamentele dimensies, wat een continue gesloten lus voor veiligheidsverbetering verhindert:

1. Beperkingen in Evaluatie: Huidige systemen vertrouwen op statische, single-turn adversarial voorbeelden of vaste taaksets. Ze falen in het vastleggen van risico's die voortkomen uit multi-stap toolgebruik, dynamische omgevingsstaten en besluitvormingsvertakkingen met een lange horizon.
2. Beperkingen in Data: Trajecten, beloningssignalen en falingscontexten worden vaak beschouwd als vluchtige bijproducten (opgeslagen in het geheugen of tijdelijke bestanden) in plaats van gestructureerde, controleerbare data-assets. Dit belemmert cross-task retrieval, hergebruik en systematische feedback in modeloptimalisatie.
3. Beperkingen in Evolutie: Training, evaluatie en implementatie blijven ontkoppeld. Problemen die tijdens evaluatie worden geïdentificeerd, worden niet direct omgezet in trainingsstalen, en reinforcement learning (RL)-kaders missen vaak de orkestratie om complexe, asynchrone, multi-omgeving trainingslussen met controle op trajectveroudering te ondersteunen.

2. Methodologie: Het Safactory-kader

Safactory wordt voorgesteld als een schaalbare, geünificeerde infrastructuur die de lus sluit tussen risicodetectie, dataaccumulatie en capaciteitsreparatie. Het integreert drie nauw gekoppelde platformen:

A. Parallelle Simulatieplatform

Dit platform adresseert de efficiëntie- en dekkingsebeperkingen van agentevaluatie.

• Architectuur: Het maakt gebruik van een mechanisme van "voorverwarming – gepoolde planning – asynchrone persistentie". Sandbox-omgevingen worden voorverwarmd en een ActorPool beheert gelijktijdige agentinstanties om cold-start-latentie te elimineren.
• Terugloop Sandbox: Een versiebeheersysteem (vergelijkbaar met Git) stelt agenten in staat om tijdens uitvoering terug te keren naar "veiligheidankerpunten" (checkpoints). Dit maakt vertakkingsgebaseerde exploratie rondom hoog-risico knooppunten mogelijk zonder de hele taak te herstarten, wat systematische blootstelling van faalmodi in multi-pad besluitvormingsbomen faciliteert.
• Ondersteuning: Het ondersteunt diverse omgevingen, waaronder QA, OS (Ubuntu-desktop), Android, Embodied (RoboTrust, ALFRED) en Tool-use (OpenClaw) scenario's via een unificatie interactieprotocol.
• Injectie van Aanvallen: Het ondersteunt dynamische injectie van red-team-aanvallen en perturbaties tijdens uitvoering om robuustheidsgrenzen te testen.

B. Betrouwbaar Dataplatform

Dit platform transformeert ruwe interactielogs naar gestructureerde, hoogwaardige data-assets.

• DataElf-engine: Een intent-gedreven intelligente uitvoeringsengine die complexe datataakken (reinigen, scoren, auditeren) orchestreert via natuurlijke taal. Het opereert binnen geïsoleerde sandboxes om te waarborgen dat data "bruikbaar maar onzichtbaar" is (privacybehoudend).
• Toolset: Bevat gespecialiseerde tools voor:
  • Data-waardebeoordeling: Gebruikt een compositieve scorestrategie (DataElf) die meerdere metrics (bijv. IFD, DEITA, PPL) fuseert om diverse, hoogwaardige subsets te selecteren.
  • Wetenschappelijke dataverwerking: Verwerkt domeinspecifieke data (bio-informatica, EEG, chemie) via gestandaardiseerde operatoren.
  • Veiligheidsauditing: Een plugbare architectuur met 23 checkers (regelgebaseerd, LLM-as-a-Judge, modelgebaseerd, heuristisch) om 13 risicotypen te detecteren, inclusief backdoors, jailbreaks en feitelijke inconsistenties.
  • Trajectanalyse: Distilleert interacties op stap-niveau naar herbruikbare "vaardigheids"-eenheden voor ervaringsinjectie.
• Opslag: Gebaseerd op een serverless LanceDB-architectuur voor PB-schaal, multi-modale data lakehouse-capaciteiten met getierde caching voor laag-latentie retrieval.

C. Autonome Evolutieplatform

Dit platform orchestreert de continue verbetering van agentbeleid.

• Asynchroon RL-systeem: Ontkoppelt het rollout (sampling) en trainingsproces. Een Buffer Server beheert trajectdata, terwijl een Bridge-module asynchrone controle en een unificatie inferentie-ingang afhandelt.
• Trajecttransformatie: Zet ruwe interactielogs om naar trainbare stalen via semantische uitlijning, masking en packing, om dataconsistentie te waarborgen.
• On-Policy Distillatie (OPD): Een optionele plugin die beleid distilleert van een teacher-model naar het student-model tijdens asynchrone rollouts. Het gebruikt token-level log-probabiliteiten en reverse-KL regularisatie om training te stabiliseren en verspreidingsverschuivingen veroorzaakt door beleidsvertraging te mitigeren.
• Verouderingscontrole: Implementeert een "trajectveroudering"-mechanisme om stalen te filteren op basis van het verschieverschil tussen het genererende beleid en het huidige trainingsbeleid, waarbij gebruik van on-policy en off-policy data in evenwicht wordt gebracht.

D. DeepLink-berekeningstechnologie

Om grootschalige binnenlandse implementatie te ondersteunen, maakt Safactory gebruik van DeepLink voor:

• Grootschalige gepoolde inferentie op heterogene hardware (bijv. Ascend Atlas).
• Gedistribueerde hiërarchische dataopslag voor PB-schaal risicodata.
• Binnenlandse heterogene trainingsgereedschapsketens geoptimaliseerd voor Kunpeng-chips en Linux-containers, wat het geheugengebruik vermindert en de parallelle schaal vergroot.

3. Belangrijkste Bijdragen

1. Geünificeerde Evolutiepijplijn: Safactory wordt gepresenteerd als het eerste kader dat een geünificeerde pijplijn voor next-generation betrouwbare autonome intelligentie voorstelt, waarbij evaluatie, datamanagement en model-evolutie worden geïntegreerd in een enkele gesloten lus.
2. Schaalbare Parallelle Simulatie: Introduceert een terugloop-sandboxmechanisme en voorverwarmde omgevingen-pools om hoog-concurrente, multi-pad veiligheidsevaluatie in uitvoerbare omgevingen (OS, Android, Embodied) mogelijk te maken.
3. Intent-gedreven Data-engine: Stelt DataElf voor, wat datadiensten verplaatst van statische pijplijnen naar autonome, intent-gedreven continue evolutie, capable om nieuwe tools af te leiden en data te auditeren op veiligheidsrisico's.
4. Asynchrone RL-Orkestratie: Demonstreert een systeemarchitectuur die rollout en training effectief ontkoppelt, gebruikmakend van trajectverouderingscontrole en on-policy distillatie om complexe agenttrainingsscenario's te hanteren.
5. SATraj-datasets: Het kader genereert en open-sourcet hoogwaardige trajectdatasets (bijv. SATraj-OS) die GUI-interactietrajecten bevatten voor zowel capaciteits- als veiligheidstraining.

4. Experimentele Resultaten

Het artikel rapporteert experimenten over meerdere benchmarks en omgevingen:

• Veiligheidsevaluatie (QA, OS, Android, Embodied, OpenClaw):
  • In QA Gym toonden leidende modellen hoge veiligheidspercentages (bijv. Claude Opus 4.6 op 90,0%), maar aanzienlijke gaten bleven bestaan en geen enkel model bereikte absolute veiligheid.
  • In OS Gym werd een trade-off waargenomen: modellen met agressieve strategieën behaalden hogere taakvoltooiing maar lagere veiligheid, terwijl veiligere modellen lagere voltooiingspercentages hadden.
  • In Android Gym toonden capaciteit en veiligheid een positieve correlatie, wat suggereert dat sterkere interfacebegrip veiligheid helpt.
  • In Embodied Gym clusterden modellen in een regio met lage voltooiing en lage veiligheid, wat wijst op een gezamenlijke bottleneck in perceptie, planning en uitvoering.
  • In OpenClaw vertaalde hoge taakvoltooiing zich niet naar hoge veiligheid, wat de noodzaak van monitoring tijdens uitvoering benadrukt.
• Data-waardebeoordeling: Fine-tuning van Qwen2.5-7B op een subset van 9.000 stalen geselecteerd door de DataElf-scoreder bereikte een gemiddelde benchmarkscore van 98,7, wat significant beter presteerde dan single-axis scoreders (bijv. Ask LLM daalde naar 14,5) en de full-data baseline (18,1).
• Veiligheidsauditing: Het DataElf-audittool bereikte een gemiddelde recall van 80,46% over 13 risicotypen, wat aanzienlijk beter presteerde dan gespecialiseerde veiligheidsmodellen (bijv. LLaMA-Guard, WildGuard) en algemene kaders zoals DeepEval (48,62%), met name op datapoisoning-risico's zoals label-flipping en backdoors.
• Ervaringsinjectie: Het injecteren van gedistilleerde vaardigheden uit het trajectanalyse-tool in het kimi-k2.5-model verhoogde zijn veiligheidspercentage op RiOSWorld van 32,17% naar 71,08% zonder modelparameters te wijzigen.
• RL-trainingsefficiëntie: In vergelijking met slime-native genereerde Safactory's asynchrone architectuur 2,49x meer trajecten per stap (1277,78 vs. 512) door idleren aan de inferentiezijde te elimineren, terwijl vergelijkbare trainsnelheden werden behouden.

5. Betekenis en Claims

Het artikel claimt dat Safactory het paradigma van agentveiligheid verschuift van een "eenmalige check" naar een continue infrastructuurcapaciteit.

• Systeemvisie: De primaire bijdrage is niet een enkel algoritme of benchmark, maar een systeemvisie waarbij risicodetectie, data-depositie, capaciteitsreparatie en her-validatie zijn ontworpen als een continu proces.
• Overbruggen van Gaten: Het beoogt de langdurige kloof tussen evaluatie, data en training te overbruggen, en biedt een praktische basis voor het bouwen van veiligere agenten in OS-, mobiele en embodied omgevingen.
• Bescheidenheid: De auteurs erkennen dat Safactory een "startpunt is in plaats van een voltooide oplossing". Zij wijzen op resterende uitdagingen, waaronder de noodzaak om omgevingsdekking uit te breiden naar hoog-risico domeinen, metrics te verbeteren voor het beoordelen van veiligheid met een lange horizon, en asynchrone sampling en verspreidingsverschuivingen in training beter te hanteren.

Het werk wordt gepositioneerd als een fundamentele infrastructuur om de cyclus "risico's ontdekken door uitvoering, bewijs consolideren door data, reparaties voltooien door evolutie en effectiviteit verifiëren door heruitvoering" mogelijk te maken.