Resumo Técnico: Safactory – Uma Infraestrutura Agente Escalável para Treinamento de Inteligência Autônoma Confiável

1. Declaração do Problema

À medida que os modelos de linguagem de grande escala (LLMs) transitam de assistentes conversacionais para agentes autônomos, os riscos de segurança evoluíram além de saídas estáticas de turno único. O artigo identifica que os riscos dos agentes acumulam-se progressivamente através de cadeias de decisão de longo horizonte envolvendo percepção, planejamento, invocação de ferramentas e interação com o ambiente. Esses riscos manifestam-se como mau uso de ferramentas, deriva de estado, perda de controle do processo e erros em cascata, que são difíceis de detectar por meio de benchmarks estáticos tradicionais.

Os autores argumentam que a infraestrutura agente existente está fragmentada em três dimensões fundamentais, impedindo um ciclo fechado contínuo para melhoria de segurança:

1. Limitações de Avaliação: Os sistemas atuais dependem de exemplos adversariais estáticos de turno único ou conjuntos de tarefas fixos. Eles falham em capturar riscos emergentes do uso de ferramentas em múltiplos passos, estados ambientais dinâmicos e ramificações de decisão de longo horizonte.
2. Limitações de Dados: Trajetórias, sinais de recompensa e contextos de falha são frequentemente tratados como subprodutos efêmeros (armazenados em memória ou arquivos temporários) em vez de ativos de dados estruturados e auditáveis. Isso dificulta a recuperação, reutilização e feedback sistemático entre tarefas na otimização do modelo.
3. Limitações de Evolução: Treinamento, avaliação e implantação permanecem desconectados. Questões identificadas durante a avaliação não são convertidas prontamente em amostras de treinamento, e os frameworks de aprendizado por reforço (RL) frequentemente carecem de orquestração para suportar loops de treinamento complexos, assíncronos e multi-ambiente com controle de obsolescência de trajetória.

2. Metodologia: O Framework Safactory

O Safactory é proposto como uma infraestrutura unificada e escalável projetada para fechar o ciclo entre descoberta de riscos, acumulação de dados e reparo de capacidades. Ele integra três plataformas acopladas:

A. Plataforma de Simulação Paralela

Esta plataforma aborda os gargalos de eficiência e cobertura da avaliação de agentes.

• Arquitetura: Utiliza um mecanismo de "pré-aquecimento—agendamento em pool—persistência assíncrona". Ambientes sandbox são pré-aquecidos, e um ActorPool gerencia instâncias de agentes concorrentes para eliminar a latência de inicialização fria.
• Sandbox de Retrocesso: Um sistema de gerenciamento de versão (semelhante ao Git) permite que agentes retornem a "pontos de ancoragem de segurança" (checkpoints) durante a execução. Isso permite exploração baseada em ramificações ao redor de nós de alto risco sem reiniciar toda a tarefa, facilitando a exposição sistemática de modos de falha em árvores de decisão de múltiplos caminhos.
• Suporte: Suporta ambientes diversos, incluindo QA, OS (desktop Ubuntu), Android, Embodied (RoboTrust, ALFRED) e Uso de Ferramentas (OpenClaw) através de um protocolo de interação unificado.
• Injeção de Ataques: Suporta injeção dinâmica de ataques de red-team e perturbações durante a execução para testar limites de robustez.

B. Plataforma de Dados Confiáveis

Esta plataforma transforma logs brutos de interação em ativos de dados estruturados e de alto valor.

• Motor DataElf: Um motor de execução inteligente orientado a intenções que orquestra tarefas complexas de dados (limpeza, pontuação, auditoria) via linguagem natural. Opera dentro de sandboxes isoladas para garantir que os dados sejam "utilizáveis, mas invisíveis" (preservação de privacidade).
• Conjunto de Ferramentas: Inclui ferramentas especializadas para:
  • Avaliação de Valor de Dados: Utiliza uma estratégia de pontuação composta (DataElf) fundindo múltiplas métricas (ex: IFD, DEITA, PPL) para selecionar subconjuntos diversos e de alta qualidade.
  • Processamento de Dados Científicos: Lida com dados específicos de domínio (bioinformática, EEG, química) através de operadores padronizados.
  • Auditoria de Segurança: Uma arquitetura plugável com 23 verificadores (baseados em regras, LLM como Juiz, baseados em modelo, heurísticos) para detectar 13 tipos de risco, incluindo backdoors, jailbreaks e inconsistências factuais.
  • Análise de Trajetória: Destila interações em nível de passo em unidades reutilizáveis de "habilidade" para injeção de experiência.
• Armazenamento: Construído sobre uma arquitetura serverless LanceDB para capacidades de data lakehouse multimodal em escala de PB com cache em camadas para recuperação de baixa latência.

C. Plataforma de Evolução Autônoma

Esta plataforma orquestra a melhoria contínua das políticas de agentes.

• Sistema RL Assíncrono: Desacopla os processos de rollout (amostragem) e treinamento. Um Buffer Server gerencia dados de trajetória, enquanto um módulo Bridge lida com controle assíncrono e entrada unificada de inferência.
• Transformação de Trajetória: Converte logs brutos de interação em amostras treináveis através de alinhamento semântico, mascaramento e empacotamento, garantindo consistência de dados.
• Destilação On-Policy (OPD): Um plugin opcional que destila políticas de um modelo professor para o modelo estudante durante rollouts assíncronos. Utiliza log-probabilidades em nível de token e regularização reverse-KL para estabilizar o treinamento e mitigar deslocamentos de distribuição causados pelo atraso da política.
• Controle de Obsolescência: Implementa um mecanismo de "obsolescência de trajetória" para filtrar amostras com base na diferença de versão entre a política geradora e a política de treinamento atual, equilibrando o uso de dados on-policy e off-policy.

D. Tecnologia de Computação DeepLink

Para suportar implantação doméstica em grande escala, o Safactory aproveita o DeepLink para:

• Inferência em pool em grande escala em hardware heterogêneo (ex: Ascend Atlas).
• Armazenamento de dados hierárquico distribuído para dados de risco em escala de PB.
• Cadeias de ferramentas de treinamento heterogêneas domésticas otimizadas para chips Kunpeng e contêineres Linux, reduzindo o uso de memória e aumentando a escala paralela.

3. Principais Contribuições

1. Pipeline Evolutivo Unificado: O Safactory é apresentado como o primeiro framework a propor um pipeline unificado para a próxima geração de inteligência autônoma confiável, integrando avaliação, gerenciamento de dados e evolução do modelo em um único ciclo fechado.
2. Simulação Paralela Escalável: Introduz um mecanismo de sandbox de retrocesso e pools de ambiente pré-aquecidos para permitir avaliação de segurança de alta concorrência e multi-caminho em ambientes executáveis (OS, Android, Embodied).
3. Motor de Dados Orientado a Intenções: Propõe o DataElf, que move os serviços de dados de pipelines estáticos para evolução contínua autônoma e orientada a intenções, capaz de derivar novas ferramentas e auditar dados quanto a riscos de segurança.
4. Orquestração RL Assíncrona: Demonstra uma arquitetura de sistema que desacopla efetivamente rollout e treinamento, utilizando controle de obsolescência de trajetória e destilação on-policy para lidar com cenários complexos de treinamento de agentes.
5. Conjuntos de Dados SATraj: O framework gera e disponibiliza como código aberto conjuntos de dados de trajetória de alta qualidade (ex: SATraj-OS) contendo trajetórias de interação com GUI para treinamento de capacidades e segurança.

4. Resultados Experimentais

O artigo relata experimentos em múltiplos benchmarks e ambientes:

• Avaliação de Segurança (QA, OS, Android, Embodied, OpenClaw):
  • No QA Gym, modelos líderes mostraram altas taxas de segurança (ex: Claude Opus 4.6 em 90,0%), mas lacunas significativas permaneceram, e nenhum modelo alcançou segurança absoluta.
  • No OS Gym, observou-se uma compensação: modelos com estratégias agressivas alcançaram maior conclusão de tarefas, mas menor segurança, enquanto modelos mais seguros tiveram taxas de conclusão mais baixas.
  • No Android Gym, capacidade e segurança mostraram correlação positiva, sugerindo que um entendimento mais forte da interface auxilia na segurança.
  • No Embodied Gym, os modelos agruparam-se em uma região de baixa conclusão/baixa segurança, indicando um gargalo conjunto em percepção, planejamento e execução.
  • No OpenClaw, alta conclusão de tarefas não se traduziu em alta segurança, destacando a necessidade de monitoramento durante a execução.
• Avaliação de Valor de Dados: O ajuste fino do Qwen2.5-7B em um subconjunto de 9.000 amostras selecionado pelo pontuador DataElf alcançou uma pontuação média de benchmark de 98,7, superando significativamente pontuadores de eixo único (ex: Ask LLM caiu para 14,5) e a linha de base de dados completos (18,1).
• Auditoria de Segurança: A ferramenta de auditoria DataElf alcançou um recall médio de 80,46% em 13 tipos de risco, superando substancialmente modelos de segurança especializados (ex: LLaMA-Guard, WildGuard) e frameworks gerais como DeepEval (48,62%), particularmente em riscos de envenenamento de dados como inversão de rótulos e backdoors.
• Injeção de Experiência: A injeção de habilidades destiladas da ferramenta de análise de trajetória no modelo kimi-k2.5 aumentou sua taxa de segurança no RiOSWorld de 32,17% para 71,08% sem modificar parâmetros do modelo.
• Eficiência de Treinamento RL: Comparado ao slime-native, a arquitetura assíncrona do Safactory gerou 2,49x mais trajetórias por passo (1277,78 vs. 512) ao eliminar ociosidade no lado da inferência, mantendo velocidades de treinamento semelhantes.

5. Significado e Alegações

O artigo alega que o Safactory muda o paradigma da segurança de agentes de uma "verificação única" para uma capacidade de infraestrutura contínua.

• Visão de Sistema: A contribuição principal não é um único algoritmo ou benchmark, mas uma visão de sistema onde descoberta de riscos, deposição de dados, reparo de capacidades e revalidação são projetados como um processo contínuo.
• Preenchendo Lacunas: Visa preencher a lacuna de longa data entre avaliação, dados e treinamento, fornecendo uma base prática para construir agentes mais seguros em ambientes de OS, móvel e corporificado.
• Modéstia: Os autores reconhecem que o Safactory é um "ponto de partida, não uma solução final". Eles notam desafios remanescentes, incluindo a necessidade de expandir a cobertura de ambientes para domínios de alto risco, melhorar métricas para julgar segurança de longo horizonte e lidar melhor com amostragem assíncrona e deslocamentos de distribuição no treinamento.

O trabalho é posicionado como uma infraestrutura fundamental para habilitar o ciclo de "descobrir riscos através da execução, consolidar evidências através de dados, completar reparos através de evolução e verificar eficácia através de reexecução".