Resumen Técnico: Safactory – Una Infraestructura Agéntica Escalable para el Entrenamiento de Inteligencia Autónoma Confiable

1. Declaración del Problema

A medida que los modelos de lenguaje grandes (LLM) transitan de asistentes conversacionales a agentes autónomos, los riesgos de seguridad han evolucionado más allá de las salidas estáticas de un solo turno. El documento identifica que los riesgos de los agentes se acumulan progresivamente a través de cadenas de decisión de largo alcance que involucran percepción, planificación, invocación de herramientas e interacción con el entorno. Estos riesgos se manifiestan como mal uso de herramientas, deriva de estado, pérdida de control del proceso y errores en cascada, los cuales son difíciles de detectar mediante benchmarks estáticos tradicionales.

Los autores argumentan que la infraestructura agéntica existente está fragmentada en tres dimensiones fundamentales, lo que impide un ciclo cerrado continuo para la mejora de la seguridad:

1. Limitaciones de Evaluación: Los sistemas actuales dependen de ejemplos adversarios estáticos de un solo turno o conjuntos de tareas fijos. No logran capturar riesgos que surgen del uso de herramientas en múltiples pasos, estados ambientales dinámicos y ramas de decisión de largo alcance.
2. Limitaciones de Datos: Las trayectorias, señales de recompensa y contextos de fallo a menudo se tratan como subproductos efímeros (almacenados en memoria o archivos temporales) en lugar de activos de datos estructurados y auditables. Esto dificulta la recuperación, reutilización y retroalimentación sistemática entre tareas para la optimización del modelo.
3. Limitaciones de Evolución: El entrenamiento, la evaluación y el despliegue permanecen desconectados. Los problemas identificados durante la evaluación no se convierten rápidamente en muestras de entrenamiento, y los marcos de aprendizaje por refuerzo (RL) a menudo carecen de la orquestación para soportar bucles de entrenamiento complejos, asíincrónicos y multi-entorno con control de obsolescencia de trayectorias.

2. Metodología: El Marco Safactory

Safactory se propone como una infraestructura unificada y escalable diseñada para cerrar el ciclo entre el descubrimiento de riesgos, la acumulación de datos y la reparación de capacidades. Integra tres plataformas estrechamente acopladas:

A. Plataforma de Simulación Paralela

Esta plataforma aborda los cuellos de botella de eficiencia y cobertura en la evaluación de agentes.

• Arquitectura: Utiliza un mecanismo de "pre-calentamiento – programación agrupada – persistencia asíncrona". Los entornos de prueba (sandbox) se pre-calientan y un ActorPool gestiona instancias de agentes concurrentes para eliminar la latencia de inicio en frío.
• Sandbox de Retroceso: Un sistema de gestión de versiones (similar a Git) permite a los agentes retroceder a "puntos de anclaje de seguridad" (puntos de control) durante la ejecución. Esto habilita la exploración basada en ramas alrededor de nodos de alto riesgo sin reiniciar toda la tarea, facilitando la exposición sistemática de modos de fallo en árboles de decisión multi-ruta.
• Soporte: Soporta diversos entornos, incluidos escenarios de QA, SO (escritorio Ubuntu), Android, Encarnado (RoboTrust, ALFRED) y Uso de Herramientas (OpenClaw) mediante un protocolo de interacción unificado.
• Inyección de Ataques: Soporta la inyección dinámica de ataques de equipo rojo y perturbaciones durante la ejecución para probar los límites de robustez.

B. Plataforma de Datos Confiables

Esta plataforma transforma los registros de interacción crudos en activos de datos estructurados y de alto valor.

• Motor DataElf: Un motor de ejecución inteligente impulsado por intenciones que orquesta tareas de datos complejas (limpieza, puntuación, auditoría) mediante lenguaje natural. Opera dentro de sandboxes aislados para garantizar que los datos sean "utilizables pero invisibles" (preservación de la privacidad).
• Conjunto de Herramientas: Incluye herramientas especializadas para:
  • Evaluación del Valor de los Datos: Utiliza una estrategia de puntuación compuesta (DataElf) que fusiona múltiples métricas (por ejemplo, IFD, DEITA, PPL) para seleccionar subconjuntos diversos y de alta calidad.
  • Procesamiento de Datos Científicos: Maneja datos específicos de dominio (bioinformática, EEG, química) mediante operadores estandarizados.
  • Auditoría de Seguridad: Una arquitectura插gable con 23 verificadores (basados en reglas, LLM como juez, basados en modelos, heurísticos) para detectar 13 tipos de riesgos, incluidos puertas traseras, jailbreaks e inconsistencias fácticas.
  • Análisis de Trayectorias: Destila interacciones a nivel de paso en unidades de "habilidad" reutilizables para la inyección de experiencia.
• Almacenamiento: Construido sobre una arquitectura serverless de LanceDB para capacidades de data lakehouse multimodal a escala de PB con almacenamiento en caché escalonado para recuperación de baja latencia.

C. Plataforma de Evolución Autónoma

Esta plataforma orquesta la mejora continua de las políticas de los agentes.

• Sistema RL Asíncrono: Desacopla los procesos de despliegue (muestreo) y entrenamiento. Un Buffer Server gestiona los datos de trayectorias, mientras que un módulo Bridge maneja el control asíncrono y la entrada de inferencia unificada.
• Transformación de Trayectorias: Convierte los registros de interacción crudos en muestras entrenables mediante alineación semántica, enmascaramiento y empaquetado, asegurando la consistencia de los datos.
• Destilación On-Policy (OPD): Un plugin opcional que destila políticas de un modelo maestro a un modelo estudiante durante despliegues asíncronos. Utiliza log-probabilidades a nivel de token y regularización KL inversa para estabilizar el entrenamiento y mitigar los desplazamientos de distribución causados por el retraso de la política.
• Control de Obsolescencia: Implementa un mecanismo de "obsolescencia de trayectoria" para filtrar muestras basándose en la diferencia de versión entre la política generadora y la política de entrenamiento actual, equilibrando el uso de datos on-policy y off-policy.

D. Tecnología de Computación DeepLink

Para soportar el despliegue doméstico a gran escala, Safactory aprovecha DeepLink para:

• Inferencia agrupada a gran escala en hardware heterogéneo (por ejemplo, Ascend Atlas).
• Almacenamiento de datos jerárquico distribuido para datos de riesgo a escala de PB.
• Cadenas de herramientas de entrenamiento heterogéneas domésticas optimizadas para chips Kunpeng y contenedores Linux, reduciendo el uso de memoria y aumentando la escala paralela.

3. Contribuciones Clave

1. Pipeline Evolutivo Unificado: Safactory se presenta como el primer marco que propone un pipeline unificado para la inteligencia autónoma confiable de próxima generación, integrando evaluación, gestión de datos y evolución del modelo en un único ciclo cerrado.
2. Simulación Paralela Escalable: Introduce un mecanismo de sandbox de retroceso y pools de entornos pre-calentados para habilitar la evaluación de seguridad multi-ruta y de alta concurrencia en entornos ejecutables (SO, Android, Encarnado).
3. Motor de Datos Impulsado por Intenciones: Propone DataElf, que traslada los servicios de datos de pipelines estáticos a una evolución continua autónoma e impulsada por intenciones, capaz de derivar nuevas herramientas y auditar datos en busca de riesgos de seguridad.
4. Orquestación RL Asíncrona: Demuestra una arquitectura de sistema que desacopla eficazmente el despliegue y el entrenamiento, utilizando control de obsolescencia de trayectorias y destilación on-policy para manejar escenarios complejos de entrenamiento de agentes.
5. Conjuntos de Datos SATraj: El marco genera y publica como código abierto conjuntos de datos de trayectorias de alta calidad (por ejemplo, SATraj-OS) que contienen trayectorias de interacción GUI tanto para entrenamiento de capacidades como de seguridad.

4. Resultados Experimentales

El documento reporta experimentos en múltiples benchmarks y entornos:

• Evaluación de Seguridad (QA, OS, Android, Encarnado, OpenClaw):
  • En QA Gym, los modelos líderes mostraron altas tasas de seguridad (por ejemplo, Claude Opus 4.6 al 90.0%), pero persistieron brechas significativas y ningún modelo alcanzó seguridad absoluta.
  • En OS Gym, se observó una compensación: los modelos con estrategias agresivas lograron una mayor finalización de tareas pero menor seguridad, mientras que los modelos más seguros tuvieron tasas de finalización más bajas.
  • En Android Gym, la capacidad y la seguridad mostraron una correlación positiva, lo que sugiere que una mejor comprensión de la interfaz ayuda a la seguridad.
  • En Embodied Gym, los modelos se agruparon en una región de baja finalización/baja seguridad, indicando un cuello de botella conjunto en percepción, planificación y ejecución.
  • En OpenClaw, una alta finalización de tareas no se tradujo en alta seguridad, destacando la necesidad de monitoreo durante la ejecución.
• Evaluación del Valor de los Datos: El ajuste fino de Qwen2.5-7B en un subconjunto de 9.000 muestras seleccionado por el puntuador DataElf logró una puntuación promedio en benchmarks de 98.7, superando significativamente a los puntuadores de un solo eje (por ejemplo, Ask LLM bajó a 14.5) y a la línea base de datos completos (18.1).
• Auditoría de Seguridad: La herramienta de auditoría DataElf logró una recuperación promedio del 80.46% en 13 tipos de riesgos, superando sustancialmente a modelos de seguridad especializados (por ejemplo, LLaMA-Guard, WildGuard) y marcos generales como DeepEval (48.62%), particularmente en riesgos de envenenamiento de datos como el volteo de etiquetas y puertas traseras.
• Inyección de Experiencia: Inyectar habilidades destiladas de la herramienta de análisis de trayectorias en el modelo kimi-k2.5 aumentó su tasa de seguridad en RiOSWorld de 32.17% a 71.08% sin modificar los parámetros del modelo.
• Eficiencia del Entrenamiento RL: En comparación con slime-native, la arquitectura asíncrona de Safactory generó 2.49 veces más trayectorias por paso (1277.78 vs. 512) al eliminar la inactividad en el lado de la inferencia, manteniendo velocidades de entrenamiento similares.

5. Significado y Afirmaciones

El documento afirma que Safactory cambia el paradigma de la seguridad de los agentes de una "verificación única" a una capacidad de infraestructura continua.

• Visión del Sistema: La contribución principal no es un algoritmo o benchmark único, sino una visión del sistema donde el descubrimiento de riesgos, la deposición de datos, la reparación de capacidades y la revalidación están diseñados como un proceso continuo.
• Cierre de Brechas: Busca cerrar la brecha de larga data entre evaluación, datos y entrenamiento, proporcionando una base práctica para construir agentes más seguros en entornos de SO, móviles y encarnados.
• Modestia: Los autores reconocen que Safactory es "un punto de partida en lugar de una solución terminada". Señalan desafíos pendientes, incluida la necesidad de expandir la cobertura de entornos a dominios de alto riesgo, mejorar las métricas para juzgar la seguridad de largo alcance y manejar mejor el muestreo asíncrono y los desplazamientos de distribución en el entrenamiento.

El trabajo se posiciona como una infraestructura fundamental para habilitar el ciclo de "descubrir riesgos mediante la ejecución, consolidar evidencia mediante datos, completar reparaciones mediante evolución y verificar la efectividad mediante re-ejecución".