기술 요약: Safactory – 신뢰할 수 있는 자율 지능 훈련을 위한 확장 가능한 에이전트 인프라

1. 문제 제기

대규모 언어 모델 (LLM) 이 대화형 조수에서 자율 에이전트로 전환됨에 따라, 안전 위험은 정적이며 단일 턴의 출력 너머로 진화했습니다. 해당 논문은 에이전트 위험이 지각, 계획, 도구 호출, 환경 상호작용을 포함하는 장기 의사결정 체인을 통해 점진적으로 누적된다고 지적합니다. 이러한 위험은 도구 오용, 상태 편차, 과정의 통제 상실, 연쇄적 오류로 나타나며, 기존의 정적 벤치마크를 통해 탐지하기 어렵습니다.

저자들은 기존 에이전트 인프라가 안전 개선을 위한 지속적인 폐쇄 루프를 방해하는 세 가지 근본적 차원에서 단편화되어 있다고 주장합니다:

1. 평가의 한계: 현재 시스템은 정적이며 단일 턴의 적대적 예시나 고정된 작업 집합에 의존합니다. 다단계 도구 사용, 동적 환경 상태, 장기 의사결정 분기에서 발생하는 위험을 포착하지 못합니다.
2. 데이터의 한계: 궤적, 보상 신호, 실패 맥락은 종종 메모리나 임시 파일에 저장되는 일회성 부산물로 취급되며, 구조화되고 감사 가능한 데이터 자산으로 다루어지지 않습니다. 이는 작업 간 검색, 재사용, 그리고 모델 최적화를 위한 체계적인 피드백을 저해합니다.
3. 진화의 한계: 훈련, 평가, 배포는 여전히 단절되어 있습니다. 평가 과정에서 식별된 문제는 즉시 훈련 샘플로 전환되지 않으며, 강화학습 (RL) 프레임워크는 종종 궤적 노후화 (staleness) 제어가 포함된 복잡하고 비동기적이며 다중 환경 훈련 루프를 지원할 수 있는 오케스트레이션이 부족합니다.

2. 방법론: Safactory 프레임워크

Safactory 는 위험 발견, 데이터 축적, 그리고 능력 복원 사이의 루프를 닫기 위해 설계된 확장 가능한 통합 인프라로 제안됩니다. 이는 세 가지 긴밀하게 결합된 플랫폼을 통합합니다:

A. 병렬 시뮬레이션 플랫폼

이 플랫폼은 에이전트 평가의 효율성과 커버리지 병목 현상을 해결합니다.

• 아키텍처: "사전 워밍—풀링 스케줄링—비동기 지속성" 메커니즘을 활용합니다. 샌드박스 환경이 사전 워밍되며, ActorPool 이 동시 에이전트 인스턴스를 관리하여 콜드 스타트 지연을 제거합니다.
• 백트래킹 샌드박스: 버전 관리 시스템 (Git 과 유사) 은 에이전트가 실행 중 "안전 앵커 포인트 (체크포인트)"로 되돌릴 수 있게 합니다. 이는 전체 작업을 재시작하지 않고도 고위험 노드 주변에서 분기 기반 탐색을 가능하게 하여 다중 경로 의사결정 트리에서 실패 모드를 체계적으로 노출시킵니다.
• 지원: 통합 상호작용 프로토콜을 통해 QA, OS(Ubuntu 데스크톱), Android, Embodied(RoboTrust, ALFRED), 그리고 도구 사용 (OpenClaw) 시나리오를 포함한 다양한 환경을 지원합니다.
• 공격 주입: 실행 중 레드팀 공격 및 교란을 동적으로 주입하여 견고성 경계를 테스트할 수 있습니다.

B. 신뢰할 수 있는 데이터 플랫폼

이 플랫폼은 원시 상호작용 로그를 구조화되고 고가치인 데이터 자산으로 변환합니다.

• DataElf 엔진: 자연어를 통해 복잡한 데이터 작업 (정제, 점수 매기기, 감사) 을 오케스트레이션하는 의도 기반 지능형 실행 엔진입니다. 데이터가 "사용 가능하지만 보이지 않는"(개인정보 보호) 상태가 되도록 격리된 샌드박스 내에서 작동합니다.
• 도구 세트: 다음을 위한 전문 도구를 포함합니다:
  • 데이터 가치 평가: IFD, DEITA, PPL 등 여러 지표를 융합하는 복합 점수 전략 (DataElf) 을 사용하여 다양하고 고품질의 하위 집합을 선택합니다.
  • 과학적 데이터 처리: 표준화된 연산자를 통해 바이오인포매틱스, EEG, 화학 등 도메인별 데이터를 처리합니다.
  • 보안 감사: 백도어, 저어브레이크, 사실적 불일치를 포함한 13 가지 위험 유형을 탐지하기 위한 23 개의 체커 (규칙 기반, LLM-as-a-Judge, 모델 기반, 휴리스틱) 가 포함된 플러그인 아키텍처입니다.
  • 궤적 분석: 단계별 상호작용을 경험 주입을 위한 재사용 가능한 "스킬" 단위로 정제합니다.
• 저장소: 저지연 검색을 위한 계층적 캐싱을 갖춘 PB 규모의 멀티모달 데이터 레이크하우스 기능을 제공하는 서버리스 LanceDB 아키텍처를 기반으로 구축되었습니다.

C. 자율 진화 플랫폼

이 플랫폼은 에이전트 정책의 지속적인 개선을 오케스트레이션합니다.

• 비동기 RL 시스템: 롤아웃 (샘플링) 과 훈련 과정을 분리합니다. Buffer Server 가 궤적 데이터를 관리하고, Bridge 모듈이 비동기 제어 및 통합 추론 진입을 처리합니다.
• 궤적 변환: 시맨틱 정렬, 마스킹, 패킹을 통해 원시 상호작용 로그를 훈련 가능한 샘플로 변환하여 데이터 일관성을 보장합니다.
• 온-정책 증류 (OPD): 비동기 롤아웃 중 교사 모델에서 학생 모델로 정책을 증류하는 선택적 플러그인입니다. 토큰 수준의 로그 확률과 역 KL 정규화를 사용하여 훈련을 안정화하고 정책 지연으로 인한 분포 변화를 완화합니다.
• 노후화 제어: 생성 정책과 현재 훈련 정책 간의 버전 차이를 기반으로 샘플을 필터링하는 "궤적 노후화" 메커니즘을 구현하여 온-정책 및 오프-정책 데이터 사용의 균형을 맞춥니다.

D. DeepLink 컴퓨팅 기술

대규모 국내 배포를 지원하기 위해 Safactory 는 DeepLink 를 다음과 같이 활용합니다:

• 이종 하드웨어 (예: Ascend Atlas) 에 대한 대규모 풀링 추론.
• PB 규모 위험 데이터를 위한 분산 계층적 데이터 저장.
• 쿵펑 칩과 리눅스 컨테이너에 최적화된 국내 이종 훈련 도구 체인으로, 메모리 사용량을 줄이고 병렬 규모를 증가시킵니다.

3. 주요 기여

1. 통합 진화 파이프라인: Safactory 는 평가, 데이터 관리, 모델 진화를 단일 폐쇄 루프로 통합하는 차세대 신뢰할 수 있는 자율 지능을 위한 통합 파이프라인을 제안하는 최초의 프레임워크로 제시됩니다.
2. 확장 가능한 병렬 시뮬레이션: 실행 가능한 환경 (OS, Android, Embodied) 에서 고동시성, 다중 경로 안전 평가를 가능하게 하는 백트래킹 샌드박스 메커니즘과 사전 워밍된 환경 풀을 도입합니다.
3. 의도 기반 데이터 엔진: DataElf 를 제안하여 데이터 서비스를 정적 파이프라인에서 자율적이고 의도 기반의 지속적 진화로 전환하며, 새로운 도구를 유도하고 안전 위험을 위해 데이터를 감사할 수 있습니다.
4. 비동기 RL 오케스트레이션: 궤적 노후화 제어와 온-정책 증류를 활용하여 복잡한 에이전트 훈련 시나리오를 처리하는 롤아웃과 훈련을 효과적으로 분리하는 시스템 아키텍처를 시연합니다.
5. SATraj 데이터셋: 이 프레임워크는 능력 및 안전 훈련을 위한 GUI 상호작용 궤적을 포함하는 고품질 궤적 데이터셋 (예: SATraj-OS) 을 생성하고 오픈소스화합니다.

4. 실험 결과

이 논문은 여러 벤치마크와 환경에 걸친 실험을 보고합니다:

• 안전 평가 (QA, OS, Android, Embodied, OpenClaw):
  • QA Gym에서 선도적인 모델들은 높은 안전률 (예: Claude Opus 4.6 의 90.0%) 을 보였으나, 상당한 격차가 남아 있었고 어떤 모델도 절대적인 안전을 달성하지 못했습니다.
  • OS Gym에서는 트레이드오프가 관찰되었습니다: 공격적인 전략을 가진 모델들은 높은 작업 완료율을 보였으나 안전성은 낮았고, 더 안전한 모델들은 더 낮은 완료율을 보였습니다.
  • Android Gym에서는 능력과 안전이 양의 상관관계를 보였으며, 이는 더 강력한 인터페이스 이해가 안전을 돕는다는 것을 시사합니다.
  • Embodied Gym에서 모델들은 낮은 완료율/낮은 안전성 영역에 군집되어 지각, 계획, 실행의 공동 병목 현상을 나타냈습니다.
  • OpenClaw에서는 높은 작업 완료율이 높은 안전성으로 이어지지 않았으며, 실행 시간 모니터링의 필요성을 강조했습니다.
• 데이터 가치 평가: DataElf 점수판에 의해 선택된 9,000 개 샘플 하위 집합으로 Qwen2.5-7B 를 파인튜닝한 결과, 평균 벤치마크 점수가 98.7로 단일 축 점수판 (예: Ask LLM 은 14.5 로 하락) 과 전체 데이터 베이스라인 (18.1) 보다 현저히 우수했습니다.
• 보안 감사: DataElf 감사 도구는 13 가지 위험 유형에 걸쳐 평균 재현율 **80.46%**를 달성하여, 라벨 뒤집기 및 백도어와 같은 데이터 중독 위험에 특히 두드러지게 전문 안전 모델 (예: LLaMA-Guard, WildGuard) 과 DeepEval(48.62%) 과 같은 일반 프레임워크를 크게 능가했습니다.
• 경험 주입: 궤적 분석 도구에서 증류된 스킬을 kimi-k2.5 모델에 주입한 결과, 모델 파라미터를 수정하지 않고 RiOSWorld 에서의 안전률이 **32.17% 에서 71.08%**로 증가했습니다.
• RL 훈련 효율성: slime-native와 비교하여 Safactory 의 비동기 아키텍처는 추론 측의 유휴 상태를 제거함으로써 단계당 2.49 배 더 많은 궤적(1277.78 대 512) 을 생성하면서도 유사한 훈련 속도를 유지했습니다.

5. 중요성 및 주장

이 논문은 Safactory 가 에이전트 안전의 패러다임을 "일회성 점검"에서 지속적인 인프라 능력으로 전환한다고 주장합니다.

• 시스템 관점: 주요 기여는 단일 알고리즘이나 벤치마크가 아니라, 위험 발견, 데이터 축적, 능력 복원, 그리고 재검증이 지속적인 과정으로 설계된 시스템 관점입니다.
• 격차 해소: 평가, 데이터, 훈련 사이의 오랜 격차를 해소하여 OS, 모바일, 그리고 신체화된 환경에서 더 안전한 에이전트를 구축하기 위한 실용적인 기반을 제공합니다.
• 겸손함: 저자들은 Safactory 가 "완성된 솔루션이 아닌 시작점"이라고 인정합니다. 고위험 영역으로 환경 커버리지를 확장하고, 장기 안전을 판단하는 지표를 개선하며, 훈련 중 비동기 샘플링과 분포 변화를 더 잘 처리해야 한다는 남은 과제를 지적합니다.

이 작업은 "실행을 통한 위험 발견, 데이터를 통한 증거 확립, 진화를 통한 복구 완료, 그리고 재실행을 통한 효과 검증" 사이클을 가능하게 하는 기반 인프라로 위치합니다.