기술 요약: TRUSS – 과업 신뢰성 및 사용자 안전성을 갖춘 자동화된 에이전트 스킬 생성

1. 문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 가상 계획 단계에서 실세계 과업의 직접 실행 단계로 점진적으로 전환되고 있습니다. 특수하거나 프로세스 중심적인 시나리오를 처리하기 위해, 개발자들은 자연어 지침, 도메인 지식, 실행 가능한 리소스를 포함하는 재사용 가능한 패키지인 "에이전트 스킬(Agent Skills)"을 활용합니다. 자동화된 스킬 생성은 모델의 적응 없이도 에이전트의 성능을 향적으로 개선할 가능성을 제시하지만, 현재의 접근 방식은 중대한 격차에 직면해 있습니다. 즉, 현재 방식들은 주로 정적 아티팩트 검사나 최종 과업 결과만을 기준으로 후보군을 평가합니다.

이러한 정적 평가는 다음과 같은 두 가지 근본적인 문제를 해결하지 못합니다:

1. 기능적 모호성(Functional Ambiguity): 장착된 에이전트가 구체적으로 어떤 행동을 수행할지, 혹은 해당 스킬이 기본 에이전트에 비해 과업 성능을 효과적으로 개선하는지 판단할 수 없습니다.
2. 안전 사각지대(Safety Blind Spots): 동적 실행 중에만 발생하는 부작용이나 보안 취약점을 감지할 수 없습니다. 현재의 시스템은 설치된 스킬에 최소한의 검토만 거친 채 로컬 사용자 권한을 전적으로 부여하는 경우가 많기 때문에, 부적절한 스킬은 권한 상승이나 데이터 유출과 같은 심각한 위험을 초래할 수 있습니다.

기존의 생성 파이프라인은 지시문 텍스트에 대한 정적 분석에 의존하기 때문에, 동적 실행 시나리오에서만 나타나는 상태 의존적 동작 및 행동 구성을 놓치게 되며, 이로 인해 기능적 유효성과 안전 신뢰성 사이의 최적의 절충점을 찾는 데 어려움을 겪습니다.

2. 방법론

저자들은 기능적으로 효과적이고 안전하게 신뢰할 수 있는 스킬을 생성하기 위해, 정적 검사와 동적 실행 검증을 통합하는 증거 기반 프레임십인 TRUSS(Task-Reliable and User-Safe Skill Generation)를 제안합니다.

2.1 프레임워크 개요

TRUSS는 생성기(Generator), 검사기(Checker), **정제기(Refiner)**라는 세 가지 구성 요소 간의 반복적인 협업으로 작동합니다.

1. 생성기(Generator): 소스 코퍼스로부터 후보 스킬 패키지(지침 + 실행 가능한 리소스)를 구축합니다. 이는 과업 조건부(특정 목표 과업이 있는 경우)와 과업 불가지론적(사전 결정된 하위 과업 없이 소스 자료로부터 유도됨)의 두 가지 모드를 지원합니다.
2. 검사기(Checker): 두 단계 과정을 통해 후보를 평가합니다.
   • 정적 검사(Static Inspection): 실행 전 스킬 아티팩트를 조사합니다. 이는 증거 기반 기능 검사(소스/도메인 증거에 대한 주장 검증)와 사전 정의된 안전 속성 검사(9가지 특정 안전 속성에 대한 체크)를 수행합니다.
   • 런타임 실행(Runtime Execution): 승인된 후보는 제어 가능한 실행 환경(CEE) 내에서 "섀도우 에이전트"에 의해 로드됩니다. CEE는 브로커링된 도구를 사용하여 정책 집행에 따라 행동을 노출하며, 결과는 출처 보존형 실행 추적(provenance-preserving execution traces)으로 기록됩니다.
3. 정제기(Refiner): 검사기에서 발생한 미해결 의무 사항과 위반 증거를 사용하여 후보를 수정합니다. 정제 사이클은 스킬이 모든 기능 및 안전 검사를 통과하거나 수정 예산이 소진될 때까지 계속됩니다.

2.2 핵심 기술 구성 요소

• 9가지 안전 속성: 프레-워크는 9가지 속성(예: 제어 무결성, 액세스 경계, 실행 무결성, 라이프사이클 격리, 리소스 제한, 증거 무결성, 권한 무결성, 구성 무결성, 트랜잭션 안전)의 계약을 바탕으로 스킬을 평가합니다. 이들은 정적으로 검증 가능한지, 동적으로 검증 가능한지, 혹은 둘 다 가능한지에 따라 분류됩니다.
• 제어 가능한 실행 환경(CEE): 에이전트가 브로커링된 함수와만 상호작용하는 샌드박스 환경입니다. 여기에는 일회용 샌드박스 내에서 실행을 허용하기 전, 적용 가능한 안전 속성에 대해 모든 요청된 행동을 평가하는 **중간 차단기(Intermediate Breaker)**가 포함되어 있습니다.
• 증거 기반 정제(Evidence-Guided Refinement): 시스템은 기능적 실패와 속성 위반을 책임 있는 스킬 콘텐츠와 직접 연결합니다. 이 증거는 반복적인 정제 과정을 안내하여, 단순히 텍은 수정하는 것이 아니라 구체적인 행동 실패를 해결하도록 보장합니다.

2.3 공식 목적 함수

스킬 생성 목적은 $J$개의 속성에 대해 평균 안전 위험($R$)을 최소화하면서 기능적 유효성($F$)을 최대화하는 것으로 정의됩니다:
$$S_k^* = \arg \max_{S_k \in S_G} \left[ F(S_k; p) - \lambda \sum_{j=1}^{J} R_j(S_k; p) \right]$$
여기서 $\lambda$는 안전 위험의 영향력을 조절하며, $F$는 빈 스킬 조건 대비 효용 이득을 나타냅니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 경험적 통찰: 정적 스킬 스크리닝이 상당수의 런타임 취약점을 감지하는 데 실패함을 보여주는 경험적 연구를 통해, 아티팩트 수준의 체크를 실행 인지 검증으로 보완해야 할 필요성을 입증했습니다.
2. TRUSS 프레임워크: 스킬이 로드되고 실행될 때 유도되는 행동을 분석함으로써 단순한 정적 검사를 넘어선 자동화된 생성 및 정제 프레임워크를 개발했습니다. 이는 단일 루프 내에서 정적 및 동적 검증을 통합합니다.
3. 포괄적 평가: 3개의 에이전트와 2개의 모델(GPT-5.5 및 GPT-5.4)에 걸친 엄격한 평가를 통해, 런타임 증거가 정적 검사에서 남겨진 탐지 오류를 해결하고, 기존의 성공적인 과업 행동을 유지하면서도 공격 성공률을 실질적으로 감소시키는 수정을 가이드함을 보여주었습니다.

4. 실험 결과

저자들은 세 가지 벤치마크(SkillInject(168개 아티팩트), SkillSafetyBench(155개 케이스), SkillGenBench(187개 과업))를 사용하여 TRUSS를 평가했습니다.

• 취약점 탐지 (RQ1): 84개의 매칭된 SkillInject 쌍(168개 아티팩트)에 대해, TRUSS는 취약점 탐지에서 **100.00%의 정밀도(Precision)와 재현율(Recall)**을 달성했습니다. 이는 중간 단계의 LLM 검사기(F1 26.69%)와 단독 정적 검사기(F1 87.36%)를 크게 상회하는 수치로, 실행 증거가 정적 분석이 놓친 사례를 해결함을 입증했습니다.
• 스킬 정제 (RQ2): SkillSafetyBench에서 취약한 스킬을 수리한 결과, 공격 성공률(ASR)이 GPT-5.5의 경우 38.71%에서 19.35%로, GPT-5.4의 경우 46.45%에서 29.68%로 감소했습니다. 결정적으로, 공격 회귀(Attack Regression)가 발생하지 않았으며(기존에 안전했던 스킬이 불안전해지지 않음), 프레임워크는 과업 완수 능력을 유지했습니다.
• 자동 스킬 생성 (RQみ): SkillGenBench에서 TRUSS는 과업 유효성을 '스킬 없음' 상태의 **17.11%**에서 **52.94%**로 높였으며, 이는 베이스라인 대비 35.83%포인트 향상된 수치입니다. 동시에 벤치마크 보안율(Security rate)을 **50.80%에서 100.00%**로 끌어올렸습니다. 이는 본 프레임워크가 매우 효과적이면서도 완전히 안전한 스킬을 생성할 수 있음을 보여줍니다.

5. 의의 및 주장

본 논문은 실행 증거가 아티팩트 검사가 놓치는 행동적 실패를 드러내는 데 필수적임을 입증한다고 주장합니다. 하이브리드 정적-동적 검증 프로세스를 통해 기능적 및 안전한 결과를 연결함으로써, TRUSS는 스킬 생성이 공동으로 검증된 결과로 나아가도록 가이드합니다.

저자들은 본 접근 방식이 제3자 스킬이 심각한 위험을 초래할 수 있는 에이전트 생태계의 핵심적인 보안 격차를 해결한다고 강조합니다. 결과에 따르면, 과업 성능을 저해하지 않으면서도 공격 성공률을 낮추고 안전 경계를 엄격히 준수하는 스킬을 자동으로 구축하는 것이 가능합니다. 이 프레임워크는 모든 수정 작업이 구체적인 증거에 의해 동기 부여되는 추적 가능한 승인 프로세스를 제공하여, 최종 스킬 저장소에 엄격한 기능 및 안전 검증을 통과한 후보들만 포함되도록 보장합니다.