Tracking the Behavioral Trajectories of Adapting Agents

기술 요약: 적응형 에이전트의 행동 궤적 추적

문제 정의
현대적인 AI 에이전트는 스킬 파일, 메모리 파일, 행동 설정 파일(예: SOUL.md)과 같은 텍스트 기반 구성 파일에 크게 의존하여 자신의 능력, 컨텍스트 및 제약 조건을 정의합니다. 이러한 파일들은 동적이며, 인간, 에이전트 또는 외부 프로세스에 의한 편집을 통해 진화합니다. 이러한 진화는 보안 표면을 생성하는데, 최근 메모리 파일에 주입된 악의적인 지침이 세션을 가로질러 에이전트의 행동을 은밀하게 변경한 공격 사례가 이를 입증합니다. 대부분의 파일 업데이트는 무해하지만, 문제는 연속적인 일상적 업데이트 흐름 속에서 드물게 발생하는 비무해한 변화(예: 민감한 데이터를 탐색하려는 경향의 증가)를 신뢰성 있게 탐지하는 데 있습니다. 현재의 평가 패러즘은 인간 매개 관측성이나 자기 보고식 메타데이터에 의존하며, 한 에이전트가 소스 파일의 변화를 바탕으로 다른 에이전트의 행동적 특성을 자율적이고 신뢰성 있게 평가할 수 있는 메커니즘이 결여되어 있습니다.

방법론
저자들은 "에이전트 특성(agent traits)"을 텍스트 임베딩 모델의 임베딩 공간 내 특정 방향으로 정의함으로써 이를 측정하는 방법론을 제안합니다. 핵심 접근 방식은 에이전트의 스킬을 적응형 산출물로 취급하고, 스킬 파일의 "이전(before)" 버전과 "이후(after)" 버전 사이의 의미론적 차이(diff)를 분석하는 것입니다.

1. 특성 벡터 학습 (Trait Vector Learning):

   • 임베딩 (Embedding): 텍스트 파일은 Qwen3-Embedding-8B 모델을 사용하여 임베딩되며 단위 길이로 정규화됩니다.
   • 차이 계산 (Diff Calculation): 정규화된 "이전" 임베딩에서 "이후" 임베딩을 빼서 차이 벡터를 계산합니다. 이 벡터 또한 편집의 크기가 아닌 변화의 방향으로부터 회귀를 학습하도록 정규화됩니다.
   • 회귀 (Regression): 이 차이 벡터를 연속적인 라벨($y \in [-1, 1]$)에 매핑하기 위해 릿지 회귀(Ridge regression) 모델을 적합시킵니다. 여기서 라벨은 특성 변화의 크기와 방향(예: -1은 강력한 데이터 보안, +1은 강력한 데이터 탐색)을 나타냅니다. 결과로 도출된 계수 벡터가 "특성 벡터"가 됩니다.
   • 스코어링 (Scoring): 새로운 편집본은 학습된 특성 벡터에 정규화된 차이 벡터를 투영(projection)하여 점수를 산출합니다.

2. 검증 프레임워크 (Validation Framework):
   본 방법론은 작은 데이터셋에서도 편향되지 않은 예측을 보장하기 위해 PRESS 통계량을 사용하는 폐쇄형 leave-one-out 교차 검증(LOOCV)을 채택합니다. 성능은 다음을 통해 측정됩니다:

   • 부호 정확도 (Sign Accuracy): 모델이 특성 변화의 방향(더 많아지거나 적어지는지)을 올바르게 예측한 편집의 비율.
   • 스피어먼 순위 상관계수 (Spearman Rank Correlation, $\rho$): 편집의 심각도 순위를 매기는 모델의 능력.

3. 에이전트 간 프로토콜 (Agent-to-Agent Protocol):
   에이전트 간의 직접적인 신뢰 없이 평가를 수행하기 위해, 저자들은 신뢰할 수 있는 런타임 서버에 의해 중재되는 프로토콜을 설계했습니다.

   • 역할 (Actors): 요청자(Agent A), 실행자(Agent B), 런타임 서버.
   • 프로세스: Agent A는 서버를 통해 평가를 요청합니다. Agent B는 서버로부터 컨테이너화된 실행 가능한 모델(임베딩 모델)을 전달받아, 자신의 파일 차이에 대해 로컬에서 모델을 실행하고 오직 결과인 차이 벡터만을 서버에 제출합니다. 서버는 이 차이 벡터에 특성 벡터를 적용하여 점수를 계산하고 결과를 Agent A에게 반환합니다.
   • 보안: 이 설계는 에이전트가 순수 HTTP 클라이언트로 동작하게 함으로써(인바운드 엔드포인트 없음) 실행과 스코어링을 분리하고, 실행자가 최종 점수를 조작하는 것을 방지합니다.

주요 기여

1. 특성 벡터 방법론: 에이전트의 스킬 파일 차이에 적용되는, 임베딩 공간 내 선형 방향으로서 에이전트 특성을 측정하는 새로운 접근 방식.
2. 경험적 검증: 68개의 라벨링된 스킬 차이 쌍을 사용하여 "데이터 탐색" 특성에 대한 방법론 검증.
3. 배포 프로토콜: 신뢰할 수 있는 중개자를 통해 한 에이전트가 다른 에이전트의 파일 업데이트를 평가할 수 있게 하여, 단순한 텍스트 평가를 넘어 일반화된 프로토콜 제공.

결과
"민감한 데이터를 탐색하려는 경향"이라는 특성에 대해 LOOCV 하에서 68개의 라벨링된 쌍을 대상으로 평가한 결과:

• 부호 분류 정확도 (Sign Classification Accuracy): 91.2%.
• 스피어먼 순위 상관계수: $\rho = 0.82$.
• 오류 분석: 오분류된 6개의 쌍은 모두 절대적 예측값이 작았으며(평균 $|\hat{y}| = 0.085$), 실제 라벨의 크기도 작았습니다. 이는 모델이 미묘한 변화에 대해 확신이 없었음을 나타내며, 확신을 가지고 틀린 것이 아님을 보여줍니다.
• 베이스라인 비교:
  • YARA 시그니처: 63.2%의 정확도를 기록했으며 14개의 차이(diff)에 대해 규칙을 작동시키지 못했습니다. 제안된 방법은 문맥을 사용하여 보호 조치 내의 "자격 증명(credentials)"과 탈취 지침을 구분함으로써 이를 능가합니다.
  • 프런티어 LLM (GPT-5.4): 100%의 부호 정확도를 달려냈습니다. 저자들은 본 방법론을 프런티어 LLM보다 정확도는 낮지만, 실시간 모니터링에 적합한 결정론적이고 빠르며 감사 가능하고 재현 가능한 스코어링을 제공하는 트레이드오프 관계로 규정합니다.

의의 및 주장
본 논문은 구성 파일을 통해 AI 에이전트의 행동을 모니터링하고 평가하기 위한 기초적인 단계를 제공한다고 주장합니다. 인간의 개입 없이 위험한 특성 변화(예: 데이터 탐색 행동의 증가)를 탐지할 수 있게 함으로써, 본 연구는 배포된 에이전트의 안전성과 신뢰성을 향상시키는 것을 목표로 합니다. 저자들은 본 방법론이 시그니처 기반 규칙보다 개선되었으나, 특정 신뢰 가정(신뢰할 수 있는 임베딩 모델 및 런타임 서버) 하에서 작동함을 명시합니다. 또한 동일한 기술이 이론적으로 회피적인 편집을 설계하는 악의적인 행위자에게 사용될 수 있음을 언급하며, 적대적 강건성(adversarial robustness)을 중요한 향후 연구 과제로 꼽았습니다. 시스템은 Hermes 에이전트를 사용하여 라이브 환경에 성공적으로 배포되었으며, SSH 및 VM 프로비저닝 기능의 추가와 같은 유의미한 특성 차이를 식별하는 실질적인 효용성을 입증했습니다.