기술 요약: Agent Guide – 단순 에이전트 행동 워터마킹 프레임워크

문제 정의

대규모 언어 모델(LLM)에 의해 구동되는 지능형 에이전트가 디지털 생태계, 특히 소셜 미디어 플랫폼에 급격히 배치됨에 따라 추적 가능성과 책임성에 관한 중대한 과제가 발생했습니다. 에이전트는 인간의 상호작용을 시뮬레이션하는 변혁적인 능력을 제공하지만, 악의적인 행위자가 사용자를 사칭하고 허위 정보를 유포하며 여론을 조작하는 데에도 이용될 수 있습니다. 또한, 독점적인 에이전트 시스템은 무단 복제 및 지적 재산권 도난의 위험에 직면해 있습니다.

기존의 워터마킹 기술은 이러한 에이전트 특유의 위협을 해결하기에 불충분합니다. 전통적인 방식은 다음과 같은 두 가지 범주로 나뉩니다:

1. 학습 단계의 수정: 모델 가중치를 변경하는 방식으로, 학습 과정에 접근할 수 없는 사전 학습된 LLM API(예: GPT-4, Deepseek)를 사용하는 에이전트에게는 비현실적입니다.
2. 토큰 수준의 조작: 로짓(logits) 생성 또는 토큰 샘플링 중에 워터마크를 삽입하는 방식입니다. 이러한 접근법은 고수준의 에이전트 행동을 포착하지 못하는데, 그 이유는 행동(예: "북마크하기로 결정함")이 토큰 구조와 선형적으로 일치하지 않기 때문입니다. 하나의 행동 결정은 종종 여러 토큰에 걸쳐 나타나며, 고수준의 의도에서 이산적인 행동으로의 변환 과정에서 상당한 정보 손실이 발생하여 토큰 기반 워터마크를 추출하거나 검증하기 어렵게 만듭니다.

현재 에이전트의 네트워크 행동을 위해 특별히 설계된 워터마킹 기술은 존재하지 않으며, 이는 콘텐츠 기반 추적에서 행동 기반 추적으로의 전환을 필요로 합니다.

방법론: Agent Guide

저자들은 에이전트의 운영을 행동(Behavior)(고수준의 결정, 예: 북마크하기를 선택함)과 액션(Action)(구체적인 실행, 예: 특정 태그와 함께 북마크하기)이라는 두 가지 뚜렷한 수준으로 분리하는 새로운 행동 워터마킹 프레임워크인 Agent Guide를 제안합니다. 이 프레임워크는 특정 액션 출력의 자연스러움을 유지하면서 고수준 행동의 확률 분포를 유도함으로써 워터마크를 삽입합니다.

프레임워크 아키텍처

시스템은 $N$번의 라운드 동안 시뮬레이션된 환경에서 작동하며, 다음 구성 요소를 포함합니다:

1. 메모리 모듈(Memory Module): 에이전트의 페르소나(이름, 나이, 기분, 특성)와 과거의 사건, 행동, 액션에 대한 성찰적 메모리를 저장합니다. 또한 미리 정의된 행동 리스트 $B = \{b_1, b_2, ..., b_m\}$를 유지합니다.
2. 이벤트 생성(Event Generation): LLM이 에이전트의 페르소나와 메모리를 바탕으로 문맥적 이벤트($e_r$)를 생성합니다.
3. 행동 확률 생성(Behavior Probability Generation): LLM은 현재의 이벤트와 메모리가 주어졌을 때 행동 리스트 $B$에 대한 정규화된 확률 분포($P_r$)를 출력합니다.
4. Agent Guide 모듈 (워터마크 삽입): 이것이 핵심 구성 요소입니다. 이 모듈은 확률 분포에 워터마크 유도 편향(bias)을 적용합니다:
   • 선택(Selection): 비밀 키 $k$와 현재 라운드 $r$에 따라, 행동의 부분 집합 $B_g \subseteq B$를 선택합니다.
   • 편향(Biasing): $B_g$에 속한 행동의 확률을 편향 강도 $\gamma$만큼 증가시킵니다: $p'(b_i) = p(b_i) + \gamma \cdot p(b_i)$.
   • 제약 조건(Constraints): 견고성을 보장하기 위해 최소 편향 강도($\gamma_{min}$)와 유도되는 행동의 수($n_{min}$)에 대한 최소 임계값이 적용됩니다.
   • 정규화(Normalization): 분포는 합이 1이 되도록 정규화됩니다.
   • 선택(Selection): 편향된 분포로부터 행동 $b^*$가 무작위로 선택됩니다.
5. 액션 실행(Action Execution): LLM은 선택된 행동 $b^*$에 대응하는 구체적인 액션($a_r$)을 생성하여, 출력이 자연스럽고 문맥에 적절하도록 보장합니다.
6. 메모리 업데이트(Memory Update): 튜플 $(e_r, b^*, a_r)$은 다음 라운드를 위해 성찰적 메모리에 저장됩니다.

워터마크 추출

탐지는 특정 텍text 출력을 검사하는 것이 아니라 통계적 분석에 의존합니다. 검출기는 에이전트의 행동 분포가 유도되었는지 여부를 가설 검정합니다.

• 귀무 가설 ($H_0$): 에이전트는 워터마크가 적용되지 않았습니다; 유도된 부분 집합 $B_g$에서 행동을 선택할 확률은 $p_0 = |B_g|/|B|$입니다.
• 검정 통계량(Test Statistic): $N$번의 라운드 동안 $B_g$ 내에 속하는 행동의 관측 빈도($X$)를 기반으로 z-통계량이 계산됩니다:
  $$z = \frac{X - \mu_0}{\sigma_0}$$
  여기서 $\mu_0 = N \cdot p_0$ 이고 $\sigma_0 = \sqrt{N \cdot p_0 \cdot (1 - p_0)}$ 입니다.
• 결정(Decision): $z$가 임계값 $\tau$(예: $\alpha = 0.05$에 해당하는 값)를 초과하면 $H_0$가 기각되며, 워터마크의 존재가 확인됩니다.

주요 기여

1. 최초의 행동 워터마킹 프레임워크: Agent Guide는 콘텐츠 기반 워터마킹을 넘어 고수준의 결정 패턴에 집중함으로써, AI 에이전트의 네트워크 행동을 직접 겨냥한 최초의 기술입니다.
2. 분리된 삽입 전략: 행동(결정)과 액션(실행)을 분리함으로써, 이 프레임워크는 생성된 액션의 자연스러움을 해치지 않으면서 에이전트의 결정 확률 분포에 탐지 가능한 표식을 성공적으로 삽입합니다.
3. 실용적이고 확장 가능한 솔루션: 이 방법은 사전 학습된 LLM API를 사용하는 에이전트를 위해 설계되어, 모델 재학습이나 가중치 수정이 필요하지 않습니다. 이는 악의적인 에이전트를 식별하고 독점 시스템을 보호하기 위한 실행 가능한 해결책을 제공합니다.
4. 경험적 검증: 프레임워크는 다양한 에이전트 프로필에 대해 낮은 오탐률을 보이며 신뢰할 수 있는 탐지 성능을 입증하는 광범위한 실험을 통해 검증되었습니다.

실험 결과

저자들은 $N=50$ 라운드인 소셜 미디어 시뮬레이션 시나리오에서 Agent Guide를 평가했습니다.

• 설정: 활동성(Active, Inactive)과 기분(Calm, Joyful, Sad)에 따라 변화를 준 6개의 에이전트 프로필을 테스트했습니다. 행동 리스트에는 좋아요(liking), 북마크(bookmarking), 공유(sharing), 댓글(commenting), 브라우징(browsing), 다운로드(downloading)의 6가지 액션이 포함되었습니다.
• 파라미터: 고정된 키($k=2025$), 최소 워터마크 강도($\gamma_{min}=0.5$), 최소 행동 리스트 크기($n_{min}=3$)를 사용했습니다. 탐지 임계값은 $z=2$ ($\alpha=0.05$)로 설정되었습니다.
• 성능:
  • 워터마크가 없는 에이전트: 0에 가까운(0.00 ~ 1.41 사이) z-통계량을 생성하였으며, 결과적으로 "No" 탐지(오경보율 사실상 0)를 나타냈습니다.
  • 워터마크가 있는 에이전트: 일관되게 높은 z-통계량(3.96 ~ 4.81 사이)을 생성하였으며, "Yes" 탐지 결과를 나타냈습니다.
  • 견고성: 이 방법은 모든 성격 유형(Active/Inactive, Calm/Joyful/Sad)에 대해 높은 탐지 효능을 유지하였으며, 워터마크가 있는 에이전트의 평균 z-통계량은 일관되게 4.0을 초과했습니다.

의의 및 주장

본 논문은 Agent Guide가 에이전트 워터마킹을 위한 실용적이고 견고한 솔루션을 제공하며, 현재의 사이버 보안 및 저작권 보호 메커니즘의 중대한 공백을 메운다고 주장합니다. 행동 계층에 집중함으로써, 이 프레임워크는 디지털 생태계에서의 포괄적인 추적 가능성과 책임성을 보장합니다.

저자들은 다음과 같은 이유로 이 접근 방식이 특히 중요하다고 강조합니다:

• 쉽게 변경될 수 있는 콘텐츠 분석에 의존하지 않고도 허위 정보를 퍼뜨리는 악의적인 에이전트를 식별할 수 있게 합니다.
• 행동 패턴에 소유권 마커를 삽려함으로써 독점적인 에이전트 시스템(예: 금융 또는 의료 분야)을 무단 복제로부터 보호합니다.
• 사전 학습된 LLM API를 사용하는 실제 환경에서도 효과적으로 작동하며, 이는 기존의 학습 기반 워터마킹을 불가능하게 만드는 제약 사항입니다.

결론적으로, 본 연구는 행동 워터마킹이 콘텐츠 워터마킹을 보완하는 필수적인 요소이며, 에이전트의 의도와 장기적인 영향에 대해 더 깊은 통찰을 제공한다고 밝히고 있습니다.