🤖 AI

AgentMark: Utility-Preserving Behavioral Watermarking for Agents

이 논문은 LLM 기반 에이전트의 고수준 계획 행동(도구 및 하위 목표 선택 등)에 유틸리티 저하 없이 다중 비트 식별자를 삽입하여 지식재산권 보호와 출처 추적을 가능하게 하는 블랙박스 대응형 행동 워터마킹 프레임워크인 'AgentMark'를 제안합니다.

원저자: Kaibo Huang, Jin Tan, Yukun Wei, Wanling Li, Zipei Zhang, Hui Tian, Zhongliang Yang, Linna Zhou

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaibo Huang, Jin Tan, Yukun Wei, Wanling Li, Zipei Zhang, Hui Tian, Zhongliang Yang, Linna Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "누가 이 일을 시켰나?" (AI 에이전트의 책임 문제)

요즘 AI는 단순히 채팅만 하는 게 아니라, 스스로 계획을 세워 비행기 표를 예약하거나, 복잡한 코딩을 하고, 심지어 가상 세계에서 사람처럼 생활하기도 합니다. 이를 **'AI 에이전트'**라고 부르죠.

그런데 문제가 생길 수 있습니다. 만약 어떤 AI 에이전트가 사기를 치거나, 잘못된 정보를 퍼뜨리거나, 회사의 기밀 기술을 몰래 복제해서 사용한다면 어떻게 할까요? "이건 우리 회사가 만든 AI가 한 게 아니에요!"라고 발뺌하면 잡기가 매우 어렵습니다.

기존에는 AI가 쓴 **'글자(텍스트)'**에 워터마크를 심어왔지만, 에이전트는 글자만 쓰는 게 아니라 **'행동(계획)'**을 합니다. 예를 들어, "A 도구를 쓰고, 그다음에 B라는 목표를 세워야지"라는 '결정 과정' 자체가 중요하죠. 이 '결정 과정'에는 기존 방식의 워터마크를 심기가 매우 까다로웠습니다.

2. 핵심 아이디어: "춤추는 방식에 숨겨진 암호" (AgentMark)

여기서 AgentMark라는 멋진 아이디어가 등장합니다.

비유를 들어볼까요? 어떤 무용수(AI 에이전트)가 무대 위에서 춤을 춘다고 해봅시다. 이 무용수가 누구인지 증명해야 하는데, 무용수의 옷에 로고를 크게 박으면 무용의 아름다움(AI의 성능)을 해칠 수 있습니다.

AgentMark는 옷에 로고를 새기는 대신, '춤추는 동작의 미세한 패턴'에 암호를 숨깁니다.

기존 방식 (Bias-based): "무조건 오른쪽으로 세 번 점프해!"라고 강요하는 방식입니다. 이러면 무용수가 춤을 망치거나(AI 성능 저하), 원래 추려던 춤의 느낌이 완전히 달라집니다.
AgentMark 방식 (Distribution-preserving): 무용수가 원래 추려던 춤의 흐름(확률 분포)은 전혀 건드리지 않습니다. 대신, 무용수가 "왼쪽으로 갈까, 오른쪽으로 갈까?" 고민하는 그 찰나의 순간에, 원래의 리듬을 깨뜨리지 않는 선에서 아주 미세하게 암호화된 선택을 하도록 유도합니다.

결과적으로 겉으로 보기에는 평소와 똑같이 완벽한 춤을 추는 것 같지만, 나중에 전문가가 그 춤의 스텝을 분석해보면 "아, 이 스텝의 패턴을 보니 이건 'A사'의 무용수구나!"라고 알아낼 수 있는 것이죠.

3. 이 기술의 세 가지 필살기

"성능은 그대로!" (Utility-Preserving): AI가 워터마크 때문에 바보가 되지 않습니다. 원래 하려던 일을 똑같이 똑똑하게 수행하면서도 정체성만 남깁니다.
"일부만 봐도 알아채!" (Robustness): 만약 AI가 일을 하다가 중간에 기록이 끊기거나, 일부 로그(기록)가 삭제되어도 괜찮습니다. 마치 퍼즐 조각 몇 개가 없어도 전체 그림을 유추할 수 있는 특수 코딩 기술(RLNC)을 써서, 남은 기록만으로도 "이건 누구의 AI다"라는 것을 찾아낼 수 있습니다.
"이중 보안 가능!" (Compatibility): AI가 내뱉는 '말(텍스트)'에 찍는 워터마크와, AI가 하는 '행동(계획)'에 찍는 AgentMark를 동시에 사용할 수 있습니다. 말과 행동 모두에서 출처를 확인할 수 있는 강력한 이중 보안이 되는 셈이죠.

4. 요약하자면

AgentMark는 AI 에이전트가 자신의 본래 능력(지능)을 전혀 깎아먹지 않으면서도, 그가 내리는 결정의 패턴 속에 '디지털 지문'을 남기는 기술입니다.

이 기술이 완성되면, AI가 사고를 쳤을 때 "누가, 어떤 시스템을 통해 이 행동을 했는지"를 명확히 밝혀낼 수 있어, 더욱 안전하고 책임감 있는 AI 시대를 만들 수 있습니다.

[기술 요약] AgentMark: 에이전트를 위한 유틸리티 보존형 행동 워터마킹

1. 문제 정의 (Problem Statement)

최근 LLM 기반 에이전트는 자율적으로 복잡한 작업을 수행하며 급격히 확산되고 있으나, 이로 인해 지식재산권(IP) 보호 및 규제 준수를 위한 출처(Provenance) 추적의 필요성이 커지고 있습니다.

기존의 워터마킹 기술은 다음과 같은 한계가 있습니다:

콘텐츠 워터마킹의 한계: 텍스트 출력물에는 효과적이지만, 에이전트가 수행하는 고차원적인 계획 행동(Planning Behavior)(예: 도구 선택, 하위 목표 결정)을 직접 식별하지 못합니다.
계획 계층 워터마킹의 어려움: 계획 단계에서 확률 분포를 강제로 왜곡(Biasing)하면, 긴 실행 과정에서 오차가 누적되어 **작업 실패(Task Failure)나 성능 저하(Utility Degradation)**를 초래합니다.
블랙박스 API 환경: 많은 에이전트가 폐쇄형 API를 사용하므로 모델 가중치를 직접 수정하는 방식은 불가능합니다.

2. 제안 방법론 (Methodology: AgentMark)

본 논문은 에이전트의 성능(Utility)을 유지하면서 계획 결정 과정에 다중 비트 식별자(Multi-bit Identifier)를 삽입하는 AgentMark 프레임워크를 제안합니다.

핵심 메커니즘:

행동-실행 분리 (Behavior-Action Separation): 워터마크를 최종 실행 결과(Action)가 아닌, 무엇을 할지 결정하는 **계획 단계(Planning Layer)**에 삽입합니다.
분포 보존형 샘플링 (Distribution-Preserving Sampling):
- 에이전트로부터 후보 행동들에 대한 확률 분포( $P_t$ )를 명시적으로 추출합니다.
- AgentMark-F 구현체는 '차분 재결합(Differential Recombination)' 방식을 사용하여, 원래의 확률 분포를 수학적으로 동일하게 유지하면서도 특정 비트 정보를 담을 수 있는 '빈(Bin)'을 생성합니다.
- 이를 통해 샘플링된 행동의 주변 확률 분포(Marginal Distribution)가 원래의 정책과 일치하도록 보장하여 작업 성능 저하를 방지합니다.
강건한 복구 (Robustness via RLNC):
- 로그 누락, 단계 삭제(Step Erasure), 경로 절단(Truncation) 등의 상황에서도 식별자를 복구할 수 있도록 **무작위 선형 네트워크 코딩(RLNC)**을 적용합니다.
- 이는 고정된 블록 코딩과 달리, 수집된 데이터의 양이 충분하면(Full-rank 달성 시) 불완전한 로그에서도 식별자를 성공적으로 추출할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

계획 계층 워터마킹 프레임워크 제안: 모델 가중치 수정이나 토큰 레벨 샘플링 조작 없이, 에이전트의 계획 행동에 워터마크를 심는 새로운 패러다임을 제시했습니다.
유틸리티 보존 보장: 수학적 설계를 통해 워터마킹이 에이전트의 작업 성공률(Success Rate)과 효율성에 미치는 영향을 최소화했습니다.
강건한 디코딩 기술: RLNC와 키 기반 의사 난수 생성(Keyed PRG)을 결합하여, 데이터 손실이 발생하는 실제 운영 환경에서도 높은 복구력을 갖춘 AgentMark-F를 구현했습니다.
상호 운용성 확인: 행동 워터마크와 기존의 텍스트 콘텐츠 워터마크(예: SynthID)를 동시에 사용할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

실험은 Embodied(ALFWorld), Tool-use(ToolBench), Social Simulation(OASIS)의 세 가지 환경에서 수행되었습니다.

유틸리티 보존: 기존의 편향 기반(Red-Green) 워터마킹은 작업 성공률을 크게 떨어뜨렸으나, AgentMark는 베이스라인과 거의 유사한 성공률을 유지했습니다.
용량(Capacity): ALFWorld에서 약 1.2~1.3 bps, ToolBench에서 약 0.49 bps의 실용적인 다중 비트 삽입 용량을 보여주었습니다.
강건성(Robustness):
- 삭제 저항성: RLNC를 통해 단계가 삭제되더라도 일정 수준 이상의 데이터만 확보되면 식별자를 정확히 복구했습니다.
- 위조 저항성: 잘못된 키를 사용하거나 워터마크가 없는 경우 오탐률(False Positive Rate)이 지수적으로 감소함을 확인했습니다.
사회적 품질: 사회적 시뮬레이션(OASIS)에서도 에이전트의 페르소나 유지 및 언어 다양성 등 사회적 품질을 저해하지 않으면서 워터마크 검출이 가능했습니다.

5. 의의 (Significance)

AgentMark는 자율 에이전트가 확산되는 시대에 **책임 있는 AI(Responsible AI)**를 구현하기 위한 핵심 기술입니다. 에이전트의 행동을 추적 가능하게 함으로써:

IP 보호: 독점적인 에이전트 시스템의 무단 복제를 방지합니다.
감사 및 규제: 에이전트의 오남용(허위 정보 유포, 조작 등) 발생 시 출처를 명확히 규명할 수 있는 감사 도구를 제공합니다.
실용적 배포: 블랙박스 API 환경에서도 성능 저하 없이 적용 가능한 실용적인 솔루션을 제시했다는 점에서 큰 의의가 있습니다.