기술 요약: TRACE – 2채널 강건한 속성 워터마크 (Two-Channel Robust Attribution Watermark)

1. 문제 정의 및 위협 모델

본 논문은 특정 적대적 환경인 **리셀러 위협 모델(reseller threat model)**에서의 **대규모 언어 모델(LLM) 에이전트에 대한 출처 속성(provenance attribution)**이라는 중대한 과제를 다룹니다.

• 문맥: LLM 에이전트는 에이전트를 재브랜딩하거나 기반 모델을 교체할 수 있는 리셀러를 통해 사용자와 상호작용합니다. 책임이나 사용에 관한 분쟁이 발생할 때, 주요 증거는 모델의 내부 추론이 아니라 궤적 로그(trajectory log)(도구 호출, 관찰 및 실행된 작업의 기록)입니다.
• 공격자: 리셀러는 미터링 및 과금을 위해 로그를 처리해야 하므로 궤적 로그에 대한 전적인 읽기/쓰기 권한을 가집니다. 이들은 증거를 감사하는 주체입니다.
• 공격: 리셀러는 속성을 제거하기 위해 두 가지 구체적인 "세탁(laundering)" 동작을 수행하려고 시도합니다.
  1. 삭제(Deletion): 제공자 식별 기록을 제거하기 위해 로그를 가지치기(단계나 관찰 내용을 누락)합니다.
  2. 재작성(Rewriting): 로그의 구조적 골격(의사결정/관찰 태그의 시퀀스)은 유지하면서, 관찰 내용을 바꾸어 쓰고 도구 이름을 리셀러의 네임스페이스로 변경합니다.
• 기존 방법의 한계: 기존의 에이전트 워터마크(예: Agent Guide, AgentMark)는 콘텐츠 또는 위치 중 하나에 키를 둔 단일 신호에 의존합니다.
  • 콘텐츠 기반 키는 재작성 시 실패합니다(콘텐츠가 변경되기 때문).
  • 위치 기반 키는 삭제 시 실패합니다(시퀀스가 동기화에서 벗어나기 때문).
  • 기존 방식은 증거 자체를 소유한 공격자에게는 강건하지 못합니다.

2. 방법론: TRACE 스킴

저자들은 단일 궤적 위에 두 개의 독립적이고 상호 보완적인 워터마크를 중첩하는 2채널 워터마킹 스킴인 TRACE를 제안합니다. 핵심 설계 원칙은 각 채널이 한 종류의 공격에는 유지되지만 다른 종류의 공격에는 파괴되는 서로 다른 불변량(invariant)을 타겟팅한다는 것입니다.

A. 선택 채널 (Selection Channel, 콘텐츠 기반 키)

• 목표: **삭제(Deletion)**에 대한 강건성 확보.
• 메커니즘:
  • 캐리어(Carrier): 각 결정 지점에서 에이전트에 의해 선택된 특정 행동($b_i$).
  • 키잉(Keying): 이전 행동 이력($A_{i-1}$)의 로컬 콘텐츠와 비밀 키($key_1$)로부터 유도됩니다.
  • 임베딩(Embedding): 왜곡 없는 지수 경주(distortion-free exponential race)(Gumbel-max trick 기반)를 사용합니다. 에이전트는 원래 분포 $P_i$에서 정확하게 샘플링하지만, "경주의 승자"는 키가 지정된 무작위 값에 의해 결정됩니다.
  • 탐지(Detection): 탐지기는 관찰된 궤적과 키를 사용하여 경주를 재실행합니다. 관찰된 행동이 키 지정된 경주의 "승자"인 경우 높은 점수를 생성합니다.
  • 강건성: 키가 콘텐츠에 의외하므로, 관찰 기록을 삭제하면 다음 그룹의 키가 일시적으로 동기화에서 벗어나지만(영향 범위 1개), 탐지기는 즉시 재동기화됩니다.
  • 비용: 신호는 결정의 **샤논 엔트로피(Shannon entropy)**에 의해 제한됩니다. 결정론적 결정(엔트로피 = 0)은 신호를 생성하지 않으며, 고엔트로피 결정은 더 강한 신호를 생성합니다.

B. 탤리 채널 (Tally Channel, 위치 기반 키)

• 목표: **재작성(Rewriting)**에 대한 강건성 확보.
• 메커니즘:
  • 캐리어(Carrier): 결정 그룹 내의 레코드 개수($k_i$, 특히 중복된 관찰 레코드가 추가되었는지 여부).
  • 키잉(Keying): 텍스트 콘텐츠와 무관하게, 엄격하게 궤적의 골격(의사결정/관찰 태그의 시퀀스)과 비밀 키($key_2$)로부터 유도됩니다.
  • 임베딩(Embedding): 키 지정 조건이 충족되는 그룹의 경우, 임베더는 컨텍스트 중립적인 중복 레코드를 추가합니다. 이 레코드는 접두사(prefix)의 결정론적 함수이며, 도구를 호출하지 않고 부수 효과를 일으키지 않아 에이전트의 미래 결정에 영향을 주지 않습니다.
  • 탐지(Detection): 탐지기는 각 그룹의 레코드를 세고 이를 골격에서 유도된 예상 패턴과 비교합니다.
  • 강건성: 재작성 공격은 골격을 보존합니다. 따라서 그룹 경계와 개수는 변하지 않습니다. 탤리 채널은 골격을 보존하는 모든 재작성 공격에 대해 **무조건적으로 불변(unconditionally invariant)**합니다.

C. 결합 탐지 (Joint Detection)

탐지기는 두 채널에 대해 $z$-점수를 계산합니다. 두 채널의 최소 $p$-값이 임계값보다 낮으면 null 가설(궤적에 워터마크가 없다는 가설)을 기각합니다. 두 채널은 null 가설 하에서 독립적이도록 설계되었습니다.

3. 주요 기여

1. 공식적 위협 모델: 본 논문은 리셀러가 증거에 대한 전적인 읽기/쓰기 권한을 갖는 리셀러 위협 모델을 공식화하고, **삭제(Deletion)**와 **재작성(Rewriting)**을 별개의 공격 클래스로 정의했습니다.
2. 2채널 아키텍처: TRACE는 다음과 같은 사항을 동시에 달성하는 최초의 에이전트 워터마크입니다.
   • 왜곡 없는 행동 선택: 에이전트의 분포가 수학적으로 변경되지 않음을 보장합니다.
   • 삭제 시 자기 동기화: 선택 채널은 단일 삭제 후 즉시 복구됩니다.
   • 재작성에 대한 무조건적 불변성: 탤리 채널은 콘텐츠 수정과 관계없이 변하지 않습니다.
3. 이론적 보장:
   • 유틸리티 보존: 워터마크가 에이전트의 행동 분포를 변경하지 않음을 증명했습니다 (정리 5.1).
   • 엔트로피-탐지 가능성 트레이드오프: 신호 강도가 결정의 엔트로피 절반에 의해 하한선이 정해짐을 증명했습니다 (정리 5.2).
   • 결합 삭제 비용: 두 채널을 동시에 삭제하려면 공격자가 골격을 편집(이는 일관성 감사를 유발함)하거나, 궤적의 상당 부분을 손상시켜 서비스 품질을 파괴해야 함을 증명했습니다 (정리 5.4).
4. 새로운 공격 베이스라인: 타당성을 유지하면서 행동을 다른 대안으로 대체하는 정보 기반의 공격인 LLM Rewriter를 도입하여 재작성 강건성에 대한 엄격한 벤치마크를 제공했습니다.

4. 실험 결과

본 스킴은 ToolBench(단기 호라이즌, 태스크당 약 1.4 결정 그룹)와 ALFWorld(장기 호라이즌, 태스크당 약 23-25 결정 단계)에서 평가되었습니다.

• 유틸리티: TRACE는 두 벤치마크 모두에서 워터마크가 없는 에이전트(Base)와 동일한 성공률을 보였습니다. 반면, 편향된 워터마크(Red-Green 베이스라인 등)는 저엔트로피 결정 시 확률 질량 이동으로 인해 성공률이 크게 하락했습니다(ALFWorld에서 최대 8.1 포인트 하락).
• 탐지 능력:
  • 클린 로그: TRACE는 매우 높은 탐지 점수를 달성했습니다 (ALFWorld에서 선택 채널의 $z \approx 100$).
  • 삭제: 선택 채널은 70% 단계 삭제 상황에서도 탐지가 가능합니다 ($z$가 11.34에서 4.06으로 떨어지지만 임계값 이상을 유지).
  • 재작성: 탤리 채널은 100% 재작성 강도에서도 정확히 불변합니다 ($z$가 ~14.34로 일정하게 유지). 반대로, 콘텐츠 기반 베이스라인(RG, AM-F)은 재작성 시 점수가 거의 0 또는 음수로 급락합니다.
  • 결합 공격: 높은 삭제(70%)와 높은 재작성(>60%)이 결합된 "코너 케이스"만이 두 채널을 모두 억제합니다. 이는 리셀러가 이미 서비스의 유용성을 파괴한 시나리오에 해당합니다.

5. 의의 및 주장

본 논문은 TRACE가 경험적 강건성을 넘어 수학적 보장을 통해 리셀러 환경에서의 출처 문제를 해결하는 구조적 솔루션을 제공한다고 주장합니다.

• 책임 소재: 로그를 보유한 엔티티(리셀러)가 공격자인 경우에도 속성 추적을 가능하게 합니다.
• 상보적 불변량: 강건성은 신호를 상보적인 불변량(콘텐츠 vs 골격)으로 분할함으로써 달성될 수 있으며, 이는 어떤 단일 공격 클래스도 제품 자체를 파괴하지 않고서는 워터마크를 파괴할 수 없음을 보장합니다.
• 왜곡 없음: 행동적 워터마킹이 에이전트의 작업 성능을 저하시키지 않고 수행될 수 있음을 입증했습니다. 이는 배포를 위한 필수 요구사항입니다.
• 한계: 저자들은 탐지를 위해 감사 시점에 후보 행동 집합에 대한 접근이 필요하며, 탤리 채널이 도구 호출 대신 로그 볼륨(저장 오버헤드)을 증가시킨다는 점을 언급했습니다. 또한, 리셀러가 제공자의 에이전트를 완전히 버리고 다른 모델로 작업을 다시 실행할 경우 워터마크가 없을 것이나, 그 부재 자체가 허위 표시를 나타낸다고 인정했습니다.

결론적으로, 단일 신호 체계로는 증거를 완전히 통제하는 공격자를 이길 수 없지만, 상보적인 임베딩을 활용한 2채널 접근 방식은 로그 세탁의 비용을 매우 높게 만들어 사실상 불가능하게 만듭니다.