기술 요약: 이 에이전트의 소유자는 누구인가? AI 에이전트를 소유자에게 추적하는 방법

1. 문제 정의: 에이전트 귀속 (Attribution)

이 논문은 **에이전트 귀속 (agent attribution)**을 중요한 신흥 보안 격차로 식별하고 형식화합니다. AI 에이전트가 메시지를 전송하고, 웹사이트를 탐색하며, API 를 호출하고, 스크립트를 실행하는 등 자율적으로 행동하도록 점점 더 많이 배포됨에 따라, 해로운 에이전트 상호작용을 이를 배포한 특정 운영자 계정으로 추적할 수 있는 신뢰할 수 있는 기술적 메커니즘은 현재 존재하지 않습니다.

이 책임성 격차는 에이전트 행동의 전 스펙트럼에 걸쳐 존재합니다:

• 의도하지 않은 해악: 선의의 운영자가 잘못된 정지 조건이나 과도한 목표 설정과 같은 오설정된 에이전트를 배포하여 스팸, 서비스 과부하 또는 의도하지 않은 행동을 초래할 수 있습니다.
• 의도적인 해악: 악의적인 운영자가 에이전트를 사기, 괴롭힘, 사이버 침투 또는 허위 정보 선전에 악용할 수 있습니다.

두 경우 모두 피해자는 해로운 행위를 관찰하고, 벤더 (LLM 제공업체) 는 세션 로그를 보유하고 있지만, 관찰된 외부 행동을 책임 있는 벤더 계정으로 연결할 수 있는 주체는 없습니다. 기존 구제 수단이 실패하는 이유는 다음과 같습니다:

• IP 기반 식별은 에이전트가 주소를 회전시키고 프록시를 사용하기 때문에 효과가 없습니다.
• 플랫폼 수준의 조사는 가짜 페르소나와 같은 임시 표면 계정은 식별할 수 있지만, 근본적인 벤더 계정은 식별하지 못합니다.
• **행동 지문 (Behavioral fingerprinting)**은 에이전트의 존재를 감지할 수는 있지만, 수백만 개의 벤더 계정 중 어느 것이 책임 있는지 식별할 수는 없습니다.
• 법적 절차는 특정 세션과 계정을 식별하는 전제 조건이 있어야만 공개를 강제할 수 있는데, 이는 기술적 연결 고리 없이는 현재 불가능합니다.

저자들은 이 문제가 특히 벤더 호스팅 대형 언어 모델 (LLM) 환경에서 실행 가능하다고 주장합니다. 정교한 적대자조차도 추론 능력을 위해 종종 벤더 호스팅 모델 (예: OpenAI, Anthropic 또는 호스팅된 오픈소스 모델) 에 의존합니다. 운영자가 런타임과 래퍼를 제어하더라도, 모델 호출은 벤더를 통과하여 계정 against 로 기록됩니다.

2. 방법론: 카나리 기반 프로토콜

저자들은 피해자의 관찰과 벤더의 로그 사이의 간극을 연결하는 카나리 기반 귀속 프로토콜을 제안합니다. 이 프로토콜에는 에이전트, 운영자, 벤더, 피해자, 그리고 권한 기관 (예: 법 집행 기관 또는 상업적 기관) 의 다섯 가지 주체가 관여합니다.

핵심 메커니즘

1. 주입 (Injection): 권한 있는 기관 ($\mathcal{D}$) 이 에이전트 ($\mathcal{A}$) 가 소비할 가능성이 높은 콘텐츠 스트림에 카나리를 주입합니다.
   • 직접 상호작용: 권한 기관이 (채팅을 통해 등) 에이전트와 직접 상호작용하며 카나리를 주입합니다.
   • 수동 상호작용: 권한 기관이 에이전트가 방문할 것으로 예상되는 위치 (예: 특정 웹 페이지, 파일) 에 카나리를 배치하고 후크로 계측합니다.
2. 전파 (Propagation): 에이전트가 콘텐츠를 처리합니다. 에이전트가 이 콘텐츠를 벤더 호스팅 LLM 으로 전달하면, 카나리는 벤더의 세션 로그에 나타납니다.
3. 검색 (Search): 권한 기관이 벤더 ($\mathcal{V}$) 에게 주입 시간 ($\tau$) 과 카나리 값을 명시하여 귀속 요청을 시작합니다.
4. 회복 (Recovery): 벤더는 활성 세션 로그의 좁은 시간 창에서 카나리를 검색합니다. 발견되면 벤더는 해당 세션을 책임 있는 운영자 계정 ($\mathcal{O}$) 과 연결합니다.

카나리 구성

이 논문은 서로 다른 카나리 유형이 필요한 두 가지 설정을 구분합니다:

• 비적대적 설정: 운영자가 귀속을 회피하려는 시도를 하지 않는 경우.

  • 어휘적 카나리 (Lexical Canaries): 단순한 정확한 일치 토큰 시퀀스 (예: 무작위 문자열, UUID, 또는 프로젝트 코드와 같은 작업 관련 식별자). 에이전트가 들어오는 콘텐츠를 그대로 모델에 전달하기 때문에 이것으로 충분합니다.

• 적대적 설정: 운영자가 마커를 억제하기 위해 들어오는 콘텐츠를 필터링, 재구성 또는 다시 작성하는 래퍼 ($\mathcal{W}$) 를 배포하는 경우.

  • 유틸리티를 지닌 카나리 (Utility-Bearing Canaries): 회피에 대응하기 위해 저자들은 합법적인 작업 콘텐츠와 구별할 수 없는 카나리를 도입합니다. 이를 제거하면 에이전트가 작업을 수행하는 능력이 저하됩니다.
  • 어휘적 유틸리티 카나리: 에이전트가 성공하기 위해 반드시 보존해야 하는 작업 필수 식별자 (예: 디렉토리 목록의 파일 이름, 데이터베이스 쿼리의 특정 ID).
  • 의미론적 카나리 (Semantic Canaries): 표면 형태가 아닌 의미로 정의된 서명 (예: 화법 스타일, 구조적 패턴, 긴급성 신호 또는 특정 수사적 습관). 이러한 카나리는 정확한 문자열보다 재구성을 더 잘 견딥니다.
  • 다중 카나리 전략: 권한 기관이 대규모 카나리 우주 ($N$) 에서 부분 집합 ($K$) 을 샘플링하여 주입합니다. 감지는 임계값 ($m$) 이상의 일치를 요구합니다. 이는 방어자에게 유리한 비대칭성을 만듭니다. 적대자는 카나리를 제거하기 위해 콘텐츠를 공격적으로 필터링해야 하는데, 이는 필연적으로 에이전트의 유틸리티를 저하시켜 (예: 사이버 공격이나 사기를 실패하게 함) 방어자는 귀속 확률을 임의적으로 1 에 가깝게 만들 수 있습니다.

3. 주요 기여

1. 문제 형식화: "에이전트 귀속"을 고유한 보안 문제로 식별하고 정의하며, 다양한 시나리오 (의도하지 않은 대 의도적인, 다양한 공격 대상) 의 전체 분류를 특징화한 최초의 연구입니다.
2. 실용적 프로토콜: 보편적인 사전 등록이나 지속적인 신원 노출 없이 작동하는 벤더 중개 귀속 프로토콜입니다. 이는 에이전트가 벤더 호스팅 모델에 의존하는 구조적 의존성에 기반합니다.
3. 강건한 카나리 구성:
   • 적대자에게 트레이드오프를 생성하는 유틸리티를 지닌 카나리(어휘적 및 의미론적) 개발: 귀속 회피는 에이전트 성능 저하를 요구합니다.
   • 방어자가 귀속 확률을 통제할 수 있는 반면 적대자는 회피를 위해 유틸리티 비용을 치러야 하는 비대칭성의 형식화.
4. 실증적 평가: 세 가지 도메인에서 포괄적인 테스트 수행:
   • 커뮤니케이션 에이전트: 채팅 및 포럼 상호작용.
   • 웹 에이전트: HTML 문서 수집 및 스크래핑.
   • 사이버 에이전트: CTF (Capture-The-Flag) 환경의 자율적 도구 사용 에이전트.

4. 실험 결과

평가 결과, 프로토콜은 신뢰할 수 있고, 강건하며, 확장 가능함을 입증했습니다.

• 비적대적 성능:

  • 어휘적 카나리는 콘텐츠가 변경 없이 전달될 때 거의 완벽한 감지 (TPR $\approx$ 1.0) 와 거의 영의 위양성 (FPR) 을 달성합니다.
  • 의미론적 카나리도 채팅 및 포럼 환경에서 높은 감지율 (AUC $\approx$ 0.98–0.99) 을 달성합니다.

• 적대적 강건성:

  • 재구성 공격: 래퍼가 콘텐츠를 재구성할 때, 정확한 어휘적 카나리는 실패합니다 (TPR 이 $\approx$ 0.20 으로 하락). 그러나 의미론적 카나리는 강건하게 유지됩니다. 채팅 환경에서 다중 카나리 임계값 ($m$-of-$k$) 을 사용할 경우 재구성 하에서도 TPR 이 0.97 이상으로 유지됩니다.
  • 웹 에이전트: 렌더링된 텍스트에 포함된 가시적 어휘적 카나리는 전처리 및 재구성을 $>60\%$의 비율로 생존합니다. 구조적 카나리 (DOM 에 숨겨짐) 는 더 취약합니다. 의미론적 레이아웃 카나리는 견고한 이차 채널을 제공합니다.
  • 사이버 에이전트 (CTF): 이것이 가장 강력한 테스트입니다. 도구 출력에서 카나리를 제거하려는 카나리 인식 적대자는 에이전트의 해결률을 51% 에서 9% 로 붕괴시켰습니다. 이는 유틸리티 - 회피 트레이드오프를 확인합니다: 귀속 증거를 억제하면 에이전트의 임무가 파괴됩니다.
  • 귀속 정확도: 사이버 환경에서 세션 수준 귀속은 적대적 조건 하에서도 TPR $\ge$ 98% 를 달성하고 FPR 은 거의 0 에 가깝습니다.

• 확장성:

  • 벤더 측 검색은 운영상 실용적인 것으로 나타났습니다. 동시 세션의 한정된 시간 창만 검색하고 기존 토큰화 로그를 활용하는 토큰 수준 매칭을 사용하면, 검색 비용은 전체 로그 크기가 아닌 활성 세션 수에 선형적으로 비례합니다. 토큰 수준 검색은 문자 수준 매칭보다 약 2 배 빠른 것으로 확인되었습니다.

5. 중요성 및 주장

이 논문은 에이전트 귀속을 정의하고 실용적인 해결책을 제시한 최초의 연구라고 주장합니다. 그 중요성은 다음과 같습니다:

• 구제 수단 복원: 피해자, 플랫폼 및 당국이 책임 있는 운영자를 식별할 수 있도록 하는 기술적 연결 고리를 제공하여, 선의의 경우 개입을 가능하게 하고 악의적인 경우 법적 책임을 지게 합니다.
• 벤더의 실행 가능성: 이 프로토콜은 기존 벤더 인프라 (로그, API 제공) 를 활용하며 에이전트의 런타임 코드나 운영자의 인프라 변경을 요구하지 않습니다.
• 방어에서의 비대칭성: 카나리를 작업 유틸리티와 연결함으로써, 프로토콜은 적대자를 귀속 회피가 자신의 목표를 훼손하는 딜레마에 빠뜨립니다.

저자들은 평가가 특정 모델 계열과 래퍼 구성을 사용하며, 간접 주입 (에이전트 궤적 예측) 은 추가적인 현실 세계 테스트가 필요하다는 점을 지적하며 한계에 대해 겸손하게 언급합니다. 그러나 그들은 제안된 방법이 점점 더 자율화되는 AI 에이전트에 대한 책임성을 향한 배포 가능한 경로를 제공한다고 주장합니다.