기술 요약: 고스트 툴 콜(Ghost Tool Calls): 추측적 에이전트 도구의 이슈 타임 프라이버시

1. 문제 정의

도구 증강 언어 에이전트는 지연 시간을 줄이기 위해 점점 더 **추측 실행(speculative execution)**을 채택하고 있습니다. 이 패러다임에서 에이전트 런타임은 실행할 브랜치를 확정하기 전에도 미래에 발생할 가능성이 높은 도구 호출을 예측하고 이를 병렬로 디스패치합니다. 이는 성능을 향상시키지만, 저자들이 **고스트 툴 콜(Ghost Tool Calls)**이라 명명한 새로운 프라이버시 실패 모드를 유발합니다.

고스트 툴 콜은 외부 관찰자(예: 검색 제공업체, API 엔드포인트 또는 네트워크 모니터)에게 전달되었으나, 에이전트의 최종 확정된 계획(final, committed plan)으로 승격되지 못하고 버려진 추측적 호출입니다. 이러한 호출은 에이전트가 특정 워크플로우를 확정하기 전에 발행되므로, 사용자의 의도(주제, 개체 및 잠재적인 후속 조치)를 외부 서비스에 유출합니다.

핵심 문제는 **시간적(temporal)**입니다. 외부 관찰자가 추측적 호출을 받게 되면, 그 정보는 제공업체의 로그, 캐시 또는 네트워크 트레이스에 유지됩니다. 표준 프라이버시 메커니즘은 다음과 같은 이유로 효과적이지 않습니다:

• **커밋 시점의 정리(Commit-time cleanup)**는 이미 관찰자가 데이터를 보유하고 있으므로 효과가 없습니다.
• 읽기 전용 제한(예: 추측을 읽기 전용 도구에만 허용)은 인자(arguments)나 목적지 엔드포인트를 통해 의도가 유출되는 것을 방지하지 못합니다.
• **액세스 제어 허용 목록(Access-control allow-lists)**은 도구가 승인된 경우라면 해당 브랜치가 나중에 폐기되더라도 호출을 허용합니다.

저자들은 추측적 에이전트의 프라이버시는 커밋 시점의 결정이 아니라, 신뢰할 수 있는 런타임 경계를 떠나기 전인 **이슈 타임(issue-time)**의 정책 결정이 필요하다고 주장합니다.

2. 방법론 및 프레임워크

트레이스 모델 (The Trace Model)

저자들은 두 가지 시퀀스를 비교하는 트레이스 모델을 통해 프라이버시 격차를 정형화합니다:

• 발행된 트레이스 ($S$): 추측적 호출을 포함하여 디스패치된 모든 도구 이벤트의 순서가 있는 로그.
• 확정된 트레이스 ($C$): 에이전트가 궁극적으로 사용하는 이벤트의 순서가 있는 부분 집합.
• 고스트 콜(Ghost Calls): $S \setminus C$에 속하는 이벤트.
• 한계 노출($\Delta_i$): 추측적 트레이스에서의 관찰자 $i$의 관측값($O_i(S)$)과 커밋된 결과만을 고려한 반사실적 상황($O_i(C)$) 사이의 차이. 이는 오직 추측으로 인해 추가로 유출된 정보를 나타냅니다.

이 모델은 세 가지 공개 채널을 식별합니다:

1. 인자(Arguments): 리터럴 페이로드 (예: 검색 쿼리).
2. 목적지(Destination): 액세스된 엔드포인트 또는 컬렉션 (예: 일반 검색 대신 HR 휴가 API 접근).
3. 메타데이터(Metadata): 타이밍, 순서, 재시도 횟수 및 캐시 상태.

추측적 도구 프라이버시 계약 (Speculative Tool Privacy Contracts)

이슈 타임 경계에서 프라이버시를 강제하기 위해, 본 논문은 "커밋 전 관찰"을 상태 변이와 구별되는 일급 효과(first-class effect)로 취급하는 런타임 추상화인 추측적 도구 프라이버시 계약을 제안합니다.

주요 구성 요소:

• 레이블(Labels): 각 추측적 이벤트는 실행 모드, 효과 클래스, 관찰자 클래스, 인자 민감도, 목적지 민감도 및 브랜치 신뢰도로 레이블이 지정됩니다.
• 모니터(The Monitor): 플래너와 외부 I/O 경로 사이에 위치하는 신뢰할 수 있는 컴포넌트입니다. 이는 모든 추측적 이벤트를 디스패치하기 전에 평가합니다.
• 결정 함수(Decision Function): 모니터는 이벤트를 다음 다섯 가지 동작 중 하나로 매핑합니다:
  1. 허용(ALLOW): 변경 없이 디스패치.
  2. 재작성(REWRITE): 디스패치 전 민감한 인자를 일반적인 등가물로 변환.
  3. 섀도잉(SHADOW): 외부 호출 대신 신뢰할 수 있는 로컬 대체물을 실행합니다. 브랜치가 승격되면 이 결과가 사용되지만, 외부 관찰자는 원래의 요청을 보지 못합니다.
  4. 지연(DEFER): 브랜치가 확정된 계획으로 승격될 때만 재평가를 위해 이벤트를 큐에 대기합니다.
  5. 차단(BLOCK): 이벤트를 완전히 드롭합니다.

건전성 불변성(Soundness Invariant): 완전한 매개(complete mediation, 모니터 이전의 원시 데이터 유출이 없다는 가정)와 올바른 레이블링이 보장된다면, 모니터는 이벤트가 나중에 커밋되거나 폐기되든 상관없이 금지된 필드가 관찰자의 한계 노출($\Delta_i$)에 들어가는 것을 방지합니다.

3. 주요 기여

1. 고스트 툴 콜 개념: 버려진 추측적 호출을 이슈 타임의 공개와 커밋 타임의 상태 변이와 구별되는 별개의 프라이버시 위협으로 정형화했습니다.
2. 추측적 도구 프라이버시 계약: 레이블, 5단계 결정 파이프라인, 그리고 "커밋 전 관찰"을 별도의 효과로 취급하는 건전성 불변성을 갖춘 구체적인 런타임 추상화를 제안했습니다.
3. 실증적 평가: 세 가지 생성 코퍼스(30개 태스크 정적, 150개 태스크 쌍, 66개 태스크 AgentDojo)와 실제 제공업체 연구(Brave Search/DuckDuckGo)를 통해 12개의 정책을 종합적으로 평가했습니다. 평가는 숨겨진 민감한 레이블의 복구 정도를 측정하기 위해 여러 적대 모델(LLM, 키워드 매칭, TF-IDF)을 사용합니다.

4. 결과

평가는 적대적 복구(적대자가 관찰자의 투영으로부터 민감한 레이블을 올바르게 추론할 확률)와 태스크 성공률을 기준으로 정책을 비교합니다.

• 유출 확인: 추측적 트레이스는 유출을 크게 증가시킵니다. 정적 계획 벤치마크에서 복구율은 No-Speculation 시의 0.44에서 Naive speculation 시 0.97로 급증했습니다.
• 사후 제어의 무효성: 디스패치 후에 작동하거나 읽기 전용 제한에 의존하는 정책들은 유출을 줄이는 데 실패했습니다:
  • Late-Scrub, ACL, SIA (Speculative Interaction Agents): 이러한 정책들은 한계 노출을 그대로 남겨둡니다. 추측을 읽기 전용 도구로 제한하는 SIA는 읽기 전용 호출 역시 인자와 목적지를 통해 의도를 드러내기 때문에 Naive 베이스라인만큼이나 낮은 성능을 보였습니다.
  • Pre-Scrub: 디스패치 전 인자에 대한 자유 텍스트 삭제(redaction)는 구조화된 필드나 목적지가 그대로 남아 있다면 불충분합니다.
• 이슈 타임 변환의 효과성: 디스패치 전 투영(projection)을 변환하는 정책만이 유출을 줄였습니다:
  • Rewrite: 민감한 인자를 일반적인 등가물로 바꾸는 방식은 복구율을 거의 최저 수준(예: 실제 플래너 시나리오에서 0.04)으로 낮췄습니다.
  • Shadow: 호출을 로컬 대체물로 라우팅하는 방식은 여러 벤치마크에서 복구율을 0.00으로 줄였습니다.
  • Gate: 신뢰도가 낮은 호출을 브랜치 승인 시까지 지연시키는 방식은 유출을 줄였으나, 임계값이 너무 엄격할 경우 유틸리티와의 트레이드오프가 발생합니다.
• 잔류 신호: 유출의 주요 매개체는 구조화된 인자 필드와 목적지 URL입니다. 도구 이름을 마스킹하거나 자유 텍스트 삭제만을 사용하는 것은 목적지나 구조화된 인자가 주제를 드러낸다면 유출을 막지 못합니다.
• 유틸리티 vs 프라이버시: 대부분의 정책에서 태스크 성공률은 높게 유지되었습니다(0.77–0.83). Shadow와 Rewrite는 무시할 만한 수준의 태스크 성공률 저하와 함께 거의 제로에 가까운 유출을 달성한 반면, 사후 필터링은 프라이버시 이득을 전혀 제공하지 못했습니다.
• 지연 시간: 계약 이행 메커니즘은 지연 시간의 병목 현상이 되지 않았습니다. 다중 도구 비동기 워크로드에서 프라이버시 보존 정책(Rewrite, Gate)은 Naive 베이스라인과 유사한 지연 시간 이점을 유지했습니다.

5. 의의 및 주장

본 논문은 추측이 이슈 타임의 프라이버시 실패를 생성한다고 주장하며, 이는 전통적인 권한 부여나 커밋 시점의 정리로는 해결할 수 없다고 밝힙니다. 이 연구의 의의는 다음과 같습니다:

• 프라이버시 경계의 이동: 프라이버시 결정 지점을 "에이전트가 커밋할 때"에서 "에이전트가 이슈할 때"로 옮겼습니다. 저자들은 관찰자가 추측적 호출을 보유하게 되면 이미 피해가 발생한 것이므로, 런타임은 무엇을 보낼지 보내기 전에 결정해야 한다고 주장합니다.
• "안전한" 추측의 재정의: 추측을 "읽기 전용" 도구로 제한하는 것(일반적인 안전 패턴)이 프라이버시 측면에서는 불충 sufficient하지 않음을 입증했습니다. 읽기 전용 호출 또한 의도를 유출하기 때문입니다. 진정한 프라이버시는 관찰 가능한 투영을 변환하거나 억제하는 것을 요구합니다.
• 실용적 추상화: 제안된 계약(Rewrite, Shadow, Defer)은 런타임 시스템이 태스크 유틸리티를 희생하지 않으면서 추측의 지연 시간 이점과 프라이비 요구사항 사이의 균형을 맞출 수 있는 구체적이고 구현 가능한 프레임워크를 제공합니다.

저자들은 추측이 성능 면에서 매력적이지만, 사용자의 추론된 의도 유출을 방지하기 위해 추측적 호출의 인자 또는 목적지 투영을 능동적으로 변경하거나 억제하는 이슈 타임 정책이 필요하다고 결론짓습니다.