기술 요약: 다중 턴 LLM 에이전트를 위한 의존성 인식 프라이버시

문제 정의

대형 언어 모델 (LLM) 에이전트를 의료, 금융, 법률과 같은 민감한 도메인에 통합하는 것은 새로운 프라이버시 공격 표면을 생성합니다. 사용자는 모델 컨텍스트 프로토콜 (MCP) 과 같은 프로토콜을 통해 여러 외부 서비스와 상호작용하는 에이전트에게 작업을 위임합니다. 다중 턴 워크플로우에서 적대자는 독립적인 데이터 공개들을 결합하여 사용자의 개인 속성을 재구성할 수 있습니다.

기존의 정제 방법들인 Prϵmpt와 CAPE는 메트릭 차등 프라이버시 (mDP) 에 의존하지만 각 데이터 공개를 독립적으로 처리합니다. 이러한 독립성 가정은 다중 턴 시나리오에서 실패합니다:

1. 선의의 누출: 크로스 플랫폼 중복성 (두 서비스에게 동일한 루트 값을 전송) 또는 구조적 중복성 (루트 값과 파생 값을 별도로 전송) 은 프라이버시 예산이 서비스 수나 파생 함수의 수에 비례하여 선형적으로 증가하게 만듭니다.
2. 적대적 누출: 적대자는 반복적인 쿼리를 강요하여 노이즈를 평균화 ($1/\sqrt{q}$) 하거나 임의의 파생 함수를 요청할 수 있습니다. 의료 및 금융 워크플로우에서 흔히 발생하는 비선형 함수 (예: BMI, FIB-4) 의 경우, 파생 값을 독립적으로 노이즈 처리하면 함수의 리프시츠 상수 ($L$) 에 의해 기본 루트 값의 구별 가능성이 증폭되어, 명목상의 프라이버시 파라미터를 수 배 이상 초과할 수 있습니다.

핵심 문제는 공개 간의 의존성을 추적하지 않는 한, 누출이 선의적이든 악의적이든 상관없이 모든 추가 상호작용이 명목상의 예산을 초과하여 사용자의 프라이버시를 저하시킨다는 점입니다.

방법론: RootGuard

저자들은 다중 턴 에이전트 상호작용을 위해 설계된 의존성 인식 프라이버시 메커니즘인 RootGuard를 제안합니다. 핵심 원리는 개인적인 "루트" 값을 정확히 한 번만 정제하고, 이후 모든 공개를 이러한 노이즈가 추가된 루트 값으로부터 결정론적으로 계산하는 것입니다.

시스템 아키텍처

1. 초기화: 사용자 에이전트는 민감한 루트 값 ($X$) 을 식별하고 차등 프라이버시 메커니즘 ($M_\epsilon$) 을 사용하여 한 번만 정제합니다. 이러한 노이즈가 추가된 값 ($\hat{X}$) 은 정제된 캐시에 저장됩니다.
2. 턴별 작업: 적대자가 값을 요청할 때:
   • 요청이 루트 값인 경우, 캐시된 노이즈가 추가된 값이 반환됩니다.
   • 요청이 파생 값인 경우, 캐시된 노이즈가 추가된 루트 값으로부터 결정론적으로 계산됩니다.
   • 초기화 이후 새로운 노이즈는 생성되지 않습니다.
3. 신뢰 경계: 적대자는 정제된 캐시와만 상호작용합니다. 차등 프라이버시의 후처리 정리에 따라, 적대자의 관점은 요청된 턴 수 ($t$) 나 함수 ($f$) 에 관계없이 초기 루트 정제보다 더 많은 정보를 제공하지 않습니다.

구조적 지식 활용

RootGuard 는 보장 약화 없이 프라이버시 - 유용성 트레이드오프를 최적화하기 위해 공개 도메인 지식을 활용합니다:

• 레벨 1 (루트 간 의존성): 선언된 루트 값이 다른 값들의 결정론적 함수인 경우 (예: 키와 체중으로부터 계산된 BMI), 에이전트는 진정한 독립 루트 값을 식별합니다. 종속 루트 값은 노이즈가 추가된 부모 값으로부터 재계산되어, 0 의 한계 비용으로 프라이버시를 상속받습니다 (정리 3).
• 레벨 2 (목표 민감도): 중간 목표 함수 $g$ (예: FIB-4 와 같은 임상 공식) 가 알려진 경우, 에이전트는 루트 값에 대해 목표에 대한 민감도에 따라 프라이버시 예산 $\epsilon_i$ 를 할당합니다. 할당은 민감도 가중 규칙을 따릅니다: $\epsilon_i \propto (|h_i| \cdot D_i)^{1/2}$, 여기서 $h_i$는 목표 함수의 루트 $i$에 대한 편미분이고 $D_i$는 도메인 너비입니다. 이는 최종 임상 결정에서의 기대 오차를 최소화합니다.

이론적 보장

• 정리 1 (DAG 프라이버시 보장): 프라이버시 보장은 루트 정제 파라미터에만 의존하며, 적대자의 함수 선택이나 상호작용 턴 수에 무관합니다.
• 정리 2 (구별 가능성 증폭): 파생 값을 독립적으로 노이즈 처리하면 함수의 리프시츠 상수 $L$만큼 부모 루트 값의 구별 가능성이 증폭됨을 증명합니다.
• 정리 3 (암시적 프라이버시): 루트 값에 노이즈를 추가하고 이를 후처리하여 값을 도출하는 것이, 파생 값을 직접 노이즈 처리하는 것보다 적어도 동등한 강도의 프라이버시를 제공함을 증명합니다.

주요 기여

1. 다중 턴 에이전트 프라이버시의 형식화: 다중 턴 상호작용에 대한 프라이버시 게임을 형식화하고, RootGuard 의 보장이 적대자의 쿼리 수와 함수 선택에 불변임을 증명합니다.
2. 증폭 및 상속의 증명: 파생 값의 독립적 노이즈 처리는 프라이버시 손실을 증폭시킨다는 것 (정리 2) 과, 조정된 루트 노이즈 처리는 파생 값이 무료로 프라이버시를 상속받을 수 있다는 것 (정리 3) 을 입증합니다.
3. 민감도 가중 할당: 목표 함수의 민감도에 기반하여 프라이버시 예산을 할당하는 방법으로, 형식적 보장을 유지하면서 목표 오차를 최소화합니다.
4. 실증적 검증: NHANES 데이터에서 파생된 8 가지 의료 진단 템플릿과 전체 엔드 - 투 - 엔드 LLM 배포 (GPT-5.4 nano) 에 대한 광범위한 실험을 통해 메커니즘을 검증했습니다.

실험 결과

평가에서는 세 가지 연구 질문에 대해 독립적 노이즈 처리 (M-All) 에 대한 RootGuard 구성 (M-Roots, M-Opt) 을 비교합니다:

RQ1: 목표 유용성

• 지표: 가중 평균 절대 백분율 오차 (wMAPE) 및 위험 클래스 오차 (RCE).
• 결과: RootGuard 는 독립적 노이즈 처리보다 현저히 우수한 성능을 보입니다. $\epsilon = 0.1$이고 예산이 $B = (2k+1)\epsilon$일 때, M-Opt 는 M-All 대비 wMAPE 를 2.6 배 낮게 (7.8% 대 20.3%) 그리고 위험 클래스 오차를 2.2 배 낮게 (7.0% 대 15.7%) 달성합니다.
• 이중 비대칭: 적대자가 더 많은 턴 ($t$) 을 강요할수록 RootGuard 의 유용성은 개선됩니다 (루트 당 사용 가능한 예산 증가). 반면 M-All 의 프라이버시는 저하됩니다 (독립적 관측치의 누적).

RQ2: 재구성 공격

• 지표: 최대 사후 확률 (MAP) 적대자 하의 재구성 wMAPE.
• 결과: M-All 하에서는 쿼리 수 ($q$) 가 증가함에 따라 재구성 오차가 감소합니다 (예: $\epsilon_r=0.1$에서 $q$가 1 에서 16 으로 증가할 때 10.2% 에서 3.2% 로 하락). RootGuard 하에서는 재구성 오차가 $q$에 대해 불변으로 유지됩니다. 반복된 쿼리가 동일한 캐시된 값을 반환하기 때문입니다.

RQ3: 구조적 분석

• 결과: RootGuard 의 이점은 목표 함수가 루트 노이즈를 감쇠시키는 "압축" 공식 (예: FIB-4, HOMA) 에서 가장 두드러집니다. 예산 할당은 예측된 멱법칙 $\epsilon_i \propto (|h_i| \cdot D_i)^{0.5}$를 따르며, 민감도 가중 전략을 확인합니다.

RQ4: 엔드 - 투 - 엔드 배포

• 설정: 21,600 세션에 걸쳐 GPT-5.4 nano 에이전트를 사용한 실제 시뮬레이션.
• 결과: 메커니즘 수준의 발견이 LLM 배포로 이전됩니다. 성능 순서 (M-Opt > M-Roots > M-All) 가 유지되며, 세션 수준의 준수 실패는 0 건 (구문 오류나 잘못된 응답 없음) 이었습니다.

중요성과 주장

이 논문은 RootGuard 가 다중 턴 에이전트 상호작용에서 프라이버시 - 유용성 트레이드오프를 근본적으로 변화시킨다고 주장합니다. 상태 비저장형 독립 정제에서 상태 기반 의존성 인식 접근법으로 전환함으로써, RootGuard 는 다음을 보장합니다:

1. 일정한 프라이버시: 적대자가 강요하는 턴 수나 계산하는 함수에 관계없이 추가 정보를 얻지 못합니다.
2. 턴 증가에 따른 유용성 향상: 추가 상호작용 턴은 루트 간에 분배될 수 있는 총 프라이버시 예산을 늘려, 프라이버시 위험을 증가시키지 않고 정확도를 향상시킵니다.
3. 견고성: 모든 공개가 초기 노이즈가 추가된 루트 값의 후처리이므로, 적대적 프롬프트 인젝션이나 악의적 서비스 설계 하에서도 접근법이 유효합니다.

저자들은 독립적 노이즈 처리가 상관관계가 있는 개인 값을 포함하는 다중 턴 워크플로우에는 근본적으로 불충분하며, 고위험 도메인에서 LLM 에이전트를 배포하기 위해서는 의존성 인식 정제가 필수적인 방어 수단이라고 결론지었습니다. 이 작업은 루트 식별을 위한 완벽한 개체명 인식 (NER) 을 가정하며 구조화된 수치 데이터에 초점을 맞추고, 자유 형식 텍스트와 노이즈가 있는 NER 통합은 향후 과제로 남깁니다.