기술 요약: PAAC(개인정보 인식 에이전트 디바이스-클라우드 협업)

문제 정의

대형 언어 모델 (LLM) 에이전트는 근본적인 구조적 긴장 관계에 직면해 있습니다. 클라우드 기반 에이전트는 뛰어난 추론 및 계획 능력을 제공하지만, 민감한 사용자 데이터 (PII) 를 원격 서버로 전송해야 하므로 상당한 개인정보 유출 위험을 초래합니다. 반면, 온디바이스 에이전트는 로컬 격리를 통해 개인정보를 보호하지만, 제한된 컴퓨팅 자원과 추론 능력으로 인해 복잡하고 다단계인 에이전트 작업을 수행하지 못하는 경우가 많습니다.

기존의 디바이스 - 클라우드 협업 패러다임은 디바이스와 클라우드 간의 경계를 에이전트 워크로드에 적합한 신뢰 경계가 아닌 주로 연산 분할(예: 라우팅 또는 고정 파이프라인)로 간주합니다. 또한, 현재 사용되는 개인정보 정제 방법은 유연성과 구조적 충실도 사이의 트레이드오프를 강요합니다.

• 규칙 기반 방법(예: NER + 정규식)은 신뢰할 수 있지만 고정된 분류 체계에 묶여 있어, 사용자가 정의한 엔티티나 도메인별 고유 엔티티 (예: 주문 ID, 커스텀 제품명) 를 보호하지 못합니다.
• LLM 기반 재작성 방법은 정책 유연성을 제공하지만, 클라우드 에이전트가 정확한 도구 호출을 구성하는 데 필요한 구조적 단서를 제거하여 에이전트 워크플로우를 파괴하는 경우가 많습니다.

이로 인해 두 가지 핵심 연구 질문이 제기됩니다:

1. 민감한 데이터가 경계를 넘지 않으면서 클라우드의 능력을 활용하기 위해, 추론과 실행을 디바이스와 클라우드 간에 어떻게 분할해야 하는가?
2. 임의의 사용자 정책 하에서 민감한 구간을 식별하고, 클라우드 추론을 위한 의미적 역할과 온디바이스 도구 실행을 위한 구조적 충실도를 모두 보존하는 프록시 토큰으로 추상화할 수 있는가?

방법론: PAAC 프레임워크

PAAC(개인정보 인식 에이전트 디바이스 - 클라우드 협업) 은 역할 전문화를 디바이스 - 클라우드 신뢰 경계와 정렬하는 분리된 아키텍처를 통해 이러한 과제를 해결합니다.

1. 신뢰 경계 정렬 아키텍처

PAAC 은 클라우드 추론 및 계획, 디바이스 실행 및 판단 패러다임을 채택합니다:

• 클라우드 에이전트 (추론기): 정제된 표현에서만 작동합니다. 민감한 값이 타입이 지정된 플레이스홀더 토큰으로 대체된 작업 설명과 도구 세트를 수신합니다 (예: {BALANCE: 1234}가 {BALANCE: TOKEN_1}로 변경됨). 클라우드 에이전트는 이러한 토큰을 기반으로 추론하여 계획을 수립하고 도구 호출을 생성하며, 절대 underlying 값을 직접 보지 않습니다.
• 온디바이스 에이전트 (정제기, 판정자, 최종 답변 생성기):
  • 정제: 사용자 정의 정책에 기반하여 민감한 구간을 식별하고 후보 대체안을 제안합니다.
  • 실행: 실제 값을 로컬에서 복원하여 도구 호출을 실행합니다 (예: 로컬 데이터베이스 또는 API 쿼리).
  • 판정: 실행 결과를 평가하고 이를 간결한 핵심 발견 사항(예: "잔액이 충분함")으로 추려냅니다. 이는 디바이스에 장기간의 민감한 추론 흔적이 누적되는 것을 방지합니다.
  • 최종 답변: 원래 사용자 입력, 추려진 핵심 발견 사항, 그리고 정제 해제된 클라우드 제안을 활용하여 최종 응답을 생성합니다.

합의 종료: 클라우드는 전체 계획을 보지만 실제 결과는 보지 못하고, 디바이스는 실제 결과를 보지만 전체 계획은 보지 못하는 비대칭성을 처리하기 위해 PAAC 은 합의 종료를 요구합니다. 두 에이전트 모두 완료를 신호해야 하며, 의견이 다를 경우 디바이스의 피드백이 클라우드의 수정을 안내합니다.

2. 제안자 - 검증자 - 레지스트리 정제

유연성과 충실도 간의 트레이드오프를 해결하기 위해, PAAC 은 온디바이스 LLM 의 역할을 전체 정제기에서 제안자로 재정의합니다:

• 제안자: 온디바이스 LLM 이 민감한 구간을 식별하고 의미적 프록시 토큰으로의 매핑을 제안합니다 (예: {NAME_FIRST_1}).
• 검증자: 제안된 정제 텍스트가 원래 입력으로 완벽하게 역변환될 수 있는지 정렬 검사를 수행합니다. LLM 이 환각을 일으키거나 정렬이 어긋날 경우, 시스템은 검증 가능한 매핑의 안전한 하위 집합으로 대체됩니다.
• 결정적 레지스트리: 정규식 기반의 순차 추가 전용 레지스트리가 모든 실제 치환 및 역변환을 처리합니다. 이 레지스트리는 첫 번째 턴에서 초기화되어 세션 전체에 걸쳐 유지됩니다.
  • 구조적 충실도: 치환이 결정적이고 정규식 기반이므로, 클라우드 에이전트는 구조적으로 유효한 도구 호출 (예: subtract(BALANCE_TOKEN, RENT_TOKEN)) 을 수신하여 클라우드가 올바르게 추론할 수 있도록 보장합니다.
  • 개인정보 보장: 레지스트리는 첫 번째 턴에서 엔티티가 마스킹되면 이후 온디바이스 LLM 이 침해당하더라도 해당 엔티티가 계속 마스킹되도록 보장합니다. LLM 은 제안만 하고 레지스트리가 강제합니다.

3. 컨텍스트 관리

PAAC 은 각 단계마다 컨텍스트 길이가 폭발적으로 증가하는 '궤적 결합 컨텍스트 성장' 문제를 피합니다. 온디바이스 에이전트는 현재 단계의 실행 결과만 처리하고 이를 핵심 발견 사항으로 추립니다. 클라우드 에이전트는 정제된 토큰에 대한 자체 추론 컨텍스트를 유지합니다. 이로써 두 에이전트 모두 단계별 입력을 간결하게 유지합니다.

주요 기여

1. 분리된 에이전트 아키텍처: PAAC 은 계획자 - 실행자 분해를 디바이스 - 클라우드 신뢰 경계와 정렬합니다. 클라우드는 타입이 지정된 프록시 토큰을 기반으로 추론하는 반면, 디바이스는 결과를 판단하고 추립니다. 이러한 설계는 역할 전문화 자체를 개인정보 보호 메커니즘으로 만들고 에이전트 입력을 간결하게 유지합니다.
2. 제안자 - 검증자 - 레지스트리 정제: 이 프레임워크는 온디바이스 LLM 을 정제 쌍 제안으로 제한하고, 정렬 검증을 통해 커밋을 게이트하며, 모든 치환을 결정적 레지스트리에 위임합니다. 이는 도구 호출의 구조적 충실도를 보존하고, 라운드 간 참조 일관성을 보장하며, 이후 온디바이스 LLM 이 침해당하더라도 그 영향을 구조적으로 제한합니다.
3. 실험적 검증: PAAC 은 세 가지 에이전트 벤치마크 (τ2-Bench Airline, τ2-Bench Retail, GAIA) 와 10 개 도메인 (수학, 과학, 금융 등) 에 걸친 17 개 추가 작업에서 평가되었습니다.

결과

엄격한 개인정보 설정 하에서 PAAC 은 개인정보 보호와 정확도의 파레토 최선집합을 지배합니다:

• 정확도: PAAC 은 최첨단 디바이스 - 클라우드 베이스라인 (예: PAPILLON, PRISM) 대비 평균 정확도를 15–36% 향상시킵니다.
• 유출: 평균 개인정보 유출을 2–6 배 감소시킵니다.
• 강건성: PAAC 은 개인정보 정책이 강화됨에 따라 (P0 에서 P3 로) 높은 정확도와 안정적인 토큰 비용을 유지합니다. 반면, 베이스라인들은 정확도가 크게 저하되거나 높은 유출을 겪습니다.
• 일반화: PAAC 은 패턴 기반 정제가 실패하는 개방형 어휘 카테고리(예: 커스텀 제품 ID, 비표준 이름) 에서 특히 뛰어납니다. 이러한 카테고리에서 거의 제로 유출을 달성하면서 도구 호출 충실도를 유지합니다.
• Ablation 연구:
  • 정제 없이도 아키텍처적 이점 (분리) 만으로도 성능이 향상됩니다.
  • 정제 메커니즘 (LLM 제안자 + 결정적 레지스트리) 은 개방형 어휘 작업에서 패턴 기반 방법보다 훨씬 우수한 성과를 냅니다.
  • PAAC 의 성능은 다양한 클라우드 추론 패러다임 (ReAct, Plan-and-Solve, RecurrentGPT) 에서 강건합니다.

중요성과 주장

이 논문은 PAAC 이 디바이스 - 클라우드 경계를 단순한 연산 분할로 취급하는 것에서 벗어나, 역할 전문화가 본질적으로 개인정보를 강제하는 신뢰 경계로 취급하는 전환을 나타낸다고 주장합니다.

• 구조적 개인정보 보호: 민감한 값을 타입이 지정된 프록시 토큰으로 대체함으로써, PAAC 은 구조적으로 클라우드 에이전트가 컨텍스트 내의 원시 숫자를 기반으로 추론하는 대신 도구로 계산을 배분하도록 강제하여 의미적 추론 공격을 방지합니다.
• 충실도 손실 없는 정책 유연성: 도구 호출 구조를 파괴하는 재작성 기반 접근법과 달리, PAAC 의 결정적 레지스트리는 클라우드 에이전트가 계획에 충분한 의미적 풍부함을 가지면서도 정제되지 않은 에이전트가 보던 것과 구조적으로 동일한 입력을 받도록 보장합니다.
• 확장성: 분리된 아키텍처는 시스템이 작업의 복잡성에 따라 확장되도록 허용하면서, 증가하는 컨텍스트 길이로 온디바이스 에이전트를 압도하지 않습니다.

저자들은 한 가지 제한 사항을 지적합니다: PAAC 은 충분히 포괄적인 온디바이스 도구 환경을 전제로 합니다. 만약 작업이 클라우드가 접근할 수 없는 외부 도구 (예: 웹 검색) 를 필요로 하고 쿼리가 정제되어 있다면, 클라우드는 해당 특정 엔티티에 대해 매개변수 지식을 백업으로 사용할 수 없습니다. 그러나 정의된 도구 세트 범위 내에서 PAAC 은 기존 단일 에이전트 또는 디바이스 - 클라우드 베이스라인으로는 달성할 수 없는 유리한 개인정보 - 성능 트레이드오프를 달성합니다.