기술 요약: DiSan (Disentangled Sanitization)

1. 문제 정의

본 논문은 조직 간 분산된 에이전트 협업(cross-organizational distributed agent collaboration), 특히 검색 증강 생성(RAG) 및 멀티 에이전트 질의응답 시스템 내에서 발생하는 핵심적인 프라이버시 문제를 다룹니다. 에이전트들이 조직 경계를 넘어 텍스트 증거를 교환할 때, 두 가지 차원에서 프라이버시 유출이 발생합니다:

1. 명시적 식별자(Explicit Identifiers): 이름, 계좌 번호, 주소와 같은 전통적인 개인 식별 정보(PII).
2. 분포적 시그니처(Distributional Signatures): 출처의 내부 관행을 암호화하는 서식 관례, 어휘 선택, 구문 패턴 등을 통한 암묵적 유출(조직적 지문).

저자들은 기존 솔루션들이 프라이버시를 표현(representation) 수준의 문제가 아닌 식별자 수준의 문제로 취급하기 때문에 불충분하다고 주장합니다. 규칙 기반 마스킹은 명시적 PII는 제거하지만 분포적 시그니처는 그대로 남겨두며, LLM 기반의 패러프레이징(paraphrasing)은 출력 분포가 통계적으로 소스 불변(source-invariant)임을 보장하는 메커니즘이 부족합니다. 또한, 표준 연합 학습(Federated Learning)은 모델 훈련을 분산시키지만, 다운스트림 태스크를 위해 데이터 자체를 공유하는 문제는 해결하지 못합니다.

2. 방법론: DiSan

제안된 솔루션인 **DiSan (Disentangled Sanitization)**은 Intern-Shannon 멀티 에이전트 운영 체제에 통합된 프라이버시 보존 프레임워크입니다. 이는 역할-스타일 인수분해(role–style factorization) 접근 방식을 통해 태스크 관련 의미론(semantics)과 소스에 종속된 변이(variations)를 분리하여 작동합니다.

핵심 아키텍처

• 이중 스트림 인코더(Two-Stream Encoder): DiSan은 사전 학습된 인코더(LongT5-TGlobal-Base)를 사용하여 입력 텍스트를 두 개의 직교하는 하위 공간으로 투영합니다:
  • 역할 하위 공간 ($Z_r$): 공유를 목적으로 하는 소스 불변의 태스크 의미론(엔티티, 관계, 이벤트)을 인코딩합니다.
  • 스타일 하위 공간 ($Z_s$): 에이전트 특유의 변이(구절, 서식, 조직적 스타일)를 인코딩합니다. 이 스트림은 엄격히 로컬에 머물며 디코딩 후 폐기됩니다.
• 융합 및 디코딩(Fusion and Decoding): 두 스트림은 로컬에서 융합되어 정화된 텍텍스트($\tilde{d}$)를 생성합니다. 디코더는 역할 사실(role facts)은 보존하면서 식별자와 소스 특유의 어휘를 억제하도록 훈련됩니다. 오직 정화된 텍스트 $\tilde{d}$만이 프라이버시 경계를 넘어 전달됩니다.

연합 훈련 메커니즘

원시 텍스트을 중앙 집중화하지 않고 정화기를 훈련하기 위해, DiSan은 세 가지 핵심 구성 요소를 갖춘 연합 최적화 전략을 채택합니다:

1. 프로토타입 정렬(Prototype Alignment): 비-IID(non-IID) 에이전트 간에 역할 공간이 표류하는 것을 방지하기 위해, 에이전트들은 압축된 역할 프로토타입(배치 역할 중심점의 EMA)을 교환합니다. 이 프로토타입들은 글로벌 일관성을 보장하기 위해 단위 초구체(unit hypersphere) 상에서 정렬되며, 이 과정에서 원시 증거는 공유되지 않습니다.
2. 적대적 정규화(Adversarial Regularization): 업로드된 프로토타입에 그래디언트 역전 층(Gradient Reversal Layers, GRL)이 적용된 판별기(discriminator)를 적용합니다. 이는 역할 표현이 소스 에이전트를 예측하는 능력을 낮추도록 강제하여, 공개된 능력 태그 이상의 지속적인 분포적 시그니처를 억제합니다.
3. 직교성 제약(Orthogonality Constraint): 평균 풀링된 역할 벡터와 스타일 벡터 사이의 코사인 직교성을 강제하는 손실 항($L_{orth}$)을 적용하여, 태스크 의미론과 소스 정체성의 분리를 보장합니다.

배포

멀티 에이전트 RAG 파이프라인에서, 요청 에이전트는 공개된 능력 태그를 기반으로 헬퍼 에이전트에게 쿼리를 라우팅합니다. 헬퍼는 로컬 스니펫을 검색하고, DiSan을 통해 이를 정화한 후 전송합니다. 요청자는 이 정화된 증거를 집계하여 최종 답변을 생성합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 분리된 정화 공식화(Disentangled Sanitization Formulation): 교차 에이전트 텍스트 정화를 역할-스타일 인수분해 문제로 재정의하여, 태스크 의미론과 소스 연결 변이를 분리했습니다.
2. 연합 역할 정렬(Federated Role Alignment): 원시 텍스트를 중앙 집중화하지 않고도 비-IID 에이전트 간의 역할 공간을 안정화하기 위한 경량 프로토타입 정렬을 도입했으며, 소스 특유의 프로토타입 시그니처를 제거하기 위한 적대적 훈련을 결합했습니다.
3. 프라이버시 진단(Privacy Diagnostics): 출력 텍스트(문체론), 학습된 표현(임베딩 속성), 업로드된 프로토타입의 세 가지 표면에서 프라이버시를 평가하여, 애플리케이션 단계의 유출과 훈련 단계의 아티팩트를 구분했습니다.
4. 실증적 검증(Empirical Validation): DiSan이 식별자 수준의 마스킹 및 LLM 패러프레이징에 비해 소스 귀속(source attribution)을 줄이는 데 있어 탁월한 성능을 보임을 입증했습니다.

4. 실험 결과

실험은 7개의 서로 다른 에이전트 유형을 시뮬레이션한 합성 다국어 금융 코퍼스와 문체론적 검증을 위한 Enron 이메일 코퍼스를 대상으로 수행되었습니다.

• 프라이버시 성능:

  • PII 노출: DiSan은 보호되지 않은 공유 방식에 비해 답변 수준의 PII 노출을 20배 감소시켰습니다 (11.8% vs 0.6%).
  • 문체론적 귀속(Stylometric Attribution): Enron 데이터셋에서 DiSan은 TF-IDF 문체론적 귀속을 73.2% 감소시켰고, 신경망 프로브(neural probe) 귀속을 70.6% 감소시켰습니다. 반면, 강력한 PII 탐지기를 사용하여 토큰의 19.2%를 마스킹했을 때는 TF-IDF 귀속이 18.6%만 감소했습니다.
  • 프로토타입 유출: 업로드된 프로토타입은 거의 무작위 수준의 귀속 정확도(F1 $\approx$ 0.09)를 달성하여, 소스 지문을 성공적으로 억제했음을 보여주었습니다.

• 유틸리티 성능:

  • 충실도(Faithfulness): DiSan은 분산 RAG 벤치마크에서 **83.17%**의 답변 충실도를 유지하였으며, 이는 보호되지 않은 공유의 베이스라인인 86.10%에 근접한 수치입니다.
  • 비교: DiSan은 플레이스홀더 마스킹, LLM 패러프레이징, 정책 게이팅을 포함한 모든 베이스라인 중 가장 유리한 프라이버시-유틸리티 트레이드오프를 달려 성취했습니다.

• 어블레이션 연구(Ablation Studies):

  • 직교성 제약($L_{orth}$)을 제거하면 PII 노출이 7.3배 증가하여, 스타일 격리가 프라이버시에 결정적임을 확인했습니다.
  • 프로토타입 정렬을 제거하면 역할 공간의 표류가 발생하여, 유틸리티(ChunkHit@3 3.6pp 하락)와 프라이버시 모두 저하되었습니다.

5. 의의 및 주장

본 논문은 식별자 수준의 익명화가 소스 불변 텍스트 공유에 불충분하다고 주장합니다. 이는 사적인 조직 정보가 국소적인 식별자 세트가 아니라 텍스트의 분포적 특성인 경우가 많기 때문입니다.

• 실질적 경로: DiSan은 역할-스타일 직교성과 연합 역할 정렬을 강제함으로써 더 안전한 텍스트 공유를 위한 실질적인 경로를 제공합니다. 이를 통해 에이전트는 내부 관행이나 독점적인 문서 구조를 유출할 수 있는 "조직적 지문"을 드러내지 않고도 태스크 관련 증거를 공유할 수 있습니다.
• 한계 및 범위: 저자들은 DiSan이 공식적인 차분 프라이버시(Differential Privacy, DP) 보장을 제공하지 않는다는 점을 명시했습니다. 그들은 DP를 시퀀스-투-시퀀스 생성에 적용할 경우 과도한 유틸리티 비용(일관성 30~50% 손실)이 발생한다고 주장하며, 본 방식이 정직하지만 호기심 많은(honest-but-curious) 공격자에 대한 경험적 검증에 의존하고 있음을 밝힙니다. 위협 모델에는 악의적인 서버, 포이즈닝(poisoning), 공모(collusion)가 제외됩니다.
• 향후 연구: 논문은 더 강력한 적응형 공격자, 반복 쿼리 설정, 그리고 더 넓은 범위의 교차 도메인 배포에 대한 연구를 향후 과제로 제시합니다.

요약하자면, DiSan은 표면적인 마스킹에서 **표현 수준의 분리(representation-level disentanglement)**로의 전환을 나타내며, 소스 특유의 분포적 시그니처를 효과적으로 억제하면서도 데이터 유틸리티를 보존하는 멀티 에이전트 협업을 가능하게 합니다.