기술 요약: MosaicLeaks: 딥 리서치 에이전트의 쿼리 공개(Querying-in-the-Open)에 따른 프라이버시 위험

문제 정의

딥 리서치 에이전트는 기업의 내부 문서와 외부 도구(예: 웹 검색, 클라우드 API)를 결합하여 정보를 합성하기 위해 점점 더 많이 배치되고 있습니다. 이러한 능력은 작업 성능을 향상시키지만, 에이전트가 외부 도구 호출을 통해 민감한 내부 정보를 유출할 수 있다는 치명적인 프라이버시 위험을 초와합니다. 이 위험은 **모자이크 효과(mosaic effect)**에 의해 더욱 악화됩니다. 이는 개별 쿼리는 독립적으로는 무해해 보이지만, 공격자가 시간이 지남에 따라 이를 누적하여 집계하면 민감한 속성을 드러낼 수 있는 현상을 의미합니다.

기존의 벤치마크와 완화 전략은 주로 이 특정 맥락을 다루는 데 실패하고 있습니다. 선행 연구는 개인적 속성이나 단일 홉(single-hop) 작업에 집중하는 반면, 딥 리서치 벤치마크는 로컬 정보원과 외부 정보원을 병렬적인 관계가 아닌 상호 의존적인 관계로 취급하지 않습니다. 결과적으로, 에이전트는 로컬 컨텍스트에 의존하는 외부 쿼리가 프라이버시 데이터를 재구성할 수 있다는 점을 인식하도록 학습되지 않았습니다.

방법론

1. MosaicLeaks 벤치마크

저자들은 프라이버시 유출을 강제하도록 설계된 1,001개의 멀티 홉 딥 리서치 태스크로 구성된 MosaicLeaks 벤치마크를 도입했습니다.

• 데이터 구축: 이 데이터셋은 로컬 기업 문서(DRBench에서 추출)와 공개 웹 콘텐츠(BrowseComp-Plus에서 추출)를 교차 배치합니다. 태스크는 로컬 하위 질문의 답이 후속 웹 쿼리의 핵심 엔티티 역할을 하는 멀티 홉 체인(예: Local $\to$ Web $\to$ Local)으로 구조화되었습니다.
• 적대적 설정: 적대적 모델(StepFun-3.5-Flash)은 에이전트가 생성한 웹 쿼리의 누적 시퀀스만을 관찰합니다. 이 모델은 로컬 문서나 에이전트의 내부 추론 과정을 보지 못합니다.
• 유출 메트릭: 프라이버시 유출은 세 가지 단계로 높아지는 심각도 수준에 따라 평가됩니다:
  1. 의도 유출(Intent Leakage): 공격자가 에이전트가 추구하고 있는 구체적인 연구 질문을 예측할 수 있는가?
  2. 답변 유출(Answer Leakage): 공격자가 특정 프라이빗 질문에 대한 답을 기업 문서로부터 주어진 쿼리 시퀀스를 통해 답할 수 있는가?
  3. 전체 정보 유출(Full-Information Leakage): 공격자가 특정 질문을 받지 않고도 기업 문서에 대한 검증 가능하고 진실된 사실적 주장을 생성할 수 있는가?

2. 베이스라인 평가

저자들은 여섯 가지 오픈 소스 모델(Qwen3, StepFun, GPT-OSS, Gemma 포함)을 MosaicLeaks에서 평가했습니다.

• 결과: 모델들은 세 가지 수준 모두에서 빈번하게 정보를 유출했습니다.
• 프롬프팅의 한계: 유출을 피하도록 지시하는 나이브한 제로샷(zero-shot) 프롬프팅은 유출을 약간 줄였으나 이를 제거하는 데는 실패했습니다. 어떤 경우에는 쿼리의 프라이버시를 개선하기보다는 단순히 쿼리의 수를 줄이는 데 그쳤습니다.
• 성능 대 프라이버시 트레이드오프: 에이전트를 오직 작업 성능을 위해서만 강화 학습(RL)으로 학습시키면 정확도는 향상되었으나, 프라이버시 유출은 오히려 악화되었습니다. 이는 에이전트가 검색 성공을 보장하기 위해 쿼리에 더 구체적(따라서 유출 가능성이 높은) 세부 사항을 포함하도록 학습되었기 때문입니다.

3. 제안된 솔루션: 프라이버시 인지 딥 리서치 (PA-DR)

이러한 유출-성능 트레이드오프를 해결하기 위해, 저자들은 작업 성공과 프라이버시 보존을 동시에 최적화하는 강화 학습 프레임워크인 PA-DR을 제안합니다.

• 상황별 보상(Situational Rewards): 궤적의 끝에서 단일 보상을 제공하는 표준 결과 기반 RL과 달리, PA-DR은 에이전트가 올바른 문서 소스를 검색했는지 또는 골든(gold) 문서를 선택했는지에 따라 홉(hop) 및 단계(Plan, Choose)별로 밀도 높은 신용 할당(credit assignment)을 제공하는 상황별 보상을 사용합니다.
• 프라이버시 페널티: 26,734개의 레이블링된 예시로 학습된 경량 바이너리 분류기가 웹 쿼리 배치에 따른 유출 확률을 추정합니다. 보상 함수는 이 분류기에서 파생된 페널티를 포함합니다:
  • 직접 유출(Direct Leakage): 현재 배치의 쿼리 자체가 정보를 유출하는 경우 페널티를 부여합니다.
  • 모자이크 유출(Mosaic Leakage): 현재 배치가 전체 궤적의 누적 유출에 얼마나 기여하는지에 따라 페널티를 부여합니다.
  • 최종 프라이버시 보상은 $r_{privacy} = -\max(c_{direct}, c_{mosaic})$로 정의되며, 여기서 비용($c$)은 분류기의 예측된 유출 확률에서 도출됩니다.
• 학습: 이 프레임워크는 상황별 작업 보상과 프라이버시 페널티를 공동 최적화하며 PipelineRL을 사용하여 Qwen3-4B-Instruct 모델을 학습시킵니다.

주요 결과

• 성능 향상: PA-DR로 학습했을 때 Qwen3-4B-Instruct의 엄격한 체인 성공률(strict chain success rate)이 48.7%(베이스라인)에서 **58.7%**로 향상되었습니다.
• 프라이버시 감소: 동일한 학습을 통해 답변 및 전체 정보 유출이 **34.0%**에서 **9.9%**로 감소했습니다.
• 결합 최적화: 프라이버시 인지 프롬프트와 결합했을 때, PA-DR 모델은 **59.3%**의 체인 정확도를 달면서도 유출률은 **7.6%**에 불과했습니다.
• 행동 분석: 프롬프팅은 단순히 쿼리 수를 줄임으로써 유출을 줄인 반면, PA-DR은 모델이 더 많은 쿼리를 생성하되 텍스트 자체는 덜 드러내도록 학습시켰습니다. 모델은 필요한 문서를 검색하면서도 쿼리 텍스트에서 특정 수치(예: "15%")나 답변 유형을 생략하는 법을 배웠으며, 이를 통해 공격자가 프라이빗한 사실을 재구성하는 데 필요한 의미론적 연결 고리를 끊었습니다.
• 비교: PA-DR은 작업 성능만을 위해 학습된 모델이나 표준 결과 기반 RL을 사용하는 모델에 비해, 정확도는 높이고 유출은 낮추면서 파레토 프런티어(Pareto frontier)를 확장합니다.

의의 및 기여

본 논문의 주요 기여는 다음과 같습니다:

1. MosaicLeaks 벤치마크: 로컬-외부 정보 간의 강력한 의존성을 가진 멀티 홉 질문을 통해 딥 리서치 에이전트의 모자이크 유출을 명시적으로 테스트하는 새로운 평가 프레임워크를 제시했습니다.
2. 경험적 분석: 표준 딥 리서치 에이전트가 기업 데이터를 자주 유출하며, 작업 성능만을 최적화하는 것이 이 위험을 악화시킨다는 점을 입증했습니다. 또한 프롬프팅 기반의 개입이 이 작업에는 불충분함을 보여주었습니다.
3. PA-DR 프레임워크: 프라이버시 인지 딥 리서치 학습을 공동 목적 함수로 정식화한 원칙적인 접근법을 제안했습니다. 쿼리 단위 및 모자이크 수준의 유출에 대해 밀도 높은 신용 할당을 제공하는 학습된 프라이버시 분류기를 사용함으로써, 저자들은 높은 정확도와 프라이버시 보존을 동시에 달-성하는 에이전트를 학습시킬 수 있음을 보여주었습니다.

저자들은 현재의 에이전트들이 모자이크 유출에 취약하지만, 상황별 프라이버시 보상을 갖춘 RL 기반 학습이 데이터 보안을 저해하지 않으면서도 민감한 기업 환경에 딥 리서치 에이전트를 배포할 수 있는 실행 가능한 경로를 제공한다고 결론짓습니다.