기술 요약: POLAR-Bench

문제 제기

대형 언어 모델 (LLM) 에이전트는 사용자를 대신하여 행동하기 위해 점점 더 많이 배포되고 있으며, 개인 문서를 접근하고 제 3 자 시스템과 상호작용하여 작업을 완료합니다. 이러한 시나리오에서 신뢰할 수 있는 에이전트는 작업을 완료하기 위해 충분한 정보를 공유하는 것 (유용성) 과 민감한 데이터를 공개하지 않기 위해 사용자 정의 개인정보 보호 정책을 엄격히 준수하는 것 (개인정보 보호) 사이에서 상충되는 두 가지 요구 사항을 균형 있게 조정해야 합니다. 제 3 자 시스템이 직접적인 프롬프트 인젝션, 역할극, 또는 점진적 유도 전략과 같은 전략을 사용하여 보호된 속성을 추출하는 적대적으로 행동할 때 이러한 도전은 더욱 복잡해집니다.

에이전트 환경에서의 개인정보 보호를 평가하는 기존 벤치마크는 상당한 한계를 겪고 있습니다. 대부분의 벤치마크는 고정된 조건 하에서 모델을 평가하며, 한 번에 단일 정책 유형 또는 단일 공격 전략만 테스트합니다. 어떤 벤치마크도 개인정보 보호 정책의 차원과 공격 전략을 공동 축으로 동시에 변화시키지 않습니다. 결과적으로 개인정보 보호 - 유용성 트레이드오프는 충분히 탐구되지 않았으며, 모델의 의지 추종 능력이 정확히 어디서 무너지는지 파악하기 어렵습니다.

방법론

저자들은 적대적 조건 하에서 LLM 에이전트의 개인정보 보호 - 유용성 트레이드오프를 평가하도록 설계된 진단 프레임워크인 POLAR-Bench(Policy-aware adversarial Benchmark, 정책 인식 적대적 벤치마크) 를 소개합니다.

벤치마크 구조

POLAR-Bench 는 평가되는 각 모델에 대해 두 개의 직교 축을 변화시키는 5 × 5 진단 표면을 구성합니다.

1. 개인정보 보호 정책 차원 ($L_P$): 명시적 필드 제약 (P1) 에서 의미적 제약 (P2), 조건부 공개 (P3), 부분/추상화 공개 (P4), 그리고 상충되는 목표 (P5) 에 이르기까지 증가하는 추론 난이도의 다섯 가지 수준.
2. 공격 전략 ($L_S$): 정보 유도를 위해 적대적 제 3 자 모델이 사용하는 다섯 가지 전략으로, 직접적인 단일 턴 요청 (S1) 에서 예/아니오 축소 (S2), 역할 혼동 (S3), 프롬프트 인젝션 (S4), 그리고 다중 턴 점진적 유도 (S5) 에 이르기까지 다양합니다.

데이터 생성 및 평가

• 데이터셋: 이 벤치마크는 의료, 법률, 금융 등 10 개의 도메인에 걸쳐 총 7,852 개의 샘플을 포함합니다.
• 생성 파이프라인: 샘플은 작업 관련 속성 ($A_{task}$), 보호된 속성 ($A_{protected}$), 그리고 관련 없는 노이즈 ($A_{other}$) 를 포함하는 구조화된 JSON 프로필에서 생성됩니다. 이러한 데이터는 자연어 소스 문서, 개인정보 보호 정책, 작업 지시사항, 그리고 공격자 프롬프트로 렌더링됩니다.
• 분리: 핵심 설계 원칙은 작업 지시사항 ($T$) 에 개인정보 보호 힌트가 없도록 하여, 모델이 제약 조건을 위해 오직 개인정보 보호 정책 ($P$) 에만 의존하도록 강제합니다.
• 평가 프로토콜: 신뢰할 수 있는 모델 ($T$) 이 고정된 적대적 모델 ($E$) 과 대화합니다. 상호작용은 기준 진실 속성에 대한 정규식 기반 집합 소속성 검사를 사용하여 결정론적으로 점수화되며, 점수화 루프에서 LLM 판정자의 필요성을 제거합니다.
  • 개인정보 보호 점수: 성공적으로 공개되지 않은 보호된 속성의 비율.
  • 유용성 점수: 성공적으로 공유된 작업 관련 속성의 비율.
  • 전체 점수: 개인정보 보호와 유용성의 볼록 결합 (기본값 $\lambda = 0.5$).

주요 기여

1. 최초의 공동 진단 표면: POLAR-Bench 는 개인정보 보호 정책 차원과 공격 전략을 공동 축으로 변화시키는 최초의 벤치마크로, 집계 점수가 아닌 특정 실패 모드를 드러내는 5 × 5 평가 표면을 생성합니다.
2. 결정론적 점수화: 구조화된 기준 진실에 대한 정규식 기반 매칭을 사용하여, 결과 점수화를 위한 LLM 기반 판정자와 관련된 주관성과 환각 위험을 피합니다.
3. 종합적 커버리지: 이 벤치마크는 10 개의 다양한 도메인과 7,852 개의 샘플을 다루며, 3B 에서 120B 파라미터에 이르는 다양한 독점 및 오픈 가중치 모델을 평가합니다.
4. 방어 스트레스 테스트: 이 프레임워크는 추론 시간 방어와 호환되도록 설계되어 PrivacyChecker 와 같은 메커니즘의 평가를 가능하게 합니다.

결과

최첨단 및 오픈 가중치 모델에 대한 평가는 날카로운 성능 분할을 드러냅니다.

• 최첨단 모델: 현재 최첨단 모델 (예: GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) 은 99% 이상의 보호된 속성을 공개하지 않으면서 높은 유용성을 유지하는 견고한 의지 추종 능력을 보여줍니다.
• 소형 오픈 가중치 모델: 온디바이스 또는 개인 추론 에이전트로 일반적으로 배포되는 1–30B 범위의 모델은 훨씬 더 낮은 점수를 받습니다. 가장 약한 모델들은 보호된 속성의 50% 이상을 유출합니다. 일부 소형 모델은 유용성을 희생하여 (과도하게 보수적으로 되어) 만 개인정보를 유지하는 반면, 다른 모델들은 개인정보 보호를 희생하여 유용성을 우선시합니다.
• 모델 크기와 능력: 모델 크기만으로는 개인정보 보호나 유용성의 신뢰할 수 있는 예측 변수가 아닙니다. 확장 효과는 모델 패밀리 내에서 일관성이 없습니다. 대신, 일반 추론 능력 (GPQA Diamond 점수로 대리됨) 은 개인정보 보호와 강한 양의 상관관계 ($r=0.752$) 를 보이지만 유용성과는 약한 음의 상관관계를 보여, 더 강력한 추론자는 과도하게 보수적일 수 있음을 시사합니다.
• 공격 취약성:
  • S2(예/아니오 축소) 와 S5(다중 턴 점진적 유도) 가 가장 효과적인 공격 전략으로, 개인정보 보호 점수에서 가장 큰 하락과 모델 간 가장 높은 변이를 초래합니다.
  • S1(직접 단일 턴) 은 방어하기 가장 쉽습니다.
  • 개인정보 보호 견고성은 직접 공격을 통해서만 평가될 수 없으며, 점진적 및 대화형 공격이 정확한 평가를 위해 필수적입니다.
• 도메인 변동성: 모델 순위는 도메인 간에 상대적으로 안정적이지만, 절대적 성능은 변합니다. "고객 지원"은 유용성 측면에서 가장 도전적인 도메인인 반면, "채용"은 가장 높은 개인정보 보호 위험과 변이를 보입니다.

중요성 및 주장

이 논문은 POLAR-Bench 가 가장 중요한 곳에서 개인정보 보호 정렬을 위한 필수적인 "발판"을 제공한다고 주장합니다. 그 주요 중요성은 모델의 의지 추종이 어디서 무너지는지 국소화하는 데 있습니다. 단순히 모델이 실패하는지 여부를 보고하는 대신, 진단 표면은 어떻게 실패하는지를 식별합니다.

• 보호된 정보를 과도하게 공개함으로써 실패하는지.
• 작업을 완료하기 위해 너무 보수적으로 변함으로써 실패하는지.
• 특정 공격 전략이나 정책 유형 하에서 실패하는지.

저자들은 최첨단 모델과 1–30B 오픈 가중치 클래스 간의 격차가 배포에 있어 중요하다고 강조합니다. 사용자들이 개인 데이터를 제 3 자 API 로 보내지 않기 위해 점점 더 이러한 작고 로컬에 배포 가능한 모델을 신뢰할 수 있는 에이전트로 의존하고 있기 때문입니다. 이 논문은 정렬과 훈련 선택이 파라미터 수 단독보다 성능을 더 주도하며, 추론 능력이 더 나은 작업 완료를 보장하지는 않더라도 무엇을 공개하지 말아야 하는지 인식하는 능력과 강하게 상관관계가 있다고 가정합니다.

마지막으로, 이 벤치마크는 특히 작고 배포 관련이 있는 모델 클래스를 대상으로 하는 차세대 개인정보 보호 인식 정렬 및 추론 시간 방어를 위한 스트레스 테스트 역할을 합니다.