기술 요약: IDP-Bench

문제 정의

대규모 언어 모델(LLM)이 민감한 사용자 데이터에 접근하는 개인용 AI 비서로 점점 더 많이 배치됨에 따라, 프라이버시를 보장하는 것이 중요한 안전 과제가 되었습니다. 기존 연구는 개인 수준의 프라이버시 위험을 광범위하게 벤치마킹해 왔으나, 이러한 평가는 **상호의존적 프라이버시(Interdependent Privacy, IDP)**를 간과하는 경우가 많습니다. IDP는 한 사람의 프라이버시가 타인의 데이터 공유 결정에 종속되는 시나리오를 설명하며, 이는 개인 데이터가 단일 개인이 아닌 여러 명에 의해 공동 소유될 수 있음을 의미합니다.

실제 사회기술적 시스템에서 LLM 에이전트는 종종 여러 주체가 관련된 데이터(예: 회의록, 그룹 채팅, 연락처 목록, 공유 사진)를 처리합니다. CI-Bench 및 PrivacyLens와 같은 현재의 벤치마크는 주로 단일 주체 시나리오에 집중하거나, 동일한 데이터 흐름에 연루된 여러 개인을 공식적으로 구분하지 않습니다. 결과적으로, LLM이 데이터에 연루된 당사자들이 데이터 흐름에 동의하지 않았거나 심지어 인지조차 못 할 수 있는 상황에서 요구되는 복잡한 프라이버시 규범에 대해 추론할 수 있는지에 대한 이해에 격차가 존재합니다.

방법론

저자들은 상호의존적 프라이버시 시나리오에 대한 LLM의 추론 능력을 평가하기 위해 설계된 최초의 벤치마크인 IDP-Bench를 소개합니다. 이 방법론은 맥락적 무결성(Contextual Integrity, CI) 프레임워크와 IDP 이론에 근거하며, 세 가지 주요 구성 요소인 위험 모델, 데이터 생성 파이프라인, 다단계 평가 프로토콜로 구조화되어 있습니다.

1. 위험 모델

이 벤치마크는 네 가지 구성 요소와 하나의 정보 객체를 포함하는 프라이버시 위험 시나리오를 정의합니다:

• 데이터 송신자 ($u$): 공유를 시작하는 개인.
• 데이터 수신자 ($r$): 공유의 의도된 대상.
• 주요 데이터 주체 ($d_p$): 데이터가 관련한 핵심 개인.
• 부차적 데이터 주체 ($\{d_{s1}, \dots, d_{sk}\}$): 데이터 내에 동시에 노출되어 있으나 동의하지 않았을 수 있는 추가적인 개인들의 비어 있지 않은 집합.
• 전송 원칙 ($tp$): 전송 방식.

핵-과제는 LLM이 데이터 $D$가 다수 주체에 관한 것임을 올바르게 식별하고, 모든 연루된 개인들을 인식하며, 부차적 주체의 동의 부재를 고려할 때 정보 흐름의 적절성을 판단할 수 있는지 결정하는 것입니다.

2. 데이터 생성 파이프라인

이 벤치마크는 100개의 고유한 시나리오(필터링 후 97개 사용)를 생성하기 위해 합성 파이프라인을 활용하며, 다음을 포함합니다:

• 시드 확장(Seed Extension): 493개의 PrivacyLens 시드(5-튜플)에서 시작하여, 저자들은 Qwen2.5-72B-Instruct를 사용하여 이를 9개 필드의 IDP 시드로 확장했습니다. 여기에는 부차적 주체, 상호의존 유형(공동 소유, 상관관계, 가족 관계, 위치 공유), 상호의존 설명 필드를 추가하는 과정이 포함되었습니다.
• 검증(Verification): 단위 테스트 검증기가 구조적 및 의미적 유효성을 확인하여, 부차적 주체가 주요 주체와 구별되는지, 그리고 시나리오가 전문적인 직업적 환경보다는 일상적인 IDP 맥락(예: 소셜 미디어, 그룹 채팅)을 현실적으로 반영하는지 확인합니다.
• 비넷 생성(Vignette Generation): 검증된 시드는 7문장 구성의 서사(narrative)로 확장됩니다. 처음 6문장은 행위자와 공동 데이터를 설정하되 명시적인 라벨 없이 제시되며, 일곱 번째 문장(평가 시에는 숨겨짐)은 부차적 주체에 대한 프라이버시 유출을 명시적으로 밝힙니다.
• 미지정 지침(Underspecified Instructions): 각 비넷은 무엇을 공유할지 또는 누가 연루되었는지에 대한 구체적인 세부 사항을 생략한 고수준의 공유 지침과 쌍을 이루며, 이를 통해 모델이 프라이버시 제약 조건을 추론하도록 강제합니다.

3. 평가 프로토콜

평가는 두 개의 독립적인 LLM 판사(Llama-3.1-70B 및 Qwen2.5-72B)를 사용하여 세 단계의 점진적 추론 수준에 걸쳐 8개의 오픈 소스 LLM(Qwen2.5 제품군 및 Llama-3.1 제품군)을 조사합니다:

• 단계 1: 맥락 이해 (Q1–Q7): CI 파라미터(정보 속성, 주요/부차적 주체, 송신자, 수신자, 전송 원칙)를 추출하고 부차적 주체에 대해 어떤 정보가 드러날지를 식별합니다.
• 단계 2: 공동 소유 인식 (Q8): 데이터가 여러 개인에 의해 공동 소유되었는지 여부를 결정합니다.
• 단계 3: 적절성 판단 (Q9): 공유가 적절한지 결정하고 그 근거를 제공합니다.

평가는 문구에 대한 민감도를 측정하기 위해 질문당 5개의 프롬프트 변형을 사용하며, 의미적 매칭, 부분 점수, 엄격한 완전 일치(exact matching)를 위한 특정 프롬프트를 사용하는 LLM-as-a-judge 방식을 채택합니다.

주요 기여

1. CI 시드의 확장: 저자들은 부차적 주체와 상호의존 기술자를 포함하도록 PrivacyLens 5-튜플 형식을 확장함으로써 단일 주체에서 다수 주체로의 전환을 공식화했습니다.
2. IDP-Bench 구축: 다양한 다수 주체 데이터 유형(회의록, 그룹 사진, 연락처 목록 등)을 다루며 현실적인 디지털 플랫폼에 기반한 100개의 IDP 시나리오 합성 벤치마크를 구축했습니다.
3. 포괄적 평가: 맥락 이해, 공동 소유 인식, 적절성 판단에 걸쳐 모델 규모 및 제품군별 성능을 비교하며 오픈 소스 LLM을 다각도로 평가했습니다.

결과

8개의 모델(1.5B에서 72B 파라미터 범위)을 평가한 결과 다음과 같은 결과가 도출되었습니다:

• 공동 소유 인식 (단계 2): 모델들은 이 부분에서 강력한 성능을 보였습니다. 8개 모델 중 6개가 Q8에서 90% 이상의 점수를 기록했으며, 대규모 모델(예: Llama-3.1-70B, Qwen2.5-72B)은 거의 천장에 도달하는 성능을 보였습니다. 이는 모델이 명시적으로 요청되었을 때 공동 소유의 존재를 안정적으로 식별할 수 있음을 시사합니다.
• 맥락 이해 (단계 1): 성능이 혼재되어 있으며 일반적으로 더 낮았습니다.
  • 송신자/수신자 식별: 대규모 모델에서는 일반적으로 높았으나(70–90%), 작은 모델(예: Qwen2.5-1.5B)은 크게 어려움을 겪었습니다(38–40%).
  • 주요/부차적 주체 식별: 이는 여전히 큰 과제로 남아 있습니다. 주요 주체 식별(Q2)은 규모에 따라 개선되지만, 부차적 주체 식별(Q3)은 일관된 스케일링을 보이지 않았습니다. 예를 들어, 일부 판사 구성에서 Qwen2.5-14B가 Qwen2.5-72B보다 높은 성능을 보이기도 했습니다.
  • 정보 속성 (Q1): 모든 모델이 76% 미만의 점수를 기록하여, 핵심 데이터 유형을 분류하는 데 어려움이 있음을 나타냈습니다.
• 적절성 판단 (단계 3): 모델 규모에 따라 성능이 향상됩니다. 두 개의 가장 큰 Qwen 모델(32B, 72B)은 91–96%의 정확도를 달성한 반면, 작은 모델(1.5B, 3B, 7B)은 60–71% 범위에 머물렀습니다. 주목할 점은, 대규모 모델들이 기초가 되는 특정 부차적 주체나 정보 속성을 정확히 식별하는 데 실패하더라도, 올바른 규범적 결론(공유가 부적절함)에 도달하는 경우가 많다는 것입니다.
• 프롬프트 민감도: 성능은 프롬프트 변형에 따라 크게 달라졌으며, 특히 IDP 관련 질문에서 그러했는데, 이는 이러한 시나리오에 대한 추론의 견고함이 부족함을 강조합니다.

의의 및 주장

본 논문은 IDP-Bench가 현재 LLM 프라이버시 능력의 결정적인 격차를 드러낸다고 주장합니다: 즉, 모델은 데이터가 공동 소유되었음을 인식할 수는 있지만, 누가 연루되었는지 또는 어떤 구체적인 정보가 위험에 처해 있는지와 같은 더 세밀한 추론에는 어려움을 겪습니다.

저자들은 다음을 강조합니다:

• 규모가 만병통치약은 아니다: 적절성 판단은 모델 크기에 따라 개선되지만, 작은 모델과 심지어 일부 큰 모델조차도 견고한 프라이버시 보호에 필요한 상세한 IDP 파라미터(부차적 주체)를 일관되게 해결하지 못합니다.
• 현재의 벤치마크는 불충분하다: 단일 주체 시나리오에 집중하는 기존 프라이버시 벤치마크는 데이터의 관계적 특성을 포착하지 못하며, 이는 LLM 프라이버시에 대한 잘못된 안전감을 줄 수 있습니다.
• 향후 방향: 본 연구는 모델이 단순히 질문에 답하는 것을 넘어 행동을 수행하는 에이전트 환경으로 평가를 확장하고, 데이터의 다수 주체 특성을 고려한 훈련 목표를 개발하는 것을 포함하여, LLM 프라이버시 연구에서 IDP에 대한 더 표적화된 연구의 필요성을 강조합니다.

저자들은 현재의 평가가 추론 기반이며, 모델이 도구를 사용하여 프라이버시를 침해하는 행동을 실행하는 행동 기반(action-based) 설정은 아직 포함되지 않았음을 언급하며, 이를 필수적인 향후 확장 과제로 식별하며 겸허한 태도를 유지하고 있습니다.