🤖 AI

What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media

이 논문은 사용자 수준의 멀티모달 개인정보 유출을 위한 합성 벤치마크인 SopriBench와, 귀추적 추론을 활용하여 기존 베이스라인 대비 누적 교차 게시물 개인정보 추론 성능을 25% 향상시킨 훈련 불필요 에이전트 프레임워크인 Argus를 소개한다.

원저자: Zifan Peng, Yini Huang, Aiwen Lu, Qiming Ye, Peixian Zhang, Jingyi Zheng, Yule Liu, Xuechao Wang, Xinlei He, Jiaheng Wei

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zifan Peng, Yini Huang, Aiwen Lu, Qiming Ye, Peixian Zhang, Jingyi Zheng, Yule Liu, Xuechao Wang, Xinlei He, Jiaheng Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 프라이버시의 "직소 퍼즐"

당신이 숨바꼭질 게임을 하고 있다고 상상해 보세요. 그런데 숨기는 것이 사람이 아니라 당신의 집 주소입니다.

대부분의 사람들은 자신이 명시적으로 "나는 마플 스트리트 123번지에 산다"라고 말하지 않는 한 안전하다고 생각합니다. 하지만 이 논문은 프라이버시 유출이 직소 퍼즐과 같다고 주장합니다.

포스트 1: 당신이 아침 커피 사진을 올립니다. (무해함)
포스트 2: 당신이 출근길 사진을 올리는데, 특정 지하철역이 보입니다. (무해함)
포스트 3: 당신이 점심 식사 사진을 올리는데, 독특한 레스토랑 간판이 보입니다. (무해함)

개별적으로 보면 이 포스트들은 그저 평범한 일상 업데이트일 뿐입니다. 하지만 누군가 이것들을 하나로 모으면, 당신이 정확히 어디에 살고, 어디에서 일하며, 어떤 일과를 보내는지 알아낼 수 있습니다. 이것을 **누적 유출(cumulative leakage)**이라고 부릅니다. 위험은 하나의 큰 비밀에 있는 것이 아니라, 수백 개의 작고 무해한 단서들이 모여 완성된 그림을 만드는 데 있습니다.

문제점: 적절한 테스트가 없었다

연구진은 기존 연구 방식에 두 가지 주요 문제가 있음을 발견했습니다.

좋은 "시험(Benchmark)"의 부재: 이전의 테스트들은 단일 포스트(예: "이 사진 한 장이 이름을 드러내는가?")만을 살펴보았습니다. 50개의 서로 다른 포스트에 걸쳐 있는 단서들을 연결하여 AI가 전체 '퍼즐'을 풀 수 있는지에 대해서는 테스트하지 않았습니다.
잘못된 채점 방식: 기존의 테스트는 "합격/불합격" 판정을 내렸습니다. AI가 당신의 도시를 맞히면 1점을 얻고, 당신의 정확한 거리(street)를 맞혀도 1점을 얻었습니다. 연구진은 이것이 불공평하다고 말합니다. 도시를 맞히는 것은 작은 유출이지만, 정확한 아파트 호수까지 맞히는 것은 매우 크고 위험한 유출이기 때문입니다. 우리는 단순히 유출이 '발생했는지'가 아니라, 유출이 얼마나 심각한지를 측정할 방법이 필요합니다.

해결책: SopriBench (테스트)

이를 해결하기 위해 팀은 SopriBench를 구축했습니다.

이것은 무엇인가? 가상의 합성 소셜 미디어 데이터셋입니다. (프라이버시 보호를 위해 실제 사람의 데이터를 사용하지 않았습니다.) 대신, 사람들이 어떻게 실수로 정보를 유출하는지 이해하기 위해 Rednote나 Instagram 같은 앱의 실제 포스트 수천 개를 연구했습니다. 그런 다음 그 지식을 활용하여 50개의 포스트와 1,569개의 이미지를 가진 50개의 가상 사용자 프로필을 만들었습니다.
"프라이버시 노출 점수(PES)": 이것은 그들의 새로운 채점 시스템입니다.
- AI가 당신의 국가를 맞히면 낮은 점수를 받습니다.
- AI가 당신의 도시를 맞히면 중간 점수를 받습니다.
- AI가 당신의 정확한 집 주소를 맞히면 높은 점수를 받습니다.
- 비유: 이것은 일기 예보와 같습니다. "비가 온다"는 것을 아는 것은 괜찮습니다. 하지만 "오후 3시에 정확히 당신의 지붕 위로 비가 내리고 있다"는 것을 아는 것은 훨씬 더 구체적이며, 도둑에게 훨씬 더 유용할 수 있습니다.

새로운 탐정: Argus

연구진은 또한 새로운 AI 탐정인 Argus를 만들었습니다.

다른 AI들의 작동 방식: 대부분의 AI는 복사기와 같습니다. 포스트를 보여주면 즉시 "커피 컵이 보이니, 이 사람은 커피를 좋아한다"라고 말합니다. 이들은 각 포스트를 독립적으로 보고 빠르게 추측합니다.
Argus의 작동 방식: Argus는 사립 탐정이나 형사와 같습니다.
1. 훑어보기(The Skim): 50개의 포스트를 빠르게 살펴보고 모든 작은 단서들(티켓, 배경의 표지판, 타임스탬프 등)을 기록합니다.
2. 가설 설정(The Hypothesis): 가설을 세웁니다: "이 사람은 상하이에 살고 있는 것 아닐까?"
3. 조사(The Investigation): 단순히 추측만 하지 않습니다. 다른 포스트들을 다시 확인하여 검증합니다. "잠깐, 12번 포스트에 지하철 노선도가 있었어. 이게 상하이와 일치하나?" Argus는 자신의 이론을 검증하기 위해 도구(지도 검색이나 이미지 속 텍스트 읽기 등)를 사용합니다.
4. 판결(The Verdict): 여러 포스트에서 나온 증거들이 일치할 때 비로소 최종 답변을 작성합니다.

결과: Argus는 다른 AI들보다 "퍼즐"을 푸는 데 훨씬 뛰어났습니다. 특히 단서들이 여러 포스트에 흩어져 있을 때, 개인 정보를 찾아내는 정확도를 25% 향상시켰습니다.

이것이 왜 중요한가 (논문에 따르면)

논문은 우리가 소셜 미디어 프라이버시를 "한 번에 하나의 포스트" 관점으로 보는 것을 멈춰야 한다고 결론짓습니다.

핵심 요점: 당신이 주소를 직접 게시하지 않는다고 해서 안전한 것은 아닙니다. 시간이 지나면서 작고 무해한 세부 사항들을 충분히 게시한다면, 스마트한 시스템(또는 사람)은 점들을 연결하여 당신의 가장 깊은 비밀을 찾아낼 수 있습니다.
경고: 이 논문은 현재의 AI 도구들이 이러한 "연결자(connector)" 역할을 수행하는 데 매우 능숙해지고 있음을 보여줍니다. 우리가 이를 측정하고 막는 더 나은 방법을 개발하지 않는다면, 우리의 디지털 발자국은 우리가 생각하는 것보다 훨씬 더 많은 것을 드러내게 될 것입니다.

요약하자면, 이 논문은 더 나은 테스트(SopriBench)와 더 똑똑한 탐정(Argus)을 구축함으로써, 프라이버시 유출은 '점 잇기(connect-the-dots)' 게임과 같으며, 그 결과로 그려지는 그림은 우리가 생각하는 것보다 훨씬 더 상세하다는 것을 증명했습니다.

기술 요약: 사용자 수준의 프라이버시 유출에 관한 SopriBench 및 Argus 연구

문제 정의
소셜 미디어 프라이버시에 관한 기존 연구는 주로 게시물 수준의 자기 공개(self-disclosure)나 단일 게시물 내의 명시적인 개인 식별 정보(PII) 탐지에 집중되어 있습니다. 그러나 본 논문은 사용자 수준의 프라이버시 유출이 근본적으로 누적적이며 게시물을 가로지르는(cross-post) 성격을 띤다고 주장합니다. 텍스트, 이미지, 메타데이터에 흩어져 있는 약한 단서들은 개별적으로는 무해할 수 있으나, 이를 종합하면 집 주소, 직장, 일상 루틴, 사회적 관계와 같은 민감한 사용자 속성을 공동으로 노출할 수 있습니다.

기존 방식은 두 가지 주요 격차를 보입니다:

통합된 벤치마크의 부재: 여러 게시물과 모달리티(modality)에 걸쳐 발생하는 약한 단서의 축적을 고려한 사용자 수준의 멀티모달 프라이버시 유출에 대한 표준화된 벤치마크가 없습니다. 실제 사용자 데이터셋은 민감성 문제로 공개하기 어렵고, 기존의 합성 데이터셋은 여전히 게시물 수준에 머물러 있습니다.
부적절한 평가 지표: 표준 평가는 이진 정확도(맞음/틀림)에 의존하며, 이는 노출의 심각성을 포착하지 못합니다. 거친 추론(예: 도시 단위 위치)과 세밀한 추론(예: 특정 주거 단지)은 위험도가 크게 다름에도 불구하고 동일하게 취급됩니다. 또한, 맥락에 따라 민감도가 달라집니다 (예: 소수 성적 지향을 추론하는 것은 다수 성적 지향을 추론하는 것보다 더 민감함).

방법론

1. SopriBench: 합성 벤치마크
데이터 격차를 해결하기 위해 저자들은 161개의 Rednote 및 157개의 Instagram 계정에서 추출한 프라이버시 유출 패턴을 바탕으로 설계된 제어 가능한 합성 벤치마크인 SopriBench를 제안합니다.

구성: 이 벤치마크는 50개의 합성 사용자 프로필, 500개의 멀티모달 게시물, 1,569개의 이미지를 포함합니다. 실제 사용자 데이터를 복제하는 대신, 비식별화된 패턴(시나리오, 단서 전달자, 유출 형태)을 사용하여 합성 콘텐츠를 생성합니다.
주석(Annotation): 각 게시물에는 정답(ground-truth) 속성, 맥락적 민감도(1~5 척도), 가치 정밀도(예: 국가에서 주소까지), 유출 유형(명시적, 암시적, 게시물 간 유출), 추론 난이도 및 근거가 주석 처리되어 있습니다.
프라이버시 노출 점수 (PES): 저자들은 새로운 평가 지표로서 PES를 도입합니다. 이진 정확도와 달리, PES는 추론된 값의 **정밀도(granularity)**를 맥락적 민감도에 따라 가중치를 두어 계산합니다.
$PES = \frac{\sum_j g_j \cdot s_j}{\sum_j s_j}$
여기서 $g_j$ 는 정밀도 점수(0~1)이고 $s_j$ 는 민감도 점수입니다. 이 지표는 거친 노출과 세밀한 노출을 구분하고 민감한 속성에 우선순위를 둡니다.

2. Argus: 에이전트 기반 추론 프레임워크
본 논문은 **가추법(abductive reasoning, 최선의 설명을 향한 추론)**에서 영감을 받은 훈련이 필요 없는 에이전트 기반 프레임워크인 Argus를 제안합니다. Argus는 프라이버시 추론을 일회성 분류 작업이 아닌, 반복적이고 증거에 기반한 조사 과정으로 취급합니다.

교차 게시물 증거 그래프 (CPeg): Argus는 게시물, 원시 증거, 가설, 그리고 이들의 인용/지지 관계를 저장하는 지속적인 그래프 구조를 유지합니다. 이를 통해 시스템은 여러 게시물에 흩어진 약한 단서들을 연결할 수 있습니다.
워크플로우:
1. Perceiver (인지자): 공개된 게시물을 훑어 원시 증거(캡션, OCR 후보, 시각적 태그)를 추출하고 CPeg를 초기화합니다.
2. Hypothesizer (가설 생성자): 축적된 증거를 바탕으로 프라이버시 속성에 대한 후보 가설을 생성합니다. 가설은 '후보(Candidate, 미검증)' 또는 '미결(Unresolved, 확인되었으나 불충분함)' 상태로 저장됩니다.
3. Investigator (조사자): 활성화된 가설을 적절한 도구(OCR, 웹 검색, 지도 검색, 시각적 재검사)로 라우팅하여 누락된 증거를 수집합니다.
4. Verifier (검증자): 수집된 증거를 가설과 대조하여 검증합니다. 근거가 확보된 증거만 수용되며, 뒷받침되지 않는 가설은 중단되거나 제거됩니다.
5. Profile Projection (프로필 투영): 충분히 뒷받침된 가설을 파생된 증거로 변환하고 최종 프라이버시 프로필로 투영합니다.
핵심 메커니즘: 이 프레임워크는 불확실성을 명시적으로 추적합니다. 게시물과 모달리티를 가로지르는 증거 체인이 특정 속성 값을 지지할 때까지 특정 값에 대해 확정 짓지 않습니다.

결과

실험은 SopriBench에서 Argus를 다섯 가지 베이스라인(TextLLM, PostVLM, SelfDisc, Holmes(시각적 프로파일링), SingleAgent(특정 Argus 아키텍처가 없는 멀티모달 도구 사용 에이전트))와 비교하여 수행되었습니다.

성능: Argus는 PES 0.55를 달성하였으며, 이는 가장 강력한 베이스라인인 SingleAgent(0.44)보다 25% 상대적으로 향상된 수치입니다.
교차 게시물 유출: 가장 큰 성능 향상은 교차 게시물 유출 시나리오에서 관찰되었는데, Argus는 SingleAgent 대비 PES를 +0.17(0.39에서 0.56으로) 개선했습니다. 이는 흩어진 단서들을 연결하는 프레임워크의 능력을 입증합니다.
절제 연구 (Ablation Studies):
- Verifier를 제거하면 이진 정확도는 증가(0.71에서 0.74)했으나, PES는 감소(0.55에서 0.50)했습니다. 이는 이진 정확도가 추측성/거친 추측에 보상을 주는 반면, PES는 구체적이고 민감하며 검증된 노출을 선호함을 확인시켜 줍니다.
- CPeg를 제거하면 교차 게시물 PES가 급격히 하락(0.56에서 0.38)하여, 누적된 유출을 위한 지속적인 증거 메모리의 필요성을 입증했습니다.
- Investigator(도구 라우팅)를 제거했을 때 전체적인 성능 저하가 가장 컸으며, 이는 능동적인 증거 수집의 중요성을 강조합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 한다고 주장합니다:

문제 식별: 공공 소셜 미디어에서의 사용자 수준 프라이버시 위험은 단일 게시물의 명시적 공개가 아니라, 게시물과 모달리티 전반에 걸친 약한 단서들의 누적적 특성에서 발생함을 확립했습니다.
벤치마크 및 지표: SopriBench와 PES를 도입하여, 사용자 수준의 멀티모달 유출에 대한 최초의 제어 가능한 벤치마크와 이진 정확도를 넘어 노출의 심각성을 포착하는 지표를 제공합니다.
에이전트 프레임워크: 가추적 추론 과정을 모델링한 훈련이 필요 없는 프레임워크인 Argus를 제시합니다. 명시적인 가설을 유지하고 그래프 구조를 통해 증거를 검증함으로써, Argus는 효과적으로 교차 게시물 단서들을 종합합니다.

저자들은 결론적으로, 공공 소셜 미디어 프라이버시를 평가하기 위해서는 고립된 게시물 수준의 공개 탐지에서 사용자 수준, 멀티모달, 그리고 교차 게시물 추론 패러다임으로 전환해야 한다고 주장합니다. 이들은 본 연구를 누적된 데이터 노출 시대에 사용자 프라이버시를 더 잘 이해하고 보호하기 위한 단계로 위치시키며, 동시에 벤치마크의 합성적 성격과 기초 모델의 진화하는 능력에 따른 한계점을 언급하였습니다.