AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

디지털 세상에서 우리는 흔히 누군가 우리의 비밀번호를 훔치거나, 계정을 해킹하거나, 우리를 속여 비밀을 알아낼 때만 프라이버시가 침해된다고 가정합니다. 하지만 우리의 사적인 삶이 노출되는 데에는 아무런 절도도, 거짓말도 필요하지 않은, 더 조용하고 미묘한 방법이 있습니다. 그것은 관찰자가 우리의 공개 게시물 중 어떤 것을 어떤 순서로 볼지 선택할 수 있도록 허용될 때 발생합니다. 당신의 정치적 견해나 소득을 추측하고자 하는 사람이 있다고 상상해 보십시오. 그들이 당신이 쓴 모든 것을 읽는 대신, 당신의 공개 게시물 목록을 받은 뒤 가장 많은 것을 드러내는 열 개를 먼저 골라 읽을 수 있는 특별한 도구를 가졌다고 가정해 봅시다. 설령 그들이 선택한 모든 게시물이 실제이고, 진실하며, 당신이 작성한 그대로라고 할지라도, 가장 흥미로운 것들을 고르는 행위 자체만으로도 그들이 당신에 대해 이야기할 수 있는 서사를 변화시킵니다. 이것이 새로운 보안 문제의 핵심인 '노출 제어(exposure control)'의 힘입니다. 이는 증거 자체를 수정하지 않고도 관찰자에게 제공되는 증거의 형태를 결정할 수 있는 능력입니다.

연구자들은 이제 이러한 종류의 선택이 정확히 어느 정도의 피해를 줄 수 있는지 측정하는 시스템을 구축했습니다. 그들은 인공지능이 사람의 공개적인 글쓰기만을 바탕으로 나이, 소득, 또는 관계 상태와 같은 개인적인 세부 정보를 얼마나 잘 추측할 수 있는지 테스트할 수 있는 통제된 환경을 만들었습니다. 연구팀은 공격자가 실제 콘텐츠의 풀에서 게시물을 고를 수 있는 게임을 설정했습니다. 한 시나리오에서 공격자는 책의 페이지를 한 장씩 넘기듯 게시물을 무작위 순서로 읽어야 했습니다. 또 다른 시나리오에서 공격자는 정답을 밝혀낼 가능성이 가장 높은 게시물을 직접 고를 수 있었습니다. 연구진은 이 단순한 선택 행위가 상당한 차이를 만든다는 것을 발견했습니다. 공격자가 가장 좋은 게시물을 고를 수 있게 되었을 때, 정답을 맞히는 능력이 눈에 띄게 향상되었습니다. AccretionLink라고 불리는 이 시스템은 특정 실험적 구현 모델인 Pixel 10 기기에서 이러한 테스트를 수행하여, 모든 과정이 인터넷으로 개인적인 텍스트를 전송하지 않고 기기 내부에서 로컬로 이루어지도록 보장했습니다.

이 연구는 두 가지 유형의 피실험자를 사용했습니다. 첫 번째는 컴퓨터로 생성된 52개의 완전한 가짜 프로필 세트입니다. 이 프로필들은 소득, 관계 상태, 교육 수준, 나이에 대한 알려진 봉인된 정답을 가지고 있었습니다. 연구진은 이 프로 프로필들에 대해 선택 게임을 실행했으며, 공격자가 게시물을 선택할 수 있게 되었을 때 오류율이 감소한다는 것을 발견했습니다. 여덟 개의 게시물을 읽은 시점에서, 공격자의 확신도는 무작위로 읽었을 때보다 측정 가능한 수준으로 향상되었습니다. 더 중요한 점은, 선택 과정이 시스템으로 하여금 특정 사례에서 확신에 찬 오답을 내놓게 만들었다는 것입니다. 이 합성 프로필들에 대해 개인적 특성을 추측할 109번의 기회 중, 선택 방식은 시스템이 개인의 소득이나 교육 수준에 대해 매우 확신하면서도 완전히 틀린 추측을 하게 만든 6가지 사례를 초래했습니다. 이는 노출 제어가 단순히 추측 능력을 높일 뿐만 아니라, 확신에 찬 잘못된 결론을 만들어내어 올바른 프로필을 확신에 찬 오답으로 바꿀 수 있음을 입증했습니다.

결과가 단순히 컴퓨터 코드의 속임수가 아님을 보장하기 위해, 연구진은 2015년의 트위터 게시물이라는 공개 데이터셋의 실제 데이터를 사용하여 시스템을 테스트했습니다. 그들은 동일한 선택 로직을 이 실제 프로필들에 적용했습니다. 트위터에서 사용하는 실제 랭킹 시스템을 볼 수 없는 상태에서도, 선택 방식은 사용자의 연령대를 추측하는 공격자의 능력을 향상시켰습니다. 가짜 프로필에 비해서는 그 향상 폭이 작았지만, 일관적이고 통계적으로 명확했습니다. 결정적으로, 연구진은 이 효과가 공격자가 게시물을 고르는 모델과 정답을 맞히는 모델을 동일하게 사용하느냐에 달려 있지 않음을 보여주었습니다. 그들은 게시물을 고르는 데 더 단순한 방법을 사용했음에도 불구하고, 원래의 모델은 여전히 더 잘 맞혔습니다. 이는 이 이점이 특정 소프트웨어의 결함이 아니라 선택 행위 자체에서 기인함을 확인시켜 주었습니다. 중요한 점은, 선택 방식이 실제 데이터에 대한 공격자의 정확도를 높였지만, 테스트 대상인 71개의 실제 프로필 중에서 높은 확신을 가진 역전 현상을 일으키지는 않았다는 것입니다.

연구진은 또한 테스트가 공정하게 수행되었으며 데이터가 조작되지 않았음을 증명할 방법을 구축했습니다. 그들은 AI 설계 칩을 사용하는 특정 실험적 구현 모델인 Pixel 10 기기에서 전체 실험을 실행했습니다. 기기는 모든 게시물을 정확히 한 번씩 처리하여 작업에 대한 디지털 지문을 생성했습니다. 그런 다음 기기의 하드웨어에 저장된 보안 키로 이 기록에 서명함으로써, 변경 불가능한 영구적인 테스트 로그를 생성했습니다. 이 로그는 결과가 특정 모델과 특정 데이터로부터 나왔으며, 숨겨진 단계나 외부의 간섭이 없었음을 증명했습니다. 연구 결과, 텍스트를 처리하는 데 걸리는 시간은 점수를 업데이트하거나 결과를 확인하는 시간보다 단어의 의미를 분석하는 시간에 의해 지배되었습니다. 이는 시스템의 병목 현상이 기기의 프로세서 속도가 아니라 모델 자체의 지능에 있음을 의미합니다.

이 연구 결과는 우리가 정보를 보는 순서가 정보 그 자체만큼이나 중요하다는 것을 시사합니다. 우리가 만드는 모든 게시물이 정직하고 수정되지 않았더라도, 어떤 것이 먼저 보여질지를 선택할 수 있는 능력은 관찰자가 우리에 대해 학습할 수 있는 내용을 크게 변화시킬 수 있습니다. 연구진은 이것이 단순한 이론적 위험이 아니라, 특정 실험적 구현 모델인 스마트폰에서 테스트하고 기록할 수 있는 측정 가능한 현실임을 보여주었습니다. 그들은 단순한 선택 전략이 사람의 사적인 삶에 대해 확신에 찬 잘못된 결론을 이끌어낼 수 있음을 입증했습니다. 이 연구가 이 문제를 해결하거나 현재 소셜 미디어 기업들이 게시물을 어떻게 랭킹하는지 예측한다고 주장하지는 않지만, 노출 제어가 얼마나 많은 해악을 끼칠 수 있는지 감사할 수 있는 명확하고 재현 가능한 방법을 제공했습니다. 이 연구는 인공지능 시대에 우리의 프라이버시 보안은 우리가 무엇을 말하느냐뿐만 아니라, 우리의 말 중 어떤 것이 먼저 들릴지를 누가 선택하느냐에 달려 있음을 강조합니다.