당신의 일상을 거대하고 보이지 않는 이야기책이라고 상상해 보세요. 학교에 가거나, 커피를 마시거나, 집으로 향할 때마다 당신은 오직 당신만이 읽을 수 있는 책의 새로운 장을 써 내려가고 있습니다. 오랫동안 과학자들은 당신이 다음에 무엇을 할지 과거의 장들을 바탕으로 추측할 수 있는 '슈퍼 독자'를 만들기 위해 노력해 왔습니다. 이러한 프로그램들을 **이동성 예측 모델(mobility prediction models)**이라고 부릅니다. 이들은 당신의 GPS가 가장 빠른 경로를 제안하거나, 앱이 사무실 근근처의 식당을 추천해 주는 데 숨겨진 두뇌 역할을 합니다. 하지만 여기 반전이 있습니다. 마치 교과서의 내용을 이해하는 대신 단어 하나하나를 통째로 암기하는 학생처럼, 이 컴퓨터 프로그램들은 때때로 너무 잘 기억해 버리는 문제가 발생합니다. 이들은 사람들이 움직이는 일반적인 규칙을 배우는 것을 넘어, 실수로 당신의 정확한 경로, 당신의 비밀스러운 아지트, 그리고 당신의 일상을 암기해 버립니다. 이것을 **암기(memorization)**라고 합니다. 이것은 큰 문제입니다. 만약 컴퓨터가 당신의 구체적인 이야기를 너무 잘 기억하게 된다면, 교활한 해커가 컴퓨터에게 "그 사람이 직장을 떠난 뒤에는 무엇을 하나요?"라고 물었을 때, 컴퓨터는 그저 도움을 주려는 생각으로 당신의 정확한 집 주소를 내뱉을 수도 있기 때문입니다.

"Secrets Everywhere(어디에나 있는 비밀들)"라는 제목의 이 논문은 저자들이 이 슈퍼 독자들을 조사하기 위해 잠입 수사를 벌인 탐정 소설과 같습니다. 그들은 알고 싶었습니다. 이 모델들이 정말로 우리의 비밀을 암기하고 있는지, 그리고 만약 그렇다면 누구의 비밀을 간직하고 있는지를 말입니다. 연구진은 이 모델들이 실제로 우리의 사적인 움직임을 긁어모으고 있다는 사실을 발견했지만, 우리가 생각했던 방식과는 달랐습니다. 결과적으로, 당신의 하루가 더 지루하고 일상적일수록 컴퓨터가 당신을 암기할 가능성이 더 높았습니다. 만약 당신이 도시 곳을 누비며 돌아다니는 '스카우터(scouter)'라면 컴퓨터는 당신을 잊어버립니다. 하지만 만약 당신이 매일 같은 시간에 같은 체육관에 가는 '루티너(routiner)'라면, 컴퓨터는 당신의 발걸음 하나하나를 무서울 정도로 정밀하게 기억합니다. 또한 저자들은 기존의 비밀 확인 방식이 위치 데이터에는 작동하지 않는다는 것을 발견하고, 컴퓨터가 당신의 삶을 얼마나 많이 훔치고 있는지 정확히 측정할 수 있는 새로운 도구 세트를 발명했습니다.

탐정의 도구 상자: 왜 옛날 규칙들이 작동하지 않았는가

이 논문의 위대한 발견을 이해하려면, 먼저 과학자들이 보통 암기를 어떻게 체크하는지 살펴봐야 합니다. 언어 모델(에세이를 쓰거나 당신과 대화하는 모델들)의 세계에서 연구자들은 "노출(exposure)"이라는 기술을 사용합니다. 그들은 훈련 데이터 속에 가짜의 무작위 문장(예를 들어, 가짜 전화번호)을 몰래 집어넣습니다. 만약 나중에 컴퓨터가 질문을 받았을 때 그 똑같은 가짜 번호를 내뱉는다면, 이는 컴퓨터가 그것을 암기했다는 신호가 됩니다. 이 방식이 통하는 이유는 가짜 전화번호는 아무 의미 없는 낙서이기 때문입니다. 컴퓨터가 그것을 암기하지 않았다면 알 수 없는 정보여야 합니다.

하지만 저자들은 이 기술이 인간의 움직임에 대해서는 처참하게 실패한다는 것을 깨달았습니다. 왜일까요? 현실 세계에는 "가짜" 움직임이란 존재하지 않기 때문입니다. 모든 경로는 실제이며, 모든 경로는 민감합니다. 모델을 테스트하기 위해 무작ful한 "비밀" 경로를 만들어낼 수 없습니다. 왜냐하면 무작위 경로는 컴퓨터에게 무의미하게 보일 수 있고, 그러면 차이를 구분하기 쉬워지기 때문입니다. 진짜 위험은 컴퓨터가 아주 정상적으로 보이는 실제 경로를 암기하는 것입니다. 저자들은 이동성 모델의 경우, "비밀"이란 모델이 학습해야 할 바로 그 기능 자체라고 주장합니다. 이는 마치 문법 규칙을 배워야 하는 선생님이 실수로 당신의 특정 일기 내용을 통째로 외워버리는 것과 같습니다.

새로운 프레임워크: "메모리 누수" 측정하기

이를 해결하기 위해 저자들은 모델을 감사(audit)하기 위한 새로운 프레임워크를 구축했습니다. 가짜 비밀을 찾는 대신, 그들은 모델이 다른 유사한 경로보다 당신의 특정 경로를 더 선호하는지 확인하는 시스템을 만들었습니다. 그들은 이를 세 가지 수준의 "유출(leakage)"로 나누었습니다.

1. 위치 암기(Location Memorization): 모델이 당신의 집 좌표를 정확히 기억하는가?
2. 앵커 쌍 암기(Anchor-Pair Memorization): 모델이 당신의 집과 직장 사이의 특정 연결 고리를 기억하는가?
3. 세그먼트 암기(Segment Memorization): 모델이 버스 정류장에서 커피숍까지 가는 아주 작고 구체적인 경로를 기억하는가?

이를 테스트하기 위해 그들은 단순히 추측하지 않았습니다. 그들은 "참조 세트(reference sets)"를 구축했습니다. 당신이 모델이라고 가정해 봅시다. 당신에게 당신의 일일 경로 사진이 보여집로 됩니다. 그다음, 당신에게 거의 비슷해 보이는(거리와 시간대가 거의 같지만 다른 사람의 것인) 100개의 다른 경로 사진들이 보여집니다. 만약 당신(모델)이 "오, 나는 이것을 완벽하게 알아!"라고 말하며 다른 99개보다 훨씬 높은 확신 점수를 준다면, 당신은 그것을 암기한 것입니다.

연구 결과: 지루한 사람들이 가장 취약하다

연구진은 상하이, 선전, 일본의 수백만 명의 이동 기록이 담긴 세 개의 거대한 데이터셋을 통해 새로운 도구를 테스트했습니다. 그들은 단순한 모델부터 복잡한 딥러닝 시스템까지 다양한 유형의 모델을 훈련시켰습니다. 발견된 내용은 다음과 같습니다.

1. 암기는 어디에나 있다:
모델들은 분명히 암기하고 있었습니다. 어떤 경우에는 훈련된 경로의 최대 **85%**가 강한 암기 징후를 보였습니다. 이것은 단지 몇몇 예외적인 사례가 아니라 광범위한 문제였습니다. 다음 위치를 예측하는 능력이 매우 뛰어난(때로는 정확도가 **90%**를 넘는) 모델들조차도, 학습한 경로의 정확한 세부 사항을 비밀리에 저장하고 있었습니다.

2. "루티너"의 역설:
가장 놀라운 발견은 누가 암기되는가였습니다. 저자들은 사용자를 세 그룹으로 나누었습니다.

• 루티너(Routiners): 매우 예측 가능하고 반복적인 삶을 사는 사람들 (높은 정체성, 낮은 다양성).
• 레귤러(Regulars): 어느 정도의 일상이 있지만 변화도 있는 사람들.
• 스카우터(Scouters): 도시를 많이 돌아다니며 예측 불가능한 경로를 가진 사람들.

모델들은 루티너들을 좋아했습니다. 실제로 한 데이터셋에서 **99.4%**의 궤적이 양(+)의 암기 신호를 보였으며, 이들은 대부분 예측 가능한 사용자였습니다. 모델은 매일 같은 곳을 가는 사람의 패턴을 배우는 것이 쉬웠고, 그래서 그 정확한 세부 사항을 저장했습니다. 반대로, 스카우터들은 암기하기가 훨씬 어려웠습니다. 그들의 경로는 너무 혼란스러웠기 때문에, 모델은 구체적인 세부 사항을 암기하는 대신 일반적인 개념을 학습(generalize)해야만 했습니다.

3. "앵커" 효과:
모델들은 특히 "앵커 쌍(anchor pairs)", 즉 집과 직장 같은 두 핵심 장소 사이의 연결 관계를 기억하는 데 탁월했습니다. 만약 누군가의 거주지를 안다면, 모델은 그 사람의 직장이 어디인지 정확히 예측할 수 있었고, 그 반대도 마찬가지였습니다. 모델이 그 특정 쌍을 암기했기 때문입니다.

4. 작은 변화, 큰 차이:
저자들은 또한 모델의 설계가 중요하다는 것을 발견했습니다. 예를 들어, 그들은 "메모리"가 매우 작은(숨겨진 상태 단위가 단 10개인) Graph-Flashback이라는 모델을 테스트했습니다. 작은 모델은 무언가를 잘 잊어버릴 것이라고 생각할 수도 있지만, 실제로는 엄청난 "꼬리(tail)" 형태의 암기를 보여주었으며, 일부 노출 점수는 469.15에 달했습니다. 이는 설계가 주의 깊게 이루어지지 않는다면 단순한 모델조차도 매우 위험할 수 있음을 시사합니다.

진짜 위험: 비밀을 훔치기가 쉽다

마지막으로, 논문은 무서운 질문을 던졌습니다: "모델이 암기했다면, 해커가 실제로 그것을 훔칠 수 있을까?" 그들은 어떤 사람의 하루 중 일부(예: 오전 루틴)를 알고 있는 공격자를 시뮬레이션하여 나머지 부분을 추측하게 했습니다. 그들은 명확한 연결 고리를 발견했습니다: 모델이 경로를 얼마나 많이 암기했는지(측정된 "크기(magnitude)" 점수)에 따라 공격자가 전체 여정을 재구성하기가 더 쉬워졌습니다.

한 실험에서, 암기 점수가 높은 사용자들에 대해 공격자는 하루의 나머지 일정을 알아내기 위해 훨씬 적은 횟수의 추측만 필요하다는 것을 발견했습니다. 이는 만약 도둑이 당신이 오전 8시에 집을 나서서 항상 같은 빵집으로 간다는 것을 안다면, 당신이 다음에 어디로 갈지 추측할 필요가 없는 것과 같습니다. 모델의 "기억"이 도둑에게 정답을 알려준 것입니다.

결론

이 논문은 단순히 "프라이버시가 중요하다"라고 말하는 데 그치지 않습니다. 이동성 앱에서 프라이버시가 얼마나 손실되고 있는지를 측정하는 최초의 체계적인 방법을 제공합니다. 저자들은 암기가 단순한 오류(bug)가 아니라 모델이 학습하는 방식의 특징(feature)이며, 특히 가장 예측 가능한 삶을 사는 사람들에게 가장 많이 발생한다고 결론짓습니다. 그들은 우리가 이러한 모델을 실제 세상에 배포하기 전에, 어떤 사용자가 위험에 처해 있는지 확인하기 위해 이 새로운 "프라이버시 감사"를 실행해야 한다고 제안합니다. 그렇지 않으면, 우리는 우리의 일상적인 비밀을 너무나도 열성적으로 기억하려 드는 컴퓨터에게 통째로 넘겨주고 있는 것일지도 모릅니다.