Algorithmic manipulation and mental self-determination: Operationalizing freedom of thought as a neuroright

인간의 정신은 오랫동안 사적인 안식처, 즉 외부의 간섭 없이 침묵 속에서 생각이 형성되는 장소로 여겨져 왔습니다. 수십 년 동안 국제법은 이 내면의 공간을 '포럼 이너룸(forum internum, 내적 영역)'이라 부르며, 어떤 정부나 기술도 침해할 수 없는 절대적인 권리로 보호해 왔습니다. 이 보호 조치는 원래 사람들이 자신의 신념을 바꾸도록 강요받거나 자신의 생각 때문에 처벌받는 것을 막기 위해 설계되었습니다. 그러나 전선, 임플란트, 또는 뇌에 대한 직접적인 접근이 필요하지 않은 새로운 종류의 위협이 등장했습니다. 대신, 이는 소셜 미디어, 뉴스 피드, 온라인 쇼핑을 구동하는 일상적인 알고리즘으로부터 옵니다. 이 시스템들은 우리의 마음을 직접 읽지는 않지만, 우리의 행동을 관찰하고, 습관을 학습하며, 우리의 선택을 유도하기 위해 우리 주변의 세상을 미묘하게 배치합니다. 위험한 점은 우리가 스스로 결정을 내리고 있다고 느끼는 순간에도, 사실 그 결정들이 컴퓨터 프로그램에 의해 우리의 약점을 이용하도록 정교하게 설계되었을 수 있다는 것입니다.

하노이 법대학교의 두 연구자, 응우옌 티 롱(Thi Long Nguyen)과 쩐 응옥 히엡(Ngoc Hiep Tran)은 기존의 법률이 이러한 보이지 않는 영향력을 막기에 충분히 강력한지 검토했습니다. 그들은 개인 데이터를 보호하거나 특정 유형의 인공지능을 규제하는 데 초점을 맞춘 현재의 규칙들이 실제 문제를 놓치고 있다고 주장합니다. 문제는 단순히 누가 우리의 정보를 보느냐가 아니라, 우리 스스로 생각할 수 있는 능력이 어떻게 조용히 재편되고 있는가에 관한 것입니다. 저자들은 '정신적 자기결정권'을 완전히 새로운 권리가 아니라, 고대의 사상 자유권에 대한 현대적 적용으로 이해해야 한다고 제안합니다. 그들은 일반적인 설득과 불법적인 조작을 구분하기 위한 명확한 조건들을 제시하며, 디지털 시대에 우리의 사고의 온전함을 보호할 방법을 제안합니다. 이 시대의 가장 강력한 도구들은 우리의 뇌에 전혀 닿지 않는 방식으로 작동합니다.

연구자들은 먼저 현재의 법적 보호 체계에 존재하는 공백을 살펴보았습니다. 그들은 유럽연합의 AI 법(AI Act)이나 데이터 프라이버시 규정 같은 법들이 알고리즘 조작에 의해 발생하는 특정한 해악을 포착하도록 설계되지 않았다는 것을 발견했습니다. 예를 들어, AI 법은 행동을 왜곡하는 숨겨진 기술을 사용하는 시스템을 금지하지만, 기업이 조작할 '의도'가 있었고 그 결과가 실질적이고 가시적인 해를 끼쳤다는 증거를 요구합니다. 이는 많은 일상적인 알고리즘이 쉽게 피해 갈 수 있는 높은 문턱입니다. 이러한 시스템들은 대개 사람들을 명시적으로 속이려는 것이 아니라 참여도나 판매를 극대화하도록 설계되어 있으며, 그 효과는 단 한 번의 극적인 실수가 아니라 우리가 세상을 바라보는 방식의 느리고 점진적인 변화로 나타납니다. 마찬가지로, 데이터 보호법은 정보의 수집과 저장에 초점을 맞춥니다. 법은 우리가 데이터 사용에 동의했는지를 묻지만, 그 데이터가 사용되는 방식이 은밀하게 우리의 생각을 조종하고 있는지에 대해서는 묻지 않습니다. 저자들은 이것이 법의 구조적 구멍을 남긴다고 주장합니다. 즉, 어떤 시스템이 데이터 프라이버시와 AI 안전에 관한 모든 규칙을 준수하면서도, 사람이 판단을 형성하는 과정을 효과적으로 하이재킹할 수 있다는 것입니다.

이 일이 어떻게 일어나는지 이해하기 위해, 저자들은 사용자가 특정 게시물이나 광고를 보기 훨씬 전부터 시작되는 과정을 설명합니다. 시스템은 먼저 사용자의 상세한 모델을 구축하여, 사용자의 감정적 트리거, 약점의 순간, 그리고 무엇이 주의를 끄는지 학습합니다. 이는 거대한 지식의 불균형을 만듭니다. 컴퓨터는 사용자가 자신에 대해 아는 것보다 사용자의 취약점을 더 잘 알게 됩니다. 그런 다음 시스템은 이 지식을 사용하여 선택이 이루어지는 환경을 형성합니다. 사용자가 피곤할 때 특정 뉴스를 보여주거나, 하나의 선택지가 실제보다 더 자연스럽게 느껴지도록 옵션을 특정 순서로 제시할 수 있습니다. 그 결과는 개인적인 선호처럼 느껴지는 형태의 영향력입니다. 사용자는 여전히 자신이 자신의 결정을 내리는 저자라고 느끼지만, 그곳에 도달하기 위해 걸어온 경로는 알고리즘에 의해 비밀리에 포장된 길입니다. 이는 선택을 강요하는 강압(coercion)이나, 고려할 이유를 제시하는 설득(persuasion)과는 다릅니다. 이는 의식적인 성찰을 우회하는, 마음을 숨겨서 조종하는 행위입니다.

이 논문은 이를 해결하기 위해, 사상의 자유를 뇌 임플란트에 대한 방패로서만 볼 것이 아니라, 사고의 형성을 방해하는 모든 기술에 대한 방패로서 보아야 한다고 주장합니다. 저자들은 알고리즘이 허용 가능한 영향력을 넘어 불법적인 조작으로 넘어가는 시점을 결정하기 위한 구체적인 테스트를 제안합니다. 그들은 어떤 관행이 불법이 되려면 다음 네 가지 조건을 동시에 충족해야 한다고 제안합니다. 첫째, 영향의 방식이 사용자에게 숨겨져 있어야 합니다. 만약 사용자가 자신이 타겟팅되고 있다는 것을 안다면 그것은 조작이 아닙니다. 둘째, 사용자가 볼 수 없는 방식으로 시스템이 사용자의 약점을 알고 있는 깊은 지식의 불균형이 존재해야 합니다. 셋째, 시스템은 사용자의 이성에 호소하기보다는 감정 상태나 인지적 사각지대와 같은 특정한 취약점을 이용해야 합니다. 마지막으로, 그 영향은 단순히 선택 가능한 옵션만을 바꾸는 것이 아니라, 사용자가 결론에 도달하는 과정 자체를 바꾸어야 합니다.

이 프레임워크는 칠레의 최근 법적 사례, 즉 뇌 활동에 대해 헌법적 권리를 부여한 세계 최초의 국가 사례를 인용합니다. 그 사건에서 법원은 한 회사가 적절한 동의 없이 상원의원의 뇌 데이터를 수집함으로써 그의 권리를 침해했다고 판결했습니다. 저자들은 이것이 뉴로라이츠(neurorights, 신경권)의 승리이긴 하지만, 뇌에서 직접 데이터를 가져온 상황에 국한되었다고 언급합니다. 그들의 연구는 이 논리를 디지털 세계로 확장하여, 물리적인 정신 데이터를 전혀 가져가지 않더라도 동일한 보호가 적용되어야 한다고 주장합니다. 법의 목표가 사고의 온전함을 보호하는 것이라면, 간섭이 두개골 안의 전선에서 오는지 아니면 화면 위의 교묘하게 설계된 앱에서 오는지는 중요하지 않습니다. 해악은 동일합니다. 바로 스스로의 신념을 형성하는 능력을 침식하는 것입니다.

연구자들은 이러한 아이디어를 적용하는 것이 쉽지 않을 것임을 인정합니다. 특정 알고리즘이 사람의 마음에 특정한 변화를 일으켰음을 증명하는 것은 어렵습니다. 왜냐하면 이러한 효과는 종종 미묘하고 누적적이기 때문입니다. 또한 그들은 이 새로운 테스트가 모든 형태의 광고나 추천 기능을 실수로 금지하지 않도록 법원이 주의 깊게 적용되어야 한다고 경고합니다. 그러나 그들은 정신적 자기결정권에 대한 명확한 기준이 없다면, 법은 우리 자율성에 대한 가장 만연한 위협에 대해 눈먼 상태로 남을 것이라고 결론짓습니다. 조작을 이 네 가지 요소로 정의함으로써, 저자들은 우리의 환경이 우리를 변화시키기 위해 끊임없이 최적화되는 세상에서도 우리의 생각이 여전히 우리의 것으로 남을 수 있도록 인간 정신의 성역을 보호할 방법을 제시합니다.