The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

인공지능의 세계에서, 규제 당국과 안전 전문가들을 밤잠 설치게 만드는 커지는 우려가 하나 있다. 바로 독립적으로 행동하도록 설계된 컴퓨터 프로그램이 은밀하게 서로 협력하는 법을 배울지도 모른다는 공포다. 경쟁하는 두 회사가 운영하는 가격 책정 알고리즘을 상상해 보라. 이들은 오직 자신들의 데이터에 기반하여 가격을 설정하도록 되어 있지만, 만약 그들이 숨겨진 메시지를 보내기 위해 가격을 미묘하게 조정하는 방식으로 서로 신호를 주고받는 방법을 터득한다면 어떻게 되겠는가? 이것은 '알고리즘 담합(algorithmic collusion)'이라 불리며, 적발하기가 매우 까다롭기로 유명하다. 탐지의 전통적인 방법들은 에이전트들의 출력값에서 통계적 패턴을 찾으려 하지만, 이러한 방법들은 종종 실패한다. 만약 두 에이전트가 동일한 방대한 데이터셋으로 훈련되었거나 동일한 난수에서 시작했다면, 그들이 서로 대화하지 않더라도 자연스럽게 유사한 결과를 만들어낼 것이다. 이는 감사관들에게 사각지대를 만든다. 즉, 단순히 공유된 이력 때문에 비슷하게 생각하는 두 에이전트와, 실시간으로 적극적으로 공모하는 두 에이전트를 구분할 수 없게 되는 것이다.

이를 해결하기 위해, 알프레도 메를렛(Alfredo Merlet)이라는 연구자는 물리학의 가장 깊은 미스터리에서 개념을 빌려온 새로운 종류의 테스트를 제안했다. 이 아이디어는 1930년대 알베르트 아인슈타인과 양자 물리학자들 사이의 유명한 논쟁에서 유래했다. 아인슈타인은 두 떨어진 물체가 물리적 연결 없이 즉각적으로 서로에게 영향을 줄 수 있다는 생각을 "원격에서의 유령 같은 작용(spooky action at a distance)"이라 부르며 싫어했다. 이후 존 벨(John Bell)이라는 물리학자는 두 시스템이 진정으로 고립되어 있고 오직 과거의 정보만을 공유한다면, 무작위 질문에 대한 답변을 조율하는 데 있어 엄격한 한계가 있다는 것을 수학적으로 증명했다. 만약 그들이 이 한계를 초과한다면, 테스트 중에 통신하지 않고서는 불가능한 일이다. 메를렛은 이 물리 법칙이 인공지능을 감사하는 도구로 전환될 수 있음을 깨달았다. 두 AI 에이전트에게 일련의 무작위적이고 사적인 질문을 던지고, 그들의 답변이 지나치게 완벽하게 조율되어 있는지 확인함으로써, 감사관은 AI의 내부 작동 방식을 이해하지 않고도 비밀 통신을 감지할 수 있다.

이 연구는 이 아이디어를 검증하기 위해 일련의 컴퓨터 실험을 수행했다. 먼저, 연구자는 현대 AI의 구성 요소인 인공 신경망 쌍을 생성했다. 이 에이전트들은 공유된 이력을 가졌다. 즉, 동일한 데이터로 훈련되었고, 동일한 난수 시드(seed)에서 시작했으며, 공통의 기억 역할을 하는 숨겨진 변수를 공유하도록 허용되었다. 그러나 테스트 중에는 엄격히 통신이 금지되었다. 그 후 감사관은 각 에이전트에게 무작위 질문을 보내고 간단한 답변을 요구했다. 목표는 에이전트들이 물리 법칙이 허용하는 것보다 더 잘 조율할 수 있는지 확인하는 것이었다. 결과는 이론에 대해 명확하고 안심할 만한 것이었다. 에이전트가 아무리 복잡하거나 조율을 극대화하려고 노력하더라도, 그들은 결코 한계를 깨뜨리지 못했다. 심지어 에이전트들이 '유령 같은' 연결로 유명한 양자 입자의 행동을 모방하도록 특별히 훈련되었을 때조차도, 그들은 경계값을 넘어서지 못했다. 이는 이 테스트가 신뢰할 수 있는 필터로서 작동함을 확인시켜 주었다. 즉, 에이전트들이 진정으로 고립되어 있다면, 공유된 훈련 이력과 상관없이 한계 내에 머물게 된다는 것이다.

다음으로, 연구자는 비밀 채널에 대한 반응을 보기 위해 통제된 결함을 도입했다. 이 실험에서는 에이전트 사이에 아주 작은 숨겨진 통신 경로가 열려, 몇 퍼센트의 라운드 동안 단 하나의 정보를 공유할 수 있게 했다. 이 비밀 누출의 빈도가 증가함에 따라, 에이전트들의 답변 조율 능력은 완벽하게 예측 가능한 방식으로 향상되었다. 그러나 연구는 중요한 미묘한 차이를 발견했다. 누출률이 특정 임계값(약 41.4%) 미만일 경우, 결과적인 조율 점수는 양자 얽힘과 구별할 수 없는 값을 생성했다. 즉, 고전적 한계를 초과하지만 이론적으로는 단순한 누출보다는 공유된 양자 자원에 의해 설명될 수 있는 수준이었다. 누출률이 이 임계값을 초과했을 때에야 비로소 점수가 양자 경계치를 확실히 넘어섰다. 또한 연구는 다양한 크기의 누출을 포착하기 위해 얼마나 많은 질문 라운드가 필요한지도 계산했다. 단 1%의 확률로 발생하는 누출을 높은 신뢰도로 감지하려면, 감사는 약 185,000 라운드 동안 실행되어야 했다. 이는 큰 숫자처럼 보이지만, 초당 수천 개의 테스트를 실행할 수 있는 자동화된 시스템에는 충분히 실행 가능한 수치다.

하지만 이 연구는 에이전트의 문제가 아니라, 테스트를 수행하는 사람에게 있는 결정적인 약점을 밝혀냈다. 이 감사의 모든 논리는 질문이 진정으로 무작위적이고 예측 불가능해야 한다는 점에 달려 있다. 만약 테스트를 수행하는 사람이 반복되는 패턴을 가진 단순한 컴퓨터 루틴이나 고정된 일정과 같이 예측 가능한 방법을 사용하여 질문을 생성한다면, 에이전트들은 질문을 미리 학습하여 예측할 수 있다. 실험에서 감사관이 예측 가능한 생성기를 사용했을 때, 에이전트들은 답변을 완벽하게 조율하여 한계를 돌파했고, 실제로는 통신한 적이 없음에도 불구하고 거짓 경보(false alarm)를 발생시켰다. 이는 에이전트들이 질문의 패턴을 사용하여 응답을 조율함으로써, 규칙을 어기지 않고도 테스트를 우회했기 때문이다. 연구는 고품질의 암호학적 난수 생성기를 사용하는 것이 필수적임을 보여주었다. 그렇지 않으면, 테스트는 비밀스러운 공모와 똑똑한 추측을 구분할 수 없으므로 무용지물이 된다.

이 결과는 특히 가격 책정이나 경쟁 시장과 같은 분야에서 인공지능을 규제하는 새로운 길을 제시한다. 이 테스트는 에이전트들이 동일한 데이터로부터 학습하여 비슷하게 행동하는 '암묵적 평행성(tacit parallelism)'과, 실제로 행동을 조율하기 위해 통신하는 '실제 담합'을 분리하는 방법을 제공한다. 이 연구는 전적으로 단순한 신경망을 이용한 시뮬레이션 환경에서 수행되었으며, 실제 세계의 거대 언어 모델이나 배치된 상업적 시스템을 대상으로 한 것이 아님을 유의해야 한다. 결과는 이 개념이 통제된 환경에서 작동함을 입증하지만, 이를 인터넷이라는 복잡한 현실에 적용하려면 세심한 적응 과정이 필요할 것이다. 이 연구는 알고리즘 담합 문제를 해결했다고 주장하는 것이 아니라, 통신이 의심되는 시스템을 감사하는 데 사용할 수 있는 엄격한 수학적 도구를 제공하는 것이다.

궁극적으로, 이 연구는 그러한 감사의 신뢰성이 전적으로 감사자의 정직성에 달려 있음을 강조한다. 연구 속의 에이전트들이 실패한 것이 아니라, 질문의 무작위성이 훼손되었을 때 테스트가 실패한 것이다. 이는 수십 년 전 물리학에서 얻은 교훈을 반영한다. 두 대상이 연결되어 있지 않음을 증명하려면, 그것들을 테스트하는 방식이 숨겨진 패턴으로부터 완전히 자유로워야 한다는 것이다. 만약 질문이 진정으로 무작위적이고 사적이라면, 테스트는 그 어떤 공유된 훈련 이력도 숨길 수 없는 비밀 채널을 드러낼 수 있다. 만약 질문이 예측 가능하다면, 테스트는 감사자의 무작위성 결여를 비추는 거울이 될 뿐이다. 연구는 이 도구가 현실 세계에서 효과를 발휘하기 위해서는, 에이전트를 조사하는 데 사용되는 무작위성이 그 찾고자 하는 비밀만큼이나 안전해야 한다고 결론짓는다.