From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

당신에게 공구함이 하나 있다고 상상해 보십시오. 그 안에는 드릴이나 톱 같은 전동 공구들이 들어 있습니다. 보통 우리는 이 도구들을 중립적인 것으로 생각합니다. 드릴은 집을 지을 수도 있고, 문을 부술 수도 있는데, 이는 그것을 쥐고 있는 사람이 누구인지, 그리고 어떻게 사용하는지에 달려 있습니다.

이 논문은 **인공지능(AI)**과 관련하여, 그 "드릴" 자체가 누가 쥐고 있든 상관없이 문을 부수기는 훨씬 쉽고 멈추기는 훨씬 어렵게 만드는 특정한 설계 방식으로 구축되고 있다고 주장합니다. 하버드와 옥스퍼드 연구진인 저자들은 미국, 영국부터 중국, 러시아에 이르는 국가들에서 사용되는 여섯 가지 서로 다른 AI 시스템을 조사했습니다. 그들은 이 도구들이 단지 "나쁜" 국가(독재 국가)에서만 위험한 것인지, 아니면 "좋은" 국가(민주주의 국가)조차도 사람들이 감시당하고 통제받는 곳으로 바꿀 수 있는지 확인하고자 했습니다.

다음은 쉬운 비유를 사용한 연구 결과의 요약입니다.

1. 핵심 발견: 단지 "나쁜 놈들"만의 문제가 아니다

이 논문의 가장 놀라운 점은 권위주의(공포와 감시를 통해 사람들을 통제하는 관행)가 단지 "악한" 독재 체제의 특징만은 아니라는 것입니다.

이것은 마치 과속하는 자동차와 같습니다. 당신은 위험한 동네에 사는 무모한 운전자만이 과속할 것이라고 생각할 수 있습니다. 하지만 이 논문은 크루즈 컨트롤이 너무 높게 설정되어 있고, 브레이크는 약하며, 속도 제한 표지판이 무시되는 상황이라면, 안전하고 부유한 교외에 사는 신중한 운전자라도 결국 과속하게 될 수 있음을 보여줍니다. 자동차의 설계(AI 시스템)가 운전자(정부)만큼이나 중요합니다.

저자들은 동일한 "위험한 특징들"이 민주주의 국가(미국, 영국 등)와 독재 국가(중국, 러시아 등) 모두에서 나타난다는 것을 발견했습니다.

2. 여섯 가지 "위험 구역" (AI가 통제를 가능하게 하는 방법)

연구진은 이러한 AI 시스템이 어떻게 "통제 도구 세트"처럼 작동하는지 여섯 가지 방식으로 식별했습니다. 그 작동 방식과 비유는 다음과 같습니다.

• 강압적 능력 (거대한 몽둥이):
  • 내용: 무력이나 무력의 위협을 쉽게 사용할 수 있는 능력.
  • 비유: 보안 요원이 버튼 하나만 누르면 SWAT 팀을 호출할 수 있는 상황을 상상해 보십시오. 라벤더(Lavender) 시스템(이스라엘 군에서 사용)의 경우, AI는 공습 대상을 식별하는 데 도움을 줍니다. 이 시스템은 무기와 통합되어 있고 오차 범위가 높기 때문에, 치명적인 무력을 사용하는 "문턱"을 낮춥니다. 즉, 폭력을 촉발하기 더 쉽게 만듭니다.
• 책임성 침식 (보이지 않는 손):
  • 내용: 문제가 발생했을 때 누가 책임을 져야 하는지 알기 어렵게 만드는 것.
  • 비유: 실수를 주고받는 "뜨거운 감자" 게임을 상상해 보십시오. 만약 영국의 한 경찰이 실시간 안면 인식 차량을 사용하여 누군가를 잘못 구금했다면, 경찰은 "컴퓨터가 시켰다"라고 말할 수 있고, 회사는 "우리는 소프트웨어를 팔았을 뿐이다"라고 말할 수 있습니다. 아무도 책임을 지지 않습니다. 시스템은 책임이 혼란 속에 사라지도록 설계되었습니다.
• 상징적 안전장치 (가짜 안전벨트):
  • 내용: 서류상으로는 좋아 보이지만 실제로는 작동하지 않는 규칙들.
  • 비유: 버클이 고장 난 안전벨트가 달린 자동차와 같습니다. 라벤더 시스템에는 공격 전 인간이 대상을 확인해야 한다는 규칙이 있습니다. 하지만 보고에 따르면 인간은 단지 체크 표시를 하기 위해 20초 동안만 확인을 수행합니다. "안전장치"는 존재하지만, 그것은 가짜입니다.
• 정보 통제 (편광 유리/한 방향 거울):
  • 내용: 정부는 당신에 대해 모든 것을 알지만, 당신은 정부에 대해 아무것도 알 수 없는 상태.
  • 비유: 사서가 당신이 빌린 모든 책, 당신이 쓴 모든 메모, 심지어 화장실에 간 횟수까지 읽을 수 있지만, 당신은 사서가 자신의 기록부에 무엇을 적고 있는지 볼 수 없는 거대한 도서관을 상상해 보십시오. 중국의 IJOP 시스템은 경찰 데이터와 의료 기록, 공공요금 납부 내역, 심지어 중고차 판매 데이터까지 결합하여 한 개인의 삶을 완벽하게 그려냄으로써 이를 수행합니다.
• 예방적 억압 (수정구슬):
  • *내용히, 어떤 일을 저지르기도 전에, 단지 AI가 그럴 수도 있다고 판단했다는 이유만으로 처벌하는 것.
  • 비유: 클럽 입구의 가드(bouncer)가 당신이 아직 아무런 규칙도 어기지 않았음에도 불구하고, 단순히 "수상해 보이거나" 최근에 전화번호를 바꿨다는 이유로 당신을 쫓아내는 상황을 상상해 보십시오. 러시아의 Sfera 시스템은 사람들이 실제로 시위를 계획하기도 전에, 그들이 시위를 할 "수도 있다"는 근거를 바탕으로 안면 인식을 사용하여 체포합니다.
• 경계 통제 ("우리와 그들"의 벽):
  • 내용: 특정 집단을 덜 인간적이거나 덜 안전한 집단으로 취급하는 디지털 카테고리를 만드는 것.
  • 비비유: 특정 억양이나 피부색을 가진 사람들을 자동으로 흐리게 처리하여 "위험 요소"로 분류하는 사진 앱 필터를 상상해 보십시오. IJOP 시스템은 위구르 무슬림을 표적으로 삼으며, 네덜란드의 SlimmeCheck 시스템은 네덜란드인이 아닌 시민들을 일반 현지인보다 훨씬 더 자주 복지 부정 수급자로 분류하는 것으로 나타났습니다. AI는 특정 집단을 "적"으로 학습합니다.

3. 시스템이 무너지는 두 가지 방식: 중앙 집중형 vs 분산형

논문은 이러한 시스템이 어떻게 조직되는지에 대해 매우 중요한 점을 지적합니다.

• 중앙 집중형 시스템 (거대한 보스):
  • 예시: 중국의 IJOP 또는 러시아의 Sfera.
  • 작동 방식: 하나의 거대한 권력이 모든 것을 통제합니다.
  • 위험 요소: 이는 거대한 댐과 같습니다. 댐이 무너지면 계곡 전체가 침수됩니다. 한 집단이 모든 권력을 쥐고 있기 때문에, "멈춰"라고 말할 수 있는 사람이 거의 없습니다.
• 분산형 시스템 (군집/스웜):
  • 예시: 미국의 FlockSafety.
  • 작동 방식: 수천 개의 서로 다른 동네, 기업, 경찰서가 소유한 번호판 인식 카메라 네트워크입니다.
  • 위험 요소: 이것은 벌 떼와 같습니다. 벌 떼를 멈추기 위해 단 한 마리의 벌을 죽일 수 없습니다. 시스템이 널리 퍼져 있기 때문에, 단 한 명의 책임자가 없습니다. 만약 어떤 지역 협회가 카메라를 남용하더라도, 책임이 너무 분산되어 있어 규제할 수 있는 중앙의 "보스"가 없기 때문에 통제하기가 더 어렵습니다. 논문은 이 "군집"이 책임이 희석되어 있기 때문에 "거대한 보스"보다 오히려 통제하기 더 어렵다고 주장합니다.

4. "라이프사이클(생애주기)" 문제

저자들은 우리가 보통 AI를 볼 때 "수학이 충분히 똑똑한가?"(모델)를 묻는다고 말합니다. 하지만 그들은 "이 도구가 어떻게 만들어지고, 팔리고, 사용되었는가?"(라이프사이클)를 물어야 한다고 말합니다.

그들은 10단계에 걸쳐 시스템을 비교했는데, 이는 초기 아이디어 단계부터 현재에 이르기까지입니다. 그들은 위험이 최종 제품에만 있는 것이 아니라, 그 과정에서 내려진 선택들에 있다는 것을 발견했습니다.

• 누가 그것을 샀는가? (종종 정부와 파트너십을 맺은 민간 기업들).
• 어떻게 테스트되었는가? (종종 제대로 되지 않거나 아예 이루어지지 않음).
• 감시자를 감시하는 자는 누구인가? (종종 아무도 없음).

5. 시사점

논문은 AI 기반의 권위주의는 기술의 필연적인 결과가 아니라 설계된 선택이라고 결론짓습니다.

AI 자체가 "악한" 것이 아닙니다. 개발자, 정부, 사용자들이 다음과 같은 선택을 했기 때문입니다.

1. AI를 너무 많은 데이터와 연결한다.
2. 사람들을 보호하기 위한 규칙을 무시한다.
3. 일단 시작되면 멈추기 어려운 시스템을 구축한다.

저자들은 이것이 단지 "나쁜" 국가들만의 문제가 아니라고 경고합니다. 민주주의 국가들도 "효율성"이나 "안전"을 위해 이러한 도구들을 사용하면서, 자신도 모르게 천천히 감옥을 짓고 있는 상황이라면 위험에 처할 수 있습니다. 그들은 개발자들이 시스템에 "브레이크"를 설계해 넣어야 하며, 정부는 자동차를 운전하게 내버려 두기 전에 "안전벨트"가 실제로 작동하는지 확인해야 한다고 촉구합니다.