Living with Algorithms: Human-AI Assemblages and Ethical Governance in West African Pastoral Conflict

개요: 마을을 운영하려는 컴퓨터

수 세기 동안 함께 살아온 이웃들이 있다고 상상해 보세요. 그들에게는 물을 나누고, 방목지를 사용하며, 갈등을 해결하기 위한 복잡하고도 성문화되지 않은 규칙들이 있습니다. 이는 속삭임과 악수, 그리고 누가 누구에게 도움을 빚졌는지 정확히 아는 지식에 기반한 시스템입니다. 이는 복잡하지만 유연하며, 매우 인간적인 방식입니다.

이제 기술 전문가 팀이 도착하여 이렇게 말한다고 상상해 보세요. "우리는 여러분의 옛 방식보다 더 빠르고 공정하게 모든 문제를 해결할 수 있는 아주 똑똑한 컴퓨터 프로그램을 가지고 있습니다." 그들은 카메라와 생체 인식 ID 스캐너를 설치하고, 어디서 싸움이 일어날지 예측하는 AI를 도입합니다.

이 논문은 질문합니다. 이 컴퓨터가 실제로 상황을 개선하는가, 아니면 평화를 유지하던 섬세한 사회적 구조를 깨뜨리는가?

연구진은 이 상황을 나이지리아의 플래토 주(Plateau State)와 니제르의 틸라베리 지역(Tillabéri Region)이라는 두 곳에서 연구했습니다. 이곳은 농민과 유목민이 토지와 자원을 두고 자주 충돌하는 지역입니다.

주요 발견: "정당성의 격차 (Legitimacy Gap)"

연구는 기묘한 역설을 발견했습니다. 컴퓨터는 기술적인 업무 측면에서는 매우 뛰어났습니다. 경보를 보내는 속도나 패턴을 포착하는 능력은 기존의 인간 시스템보다 더 빨랐습니다.

하지만, 그곳에 사는 사람들은 컴퓨터를 신뢰하지 않았습니다.

이것은 마치 가장 빠른 경로를 알려주지만, 옆집 거실을 가로질러 운전하라고 지시하는 GPS와 같습니다. GPS는 기술적으로는 "정확"하지만(가장 빠른 길이니까요), 사회적 규범을 위반하고 이웃을 화나게 만들기 때문에 당신은 그 GPS를 사용하지 않을 것입니다.

논문은 이를 **"정당성의 격차"**라고 부릅니다. 시스템은 효율적(빠름)이었지만, 정당성(지역 사회에서 공정하거나 옳다고 여겨지는 것)이 부족했습니다. 사람들이 시스템을 신뢰하지 않으면 협력을 중단하게 되고, 결국 시스템은 작동을 멈추게 됩니다.

시스템이 무너진 세 가지 방식

연구진은 "스마트"한 시스템이 "실제" 삶과 충돌한 세 가지 구체적인 방식을 찾아냈습니다.

1. "경직된 ID 카드" 문제

• 기술: 시스템은 생체 인식 ID 카드를 사용하여 사람을 식별했습니다. 만약 당신이 유목민이라면, 카드는 "유목민"이라고 표시했습니다. 만약 농민이라면 "농민"이라고 표시했습니다.
• 현실: 이 공동체에서 정체성은 유동적입니다. 어떤 남자는 건기에는 가축을 몰고, 우기에는 농사를 짓기도 합니다. 그는 풀라니(Fulani) 혈통이면서 동시에 베롬(Berom) 혈통일 수도 있습니다.
• 비유: 도서관에서 ID에 "소설 독자"라고 적혀 있어야만 책을 빌려주는 상황을 상상해 보세요. 만약 당신이 요리책을 빌리고 싶어도, 컴퓨터는 "당신의 ID는 소설 독자입니다"라고 말하며 거절합니다. 컴퓨터는 당신이 다양한 관심사를 가진 온전한 한 사람이라는 점을 이해하지 못합니다.
• 결과: 컴퓨터는 사람들을 잘못 분류했고, 이는 누가 도움을 받고 받지 못할지에 대한 불공정한 결정으로 이어졌습니다.

2. "시스템 이용하기 (Gaming the System)" 문제

• 기술: AI는 가축의 규모나 이동 경로 같은 데이터를 바탕으로 갈등을 예측했습니다.
• 현실: 사람들은 컴퓨터가 자신들을 지켜보고 있다는 것을 깨달았습니다. 그래서 그들은 컴퓨터를 속이기 시작했습니다.
• 비유: 선생님이 상대평가로 성적을 매긴다는 사실을 아는 학생과 같습니다. 학생은 공부를 하는 대신, 선생님이 선호하는 질문이 무엇인지 파악하여 오직 그 질문들에 대해서만 공부합니다.
• 결과: 유목민들은 밤에 GPS 목걸이를 숨기거나 가축의 수를 속이기 시작했습니다. 이러한 "속임수"는 컴퓨터의 데이터를 지저지고 부정확하게 만들었습니다. 사람들이 시스템을 이기려고 노력함에 따라 시스템은 점점 더 멍청해졌습니다.

3. "조용한 반항" 문제

• 기술: AI는 "위험 점수"(색상 코드가 지정된 지도)를 사용하여 누가 긴급 구호를 받을지 결정했습니다. 만약 비가 늦게 내리면, 컴퓨터는 "심기에는 너무 위험함; 구호 지원 불가"라고 판정했습니다.
• 현실: 농민들은 위성보다 현지 계절을 더 잘 알고 있었기에 컴퓨터가 틀렸다는 것을 알았습니다. 그들은 컴퓨터와 논쟁하는 대신, 그냥 무시했습니다.
• 비유: "비가 오면 밖에 나가면 안 된다"라고 말하는 엄격한 부모를 상상해 보세요. 아이들은 그저 가랑비일 뿐이라는 것을 알기에, 그냥 밖에 나가서 아무 일도 없었던 것처럼 행동합니다.
• 결과: 컴퓨터는 아무도 (파종 관련) 보고를 하지 않았기 때문에 모든 것이 괜찮다고 생각했지만, 실제로는 농민들이 열심히 일하고 있었습니다. 사람들은 경직된 규칙을 따르기를 거부했기에 컴퓨터는 진실에 대해 눈이 멀게 되었습니다.

해결책: "인간-AI 하이브리드 재판소"

논문은 단순히 코드를 수정하는 것만으로는 부족하다고 주장합니다. 컴퓨터와 인간이 어떻게 함께 작동해야 하는지를 바꿔야 합니다. 그들은 **"인간-AI 어셈블리지(Human-AI Assemblage)"**라고 불리는 새로운 시스템을 제안합니다.

이것을 로봇 판사가 아니라, 부조종사(Co-pilot) 시스템이라고 생각하세요.

그들은 세 단계의 해결책을 테스트했습니다:

1. 참여형 임계값 설정 (함께 규칙 정하기):
   기술 회사가 무엇이 "위험 지역"인지 결정하는 대신, 농민, 유목민, 지역 지도자들과 함께 워크숍을 열었습니다. 그들은 컴퓨터의 민감도를 함께 조정했습니다.

   • 결과: 현지인들이 컴퓨터가 너무 과하게 반응한다는 것을 알고 있었기에, 오보(false alarm)를 50% 줄였습니다.

2. 공공 편향성 감사 (성적표 확인하기):
   몇 달마다 컴퓨터가 서로 다른 집단을 공정하게 대우하고 있는지 공개적으로 점검했습니다. 만약 컴퓨터가 농민보다 유목민에게 지원을 거부하는 비율이 18% 더 높다면, 즉시 이를 표시했습니다.

   • 결과: 이는 시스템이 너무 많은 해를 끼치기 전에 스스로 실수를 바로잡도록 강제했습니다.

3. 하이브리드 재판소 (인간의 개입):
   선출된 농민, 유목민, 그리고 기술 전문가로 구성된 지역 법정을 만들었습니다. 만약 컴퓨터가 "지원 불가"라고 판정하면, 이 그룹은 "잠깐, 이 가족은 실제로 어려움에 처해 있습니다. 컴퓨터 결정을 번복(Override)합니다"라고 말할 수 있었습니다.

   • 결과: 인간이 컴퓨터의 오류를 바로잡을 수 있다는 것을 알게 되자 사람들의 신뢰가 다시 높아졌습니다. 협력률이 58%에서 79%로 급증했습니다.

"형식화의 경계 (Formalization Frontier)"

이 논문은 멋진 개념인 **"형식화의 경계"**를 소개합니다.

완벽한 스튜 레시피를 적으려고 노력한다고 상상해 보세요.

• 0% ~ 55%: 재료와 조리 시간을 적습니다. 이것은 큰 도움이 됩니다.
• 55%: 벽에 부딪힙니다. 만약 모든 아주 작은 디테일(요리사의 기분, 주방의 습도, 소금의 특정 브랜드까지)을 다 적으려고 하면, 레시피는 쓸모없어집니다. 너무 경직되기 때문입니다.

연구진은 지역 사회의 삶 중 55% 이상을 딱딱한 데이터로 바꾸려고 시도하면, 시스템이 신뢰를 잃기 시작한다는 것을 발견했습니다. 인간의 유연성을 완벽하게 코드로 구현할 수는 없습니다.

결론

논문은 신뢰 없이는 성공적인 AI 시스템을 가질 수 없다고 결론짓습니다.

• 과거의 방식: 더 빠르고 똑똑한 컴퓨터를 만들고 사람들이 사용하기를 바라는 것.
• 새로운 방식: 컴퓨터가 하나의 도구가 되되, 인간이 주인이 되는 시스템을 만드는 것. 컴퓨터는 데이터를 제공하지만, 인간은 판단력, 공정성, 그리고 맥락을 제공합니다.

이 연구는 시스템의 성공 중 **63%가 (컴퓨터의 계산 속도가 아니라) "윤리적 정당성"(사람들이 그것을 신뢰하는 정도)**에 달려 있음을 증명합니다. 인간적인 요소를 무시한다면, 컴퓨터는 결국 인간에 의해 외면받게 될 것입니다.