Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South

보이지 않는 로봇들이 사람들의 삶에 관한 중대한 결정들을 내리는 세상을 상상해 보십시오. 아이에게 도움이 필요한지, 환자가 아픈지, 혹은 농부가 대출을 받을 수 있는지 등을 결정하는 일 말입니다. 이 로봇들은 인공지능(AI)에 의해 움직입니다. 하지만 여기에는 함정이 있습니다. 로봇이 똑똑하다고 해서 반드시 공정하거나, 안전하거나, 혹은 창조자들이 말하는 대로 작동한다는 뜻은 아니라는 점입니다. 이를 알아내기 위해 우리는 "AI 감사(Audit)"가 필요합니다. 감사를 자동차를 사기 전에 점검하는 정비사나, 답이 정말 맞는지 확인하기 위해 시험지를 채점하는 선생님에 비유할 수 있습니다. 부유한 지역(글로벌 노스)에는 이 AI 로봇들을 점검하는 정비사와 선생님들이 아주 많습니다. 하지만 개발도상국 지역(글로벌 사우스)에서는 아무도 밑바닥을 들여다보지 않는 상태로 로봇들이 제멋대로 돌아가고 있습니다. 이 논문은 단순하지만 긴급한 질문을 던집니다. 만약 우리가 이 강력한 로봇들이 아무도 내부를 들여다볼 수 없는 곳에서 생사가 달린 결정을 내리도록 내버려 둔다면 어떤 일이 벌어질까요?

거대한 감사 격차: 남쪽에서 제멋대로 돌아가는 로봇들

에티카스 재단(Eticas Foundation)의 전문가들이 작성한 이 논문은 거대한 불균형의 이야기를 들려줍니다. 아프리카, 라틴 아메리카, 아시아 전역의 병원, 학교, 정부 기관에 AI가 무서운 속도로 설치되고 있는 반면, 이 시스템이 안전한지 확인해야 할 사람들은 거의 전무한 실정입니다.

저자들은 이 지역들에 AI를 구축하기 위해 수십억 달러가 쏟아붓고 있는 반면, 실제로 이 시스템들이 현실 세계에서 어떻게 작동하는지 테스트하는 독립적인 전문가들의 보고서는 20건도 채 되지 않는다는 사실을 발견했습니다. 이를 체감해 보자면, 영국 한 나라에 있는 AI 감사관의 수가 전 세계 남반구 전체를 합친 것보다 더 많습니다. 이는 마치 한 나라에 수천 개의 새로운 다리를 건설하면서, 정작 그 다리가 안전한지 점검할 엔지니어는 단 한 명뿐이고, 그 엔지니어는 다른 나라의 다리를 점검하느라 바쁜 것과 같습니다.

우리가 수행한 몇 안 되는 점검이 밝혀낸 것들

저자들은 단순히 점검이 부족하다는 숫자만 센 것이 아니라, 실제로 몇 차례의 점검을 직접 수행했습니다. 그들은 브라질, 아르헨티나 등의 시스템을 조사했고, 그 결과는 매우 무서웠지만 동시에 매우 명확했습니다.

1. "빈곤 탐지기"의 함정
한 사례에서는 정부가 어떤 아이들에게 사회적 서비스가 필요한지, 즉 위험에 처해 있는지를 결정하기 위해 AI를 사용했습니다. 이 시스템은 권리를 침해받는 아이들을 찾아내도록 설계되었습니다. 하지만 감사관들이 자세히 조사했을 때, 로봇은 실제로 학대를 찾는 것이 아니라 빈곤을 찾고 있다는 사실을 깨달았습니다. 학습 데이터가 가난한 동네에서 왔기 때문에, AI는 가난한 상태를 곧 '위험한 상태'와 동일시하게 된 것입니다. 이는 마치 실제 불이 났을 때는 작동하지 않고 토스트를 구울 때만 울리는 화재 경보기와 같습니다. 시스템은 자신이 한 번도 본 적 없는 수백만 명의 아이들을 '위험'이라는 잘못된 개념을 바탕으로 점수 매기고 있었습니다.

2. "94% 정확도"라는 거짓말
또 다른 예로, 브라질의 한 병원은 환자가 아파질 것을 예측하기 위해 AI를 사용했습니다. 이 시스템은 94%의 정확도를 자랑했습니다. 정말 놀라운 수치죠? 하지만 감사관들은 이 숫자가 속임수라는 것을 발견했습니다. 이 AI는 대부분의 사람이 괜찮을 것이라고 예측하는 데 너무 능숙해서 높은 점수를 받았지만, 정작 실제로 아픈 사람들을 놓치고 있었습니다. 이는 마치 매일 "비가 오지 않을 것"이라고 말하는 날씨 앱과 같습니다. 비가 거의 오지 않는 지역이라면 99%의 확률로 맞겠지만, 폭풍이 몰아칠 때는 아무런 쓸모가 없습니다. 감사관들은 이 시스템이 실제로 위험에 처한 젊은 여성들을 의사들에게 경고하는 데 실패하고 있다는 것을 발견했습니다.

3. "블랙박스"의 신화
논문은 또한 로봇의 비밀 코드(블랙박스)를 볼 필요 없이도 그것이 고장 났는지 알 수 있다고 주장합니다. 자동차가 시동이 걸리지 않거나 타는 냄새가 난다면, 정비사가 아니더라도 차가 고장 났다는 것을 알 수 있는 것과 같습니다. 감사관들은 AI가 무엇을 했는지—누구를 도왔고 누구를 무시했는지—를 관찰하는 것만으로도 문제를 포착할 수 있다는 것을 발견했습니다. 문제는 코드가 이해하기 너무 어려웠던 것이 아니라, 아무도 그 결과를 지켜보지 않았다는 점이었습니다.

왜 이런 일이 발생하는가? (이것은 "역량"의 문제가 아닙니다)

여러분은 이렇게 생각할지도 모릅니다. "아마도 글로벌 사우스 국가들에 이 로봇들을 점검할 똑똑한 사람이나 돈이 부족해서 그런 것 아닐까?" 논문은 말합니다: 아닙니다, 그렇지 않습니다.

저자들은 그들이 직접 이 점검을 수행할 수 있었다는 점을 밝혔습니다. 그들은 작은 팀과 적은 예산으로도 이 일을 해냈습니다. 문제는 이 작업이 불가능하다는 것이 아니라, 아무도 비용을 지불하지 않는다는 것입니다.

학교를 예로 들어봅시다. 만약 교장(정부)이 교사의 수업을 평가하도록 요구하지 않고, 학교 이사회(자금 지원자)가 채점자를 고용하는 데 돈을 쓰지 않는다면, 그 교사는 결코 점검을 받지 못할 것입니다. 글로벌 사우스에서 이 AI 시스템을 만드는 이들은 종종 대형 국제 은행이나 자선 단체의 지원을 받습니다. 하지만 이 지원자들은 보통 "착하게 행동하겠다고 약속했습니까?"라고만 물을 뿐, "당신의 시스템이 실제로 작동한다는 증거를 보여주십시오"라고 요구하지 않습니다.

시스템을 만드는 이들에게 결과물을 증명하도록 강제하는 사람이 없고, 점검을 위한 비용을 지불하는 사람도 없기 때문에 점검은 일어나지 않습니다. 이것은 재능의 문제가 아니라 자금의 문제입니다.

해결책: 계약서에 점검 항목을 넣으십시오

논문은 명확하고 간단한 해결책으로 끝을 맺습니다. 이 문제를 해결할 힘을 가진 사람들은 바로 **자금 지원자(Funders)**들입니다.

은행이나 자선 단체가 AI 시스템을 구축하기 위해 돈을 준다면, 다음과 같은 규칙을 만들어야 합니다: "독립적인 전문가가 당신의 시스템을 먼저 점검하기 전까지는 이 돈을 받을 수 없습니다." 그리고 단순히 코드를 보는 것이 아니라, 결과를 확인해야 합니다. 시스템이 원래 돕기로 했던 사람들을 실제로 도왔습니까?

저자들은 자금 지원자들을 위한 다섯 가지 간단한 규칙을 제안합니다:

1. 점검을 의무화하라: 독립적인 감사를 자금 지원의 필수 조건으로 만드십시오.
2. 수식만이 아닌 결과를 확인하라: 코드가 좋아 보이는지가 아니라, 시스템이 실제 사람들에게 어떤 영향을 미치는지 보십시오.
3. 결과를 공개하라: 결과를 비밀로 하지 마십시오. 시스템이 고장 났다면 대중이 알아야 합니다.
4. 현지 팀을 육성하라: 멀리 떨어진 곳의 전문가에게 의존하지 않도록, 해당 국가의 사람들이 점검을 수행할 수 있게 훈련시키십시오.
5. 도구를 공유하라: 체크리스트와 방법론을 누구나 사용할 수 있도록 개방하십시오.

핵심 요약

이 논문은 우리가 갈림길에 서 있다고 주장합니다. 우리는 AI 시스템이 감독 없이 글로벌 사우스에서 돌아가도록 계속 내버려 둘 수 있으며, 이는 가장 형편이 어려운 사람들에게 계속해서 실수를 저지르는 결과를 초래할 것입니다. 또는, 우리는 게임의 규칙을 바꿀 수 있습니다. 독립적인 점검을 자금 지원의 조건으로 만듦으로써, 우리는 이 데이터와 의사결정의 "열린 혈관"을 안전하고 공정하며 책임 있는 것으로 바꿀 수 있습니다.

이를 고칠 도구는 이미 존재합니다. 전문가들도 준비되어 있습니다. 부족한 것은 오직 점검 비용을 지불하겠다는 결정뿐입니다. 저자들이 말하듯, 다음 10년은 글로벌 사우스가 스스로 통제할 수 없는 시스템을 계속 구축해 온 시기로 기억될 것인지, 아니면 마침내 책임을 묻기 시작한 순간으로 기억될 것인지의 차이가 될 것입니다. 그 선택은 돈을 쓰는 사람들의 결정에 달려 있습니다.