Frankenstein in the Pipeline: Computational Epistemicide in Facial Recognition

핵심 아이디어: 버그가 아니라 레시피의 문제입니다

대부분의 사람들은 안면 인식 기술이 위험한 이유가 오류(예: 흑인을 다른 사람으로 오인하는 것)를 범하기 때문이라고 생각합니다. 저자인 니나 다 호라(Nina da Hora)는 문제가 훨씬 더 깊은 곳에 있다고 주장합니다. 그녀는 기술이 완벽하게 작동할 때조차도 이 기술이 위험하다고 말합니다.

핵심 논거는 안면 인식이 단순히 당신의 얼굴을 '읽는' 것이 아니라, 당신을 **해체(dismantle)**한다는 것입니다. 기술은 살아 숨 쉬는 인간을 가져와 조각내고, 그 조각들을 다시 꿰매어 수학적 코드로 만든 다음, 그 코드를 '진정한 당신'으로 취급합니다. 논문은 이를 **계산적 인식론적 살해(Computational Epistemic-side)**라고 부릅니다. 이는 시스템이 당신의 진정한 정체성을 파괴하고, 그 자리를 단순화되고 통제 가능한 버전으로 대체한다는 것을 의미하는 어려운 표현입니다.

프랑켄슈타인 비유: 은유가 아닌 방법론

보통 사람들은 메리 셸리의 프랑켄슈타인을 "우리가 신 놀이를 하면 일이 잘못될 수 있다"는 경고로 사용합니다.

이 논문은 프랑켄슈타인을 다르게 사용합니다. 저자는 괴물이 사고로 탄생한 것이 아니라, 그 방법론의 의도된 결과라고 말합니다.

• 창조자: 컴퓨터 시스템과 이를 구축한 기관들.
• 해체(The Disassembly): 시스템은 당신의 얼굴을 분해합니다 (당신의 배경, 기분, 역사를 제거함).
• 봉합(The Stitching): 그 조각들을 다시 꿰매어 고정되고 딱딱한 형태(벡터)로 만듭니다.
• 괴물(The Monster): 그 결과물인 수학적 코드.

비극은 괴물이 탈출했기 때문이 아닙니다. 비극은 창조의 방법론 자체가 만들어진 존재를 돌볼 수 없다는 점에 있습니다. 시스템은 만약 코드가 실제 사람과 다른 말을 하더라도, 그 실제 사람의 목소리에 귀를 기울일 방법이 없습니다.

파이프라인의 작동 방식: "얼굴 즙" 공장

신선하고 복잡한 과일을 단일한 표준화된 "과일 주스" 팩으로 만드는 공장을 상상해 보십시오.

1. 생과일 (실제의 당신): 당신은 복잡한 존재입니다. 당신은 얼굴을 가지고 있지만, 몸도 있고, 군중 속에 서 있으며, 웃거나 찡그리기도 하고, 조명은 계속 변합니다. 당신은 살아있는, 관계적인 표면입니다.
2. 자르고 껍질 벗기기 (탐지 및 랜드마킹): 기계는 사진에서 당신의 얼굴을 잡아채 잘라냅니다. 당신의 몸, 옷, 주변 사람들은 무시합니다. 기계는 얼굴 위의 다섯 가지 특정 점(예: 눈의 구석)을 찾아내고, 이 점들이 유일하게 중요한 것이라고 취급합니다 정합니다.
3. 틀에 밀어 넣기 (정렬): 기계는 당신의 얼굴을 완벽하게 정면을 향한 자세로 강제합니다. 당신이 위, 아래, 혹은 옆을 보고 있다면, 기계는 당신의 얼굴을 디지털 방식으로 왜곡하여 똑바로 보이게 만듭니다. 당신의 독특한 각도를 지워버립니다.
4. 팩에 담아 블렌딩하기 (임베딩): 이것이 가장 중요한 단계입니다. 기계는 이제 완벽해진 정면 얼굴을 512개의 숫자 리스트(벡터)로 압축합니다. 이 과정에서 정보의 99.9%를 버립니다. 당신의 피부 질감, 미세한 표정, 그리고 영혼은 사라집니다. 남는 것은 다른 팩들과 비교하기 위해 설계된 하나의 "팩"뿐입니다.
5. 맛 테스트 (비교): 시스템은 당신의 "팩"을 데이터베이스에 있는 다른 팩들과 비교합니다. 그리고 묻습니다: "이 두 팩이 충분히 가까운가?" 만약 숫자가 비슷하다면, 시스템은 "네, 당신이 맞습니다"라고 답합니다.

폭력성: 이 과정에서 "팩"(숫자)이 권위를 가진 당신의 버전이 됩니다. 만약 팩은 당신이 범죄자라고 말하는데, 실제 당신이 "나는 무죄다"라고 말한다면, 시스템은 상관하지 않습니다. 시스템은 오직 팩의 목소리만 듣습니다.

"충분히 비슷함"의 함정

논문은 시스템이 **"충분히 비슷함(Close Enough)"**이라는 규칙에 따라 작동한다고 주장합니다.

클럽 입구의 가드(bouncer)를 상상해 보십시오. 그는 "좋은" 얼굴들의 명단을 가지고 있습니다. 당신의 얼굴이 명단에 있는 얼굴과 대체로 비슷해 보이면, 그는 당신을 들여보냅니다. 만약 당신의 얼굴이 "나쁜" 얼굴과 대체로 비슷해 보이면, 그는 당신을 쫓아냅니다.

• 문제는 "대체로"라는 기준이 추측에 불과하다는 점입니다.
• 시스템이 무엇을 "충분히 비슷한지" 결정합니다.
• 만약 당신이 흑인이고, 시스템이 주로 백인의 얼굴을 바탕으로 구축되었다면, 당신의 얼굴은 결코 "좋은" 명단에 "충분히 비슷하게" 도달하지 못하거나, 실수로 "나쁜" 명단에 "충분히 비슷하게" 걸릴 수 있습니다.

하지만 가드가 완벽하더라도, 시스템은 여전히 폭력적입니다. 왜냐하면 시스템이 당신의 "팩" 버전만이 유일한 당신이라고 결정했기 때문입니다. 시스템은 당신의 실제 살아있는 얼굴은 무의미하다고 결정했습니다.

왜 "수정"이 통하지 않는가

많은 이들이 "윤리적 AI" 해결책을 제안합니다: "데이터를 더 다양하게 확보해서 시스템이 더 잘 학습하게 하자"라거나 "오류율을 낮추자"는 식입니다.

저자는 이것이 마치 프랑켄슈타인 괴물에게 더 좋은 옷을 입혀서 고치려는 것과 같다고 말합니다.

• 문제: 문제는 옷(데이터)이 아니라, 수술(방법론)입니다.
• 현실: 시스템이 당신을 인식하기 위해 반드시 당신을 해체하고, 평평하게 만들고, 숫자로 바꿔야 하는 한, 그 시스템은 언제나 폭력적일 것입니다. 당신을 먼저 해체해야만 작동하는 "공정한" 시스템이란 존재할 수 없습니다.

해결책: 거부와 폐지

논문은 우리가 안면 인식을 더 "낫게" 만들려고 노력해서는 안 된다고 결론짓습니다. 우리는 그것의 사용을 거부해야 합니다.

• 거부 (Refusal): 이것은 "당신이 나를 숫자로 만드는 것을 허용하지 않겠다"라고 말하는 것입니다. 이는 기계에 의해 완전히 읽히지 않을(불투명할) 권리, 즉 신비로울 권리를 요구하는 것입니다.
• 폐지 (Abolition): 이것은 시스템을 완전히 없애는 것을 의미합니다. 당신이 누구인지 확인하기 위해 컴퓨터를 사용하는 대신, 인간 관계, 공동체의 신뢰, 또는 당신의 존재를 증명하기 위해 정체성을 파괴할 필요가 없는 다른 방법들을 사용해야 합니다.

요약

이 논문은 안면 인식이 현대판 프랑켄슈타인 실험이라고 주장합니다. 기술은 인간을 가져와 데이터로 조각내고, 그것을 수학적 코드로 다시 꿰맵니다. 그러고 나서 그 코드를 그 사람에 대한 "진실"로 취급합니다. 이 과정은 스스로를 정의할 수 있는 개인의 능력을 파괴합니다. 이 폭력을 멈추는 유일한 방법은 기계를 더 똑똑하게 만드는 것이 아니라, 기계가 우리를 정의하도록 내버려 두는 것을 멈추는 것입니다.