Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

당신은 말하고, 생각하고, 사람을 도울 수 있는 로봇을 만들려고 한다고 상상해 보세요. 당신은 이 로봇이 안전하며 실수로 누군가를 다치게 하거나 못된 말을 하지 않도록 만들고 싶습니다. 이를 위해 과학자들은 테스트를 수행해 왔습니다. 하지만 여기 까다로운 점이 있습니다. 대부분의 테스트는 로봇이 다른 로봇과 대화하는 비디오 게임을 하는 것과 같습니다. 그들은 인간이 어떻게 반응할지를 시뮬레이션하거나, 수학을 사용하여 로봇이 규칙을 따르고 있는지 확인합니다. 이것은 빠르고, 저렴하며, 하루에 백만 번의 "로봇 대 로봇" 게임을 실행하기 쉽습니다.

하지만 시뮬레이션 게임만 하는 데에는 큰 문제가 있습니다. 로봇이 다른 로봇을 상대로 테스트를 통과했다고 해서, 그것이 실제의 복잡하고 감정적인 인간을 만났을 때도 안전하다는 뜻은 아니기 때문입니다. 실제 인간은 복잡합니다. 그들은 혼란스러워하기도 하고, 감정을 느끼기도 하며, 시뮬레이션에서는 결코 일어날 수 없는 방식으로 로봇을 속일 수도 있습니다. 이 논문은 아주 단순하지만 거대한 질문을 던집니다. 왜 그렇게 많은 과학자가 실제 사람과 대화하는 대신 여전히 로봇을 가지고 비디오 게임을 하고 있는가?

---

위대한 로봇 테스트: 왜 시뮬레이션이 아닌 실제 사람이 필요한가

이 논문은 AI 안전 분야의 기묘한 간극을 조사하는 탐정 이야기와 같습니다. 연구진(토론토 대학교와 맥길 대학교와 같은 대학의 전문가들로 구성된 팀)은 왜 AI 안전 및 윤리(줄여서 AISE라고 부릅시다) 분야가 실험에 실제 인간을 사용하는 것을 그토록 주저하는지 이해하고자 했습니다.

AISE를 사람들이 가능한 한 가장 안전하고 윤리적인 로봇을 만들려고 노력하는 거대한 작업실이라고 생각해 보세요. 이 작업실 안에는 다양한 전문가 그룹이 있습니다. 어떤 이들은 코드, 수학, 그리고 시뮬레이션을 좋아하는 기술적(Technical) 마법사들입니다. 다른 이들은 사람들이 실제로 기술과 어떻게 상호작용하고 느끼는지에 관심을 갖는 사회기술적(Sociotechnical) 탐정들입니다. 또한 규칙과 법을 생각하는 거버넌스(Governance) 관계자들과, 무엇이 "옳거나" "좋은" 것인지 고민하는 규범적(Normative) 사상가들도 있습니다.

이 논문의 주요 발견은 모든 이가 작업실 안에서 실제 인간과 대화하는 것이 매우 중요하다는 점에 동의함에도 불구하고, 기술적 그룹이 이를 주로 무시하고 있다는 것입니다. 그들은 자신들이 선호하는 빠르고 깨끗한 컴퓨터 시뮬레이션을 선호합니다. 저자들은 이것이 단순히 기술적 그룹이 효율성을 우선시하기 때문이 아니라, 그들이 무엇을 "증거"로 간주하는지에 대한 사고방식이 다르기 때문이라는 것을 발견했습니다.

"비디오 게임" 대 "실제 세상"

저자들은 주요한 격차를 설명합니다. 기술적 연구자들은 종-종 인간을 수학 방정식의 변수처럼 취급합니다. 그들은 자와 초시계로 무언가를 측정하고 싶어 합니다. 만약 그것을 완벽하게 측정할 수 없다면, 그들은 그것을 신뢰하지 않는 경우가 많습니다. 그들은 실제 사람과 대화하는 것이 "지저분하다(messy)"고 걱정합니다.

당신이 새로운 다리를 테스트하려고 한다고 상상해 보세요.

• 시뮬레이션 접근 방식: 당신은 컴퓨터에 다리의 완벽한 디지털 모델을 만듭니다. 당신은 그 모델에 백만 번의 바람 폭풍을 통과시킵니다. 컴퓨터는 "100% 안전합니다!"라고 말합니다. 이것은 빠르고 저렴합니다.
• 인간 연구 접근 방식: 당신은 실제로 다리를 건설하고 실제 사람들이 그 위를 걷게 합니다. 아마 몇몇 사람들은 겁을 먹을 수도 있고, 바람이 컴퓨터가 말했던 것과 다르게 느껴질 수도 있으며, 모델이 예측하지 못한 방식으로 다리가 흔들릴 수도 있습니다.

논문은 현재 AISE가 컴퓨터 모델에 집착하고 있다고 제안합니다. 그들은 AI가 안전한지 확인하기 위해 수십억 번의 시뮬레이션(앞서 언급한 "비디오 게임"과 같은)을 실행하고 있습니다. 하지만 저자들은 이것이 위험하다고 주장합니다. 만약 당신이 컴퓨터 안에서만 다리를 테스트한다면, 실제 사람들이 바람이 불 때 공포를 느낀다는 사실이나, 다리가 사람들을 겁먹게 하는 이상한 소리를 낸다는 사실을 놓칠 수 있습니다.

"휴먼 워싱(Human-Washing)"의 함정

논문이 경고하는 가장 흥-미로운 것 중 하나는 저자들이 **"휴먼 워싱(human-washing)"**이라고 부르는 것입니다. 이것은 기업이 실제로는 친환경적이지 않으면서도 친환경적으로 보이게 하기 위해 병에 나뭇잎 그림을 그려 넣는 "그린 워싱(green-washing)"과 같습니다.

"휴먼 워싱"은 연구자들이 단지 체크리스트를 채우기 위해 "헤이, 우리 사람들하고 이야기 좀 해봤어!"라고 말할 때 발생합니다. 하지만 그들은 실제로 그들의 말을 듣지 않았거나, 올바른 질문을 던지지 않았습니다. 그들은 단지 자신들의 연구가 실제적인 것처럼 보이게 하기 위해 연구에 몇 명의 인간을 추가했을 뿐이며, 실제 연구 방식을 바꾸지는 않았습니다. 저자들은 이것이 위험하다고 말합니다. 왜냐하면 그것이 잘못된 안전감을 주기 때문입니다. 그것은 마치 벽에 가짜 소화기를 붙여 놓은 것과 같습니다. 준비가 된 것처럼 보이지만, 정작 불이 나면 작동하지 않을 것입니다.

장벽: 왜 그냥 하지 않는가?

"모두가 인간 연구가 좋다는 것에 동의한다면, 왜 더 많이 하지 않는가?"라는 의문이 들 수 있습니다. 논문은 그들을 막아서는 세 가지 큰 벽을 찾아냈습니다.

1. 돈과 시간의 벽: 실제 사람과 대화하는 것은 비용이 많이 들고 느립니다. 저자들은 컴퓨터 시뮬레이션 하나를 실행하는 데 1,000달러 미만이 들 수 있다고 언급합니다. 하지만 실제 사람들과 함께하는 진지한 연구는 어떨까요? 그것은 300,000달러 이상이 들 수 있습니다. 게다가 적절한 사람들을 찾고, 윤리 위원회의 허가를 받고, 테스트를 실행하는 데는 몇 달이 걸립니다. 이것은 파티를 위해 거대한 케이크를 실제로 굽는 것과 그림을 그리는 것의 차이와 같습니다.
2. 멘토의 벽: 많은 젊은 연구자들이 실제 사람들을 연구하고 싶어 하지만, 그들의 상사(멘토)들은 그러지 말라고 말합니다. 논문은 지도교수가 학생들에게 "그건 하지 마라, 그것은 '진정한' 과학이 아니다"라거나 "그냥 코드에 집중해라"라고 말했던 이야기들을 공유합니다. 이는 젊은 과학자들이 자신의 커리어에 해가 될까 봐 두려워하여 인간 연구를 시도하는 것을 망설이게 만듭니다.
3. "지저분한 데이터"의 벽: 기술적 연구자들은 인간의 데이터를 답답하게 느끼는 경우가 많습니다. 인간은 항상 질문에 똑같은 방식으로 답하지 않습니다. 그들은 거짓말을 하기도 하고, 피곤해하기도 하며, 이상한 말을 하기도 합니다. 완벽한 숫자를 사랑하는 컴퓨터 과학자에게 이것은 시스템의 버그처럼 느껴집니다. 하지만 저자들은 이 "지저로움(messiness)"이 실제 삶이기 때문에 가장 중요한 데이터라고 주장합니다.

"원함"과 "행함" 사이의 간극

연구진은 93명의 전문가를 설문 조사하고 17명을 심층 인터뷰했습니다. 그들은 거대한 간극을 발견했습니다. 거의 모든 이가 실제 인간 연구를 더 많이 하고 싶다고 말했습니다. 그들은 그것이 가치 있다는 데 동의했습니다. 하지만 그들이 실제로 무엇을 하고 있는지를 살펴보았을 때, 그 수치는 훨씬 낮았습니다.

이것은 모든 이가 "나는 정말 건강해지고 싶고 무게를 들고 싶다"라고 말하지만, 정작 운동 기구를 보면 아무도 무게를 들고 있지 않은 체육관과 같습니다. 그들은 그저 무게에 관한 책을 읽고 있을 뿐입니다. 기술적 그룹은 무게를 드는 일이 가장 적었습니다. 그들은 책(시뮬레이션)을 선호했습니다.

우리는 무엇을 해야 하는가?

이 논문은 문제점만 지적하는 것이 아니라, 이를 해결하기 위한 몇 가지 아이디어를 제공합니다:

• "휴먼 워싱"을 멈춰라: 우리가 인간을 포함할 때, 그것을 제대로 수행해야 한다는 것을 의미합니다. 우리는 그들의 시간을 존중하고 그들의 말을 들어야 하며, 단지 그들을 소품으로 사용해서는 안 됩니다.
• 돈의 구조를 바꿔라: 자금을 지원하는 그룹(보조금을 주는 사람들)은 인간 연구에 더 많은 비용이 든다는 점을 깨달아야 합니다. 그들은 높은 가격표 때문에 프로젝트가 무너지지 않도록 이 프로젝트들에 더 많은 돈을 지원해야 합니다.
• 팀을 섞어라: 코드 마법사들과 사람 전문가들이 처음부터 함께 일하는 팀이 더 많이 필요합니다. 현재 그들은 종종 서로 다른 방에서 작업합니다. 저자들은 만약 기술적 연구자가 안전한 AI를 만들고 싶다면, 인간이 실제로 어떻게 행동하는지 이해하는 사회기술적 연구자와 대화해야 한다고 제안합니다.

결론

이 논문은 AI 안전 분야가 현재 완벽한 컴퓨터 모델에 너무 치중되어 있으며, 실제 인간의 복잡하고 실제적인 세상에는 충분히 주목하지 않고 있다고 시사합니다. 시뮬레이션은 유용하지만, 실제 사람들과 대화함으로써 얻을 수 있는 진실을 대체할 수는 없습니다. 만에 하나 우리가 진정으로 안전한 AI를 만들고 싶다면, 인간을 수학 문제의 변수처럼 취급하는 것을 멈추고, 그들 자신의 삶에 대한 전문가로서 대우하기 시작해야 합니다.

저자들은 시뮬레이션이 나쁘다고 말하는 것이 아닙니다. 다만 시뮬레이션에만 의존하는 것은 물에 관한 책을 읽으며 수영을 배우려는 것과 같다고 말합니다. 당신은 몸을 적셔야 합니다. 그리고 지금, AI 안전 커뮤니티는 대부분 몸을 마른 상태로 유지하며, 책을 읽고, 물이 안전하기를 바라고 있습니다.