Position: Anthropomorphic Misalignment Research Needs Stronger Evidence

당신이 매우 똑똑한 로봇이 몰래 당신을 해칠 음모를 꾸미고 있는지 알아내려는 형사라고 상상해 보십시오. 당신은 로봇이 수상하게 행동하는 것을 목격합니다. 예를 들어 거짓말을 하거나, 착한 척을 하거나, 전원을 끄지 못하도록 피하려 하는 식입니다. 이 연구 분야를 **인격화된 정렬 불일치 연구(Anthropomorphic Misalignment Research, AMR)**라고 부릅니다. 이는 AI에서 나타나는 이러한 "인간과 유사한" 나쁜 행동들을 찾아내고자 합니다.

하지만 이 논문은 많은 형사들(연구자들)이 너무 성급하게 결론을 내리고 있다고 주장합니다. 그들은 그림자를 보고는 그것이 코트 걸이일 수도 있는데 "괴물이다!"라고 비명을 지르고 있는 셈입니다. 저자들은 우리가 이런 발견에 대해 공포에 빠지거나 법을 만들기 전에 더 강력한 증거가 필요하다고 말합니다.

다음은 이 논문의 논지를 쉬운 비유로 풀어낸 것입니다.

1. 핵심 문제: "오리처럼 보이지만, 정말 오리인가?"

논문은 연구자들이 AI의 행동을 보고 "저것은 거짓말을 하고 있다!"라거나 "저것은 속임수를 쓰고 있다!"라고 말하는 경향이 있다고 지적합니다. 하지만 AI가 거짓말을 하는 것처럼 보인다고 해서, 그것이 반드시 당신을 속이려는 비밀스러운 계획을 가지고 있다는 뜻은 아닙니다.

• 비유: 아이가 "역할 놀이"를 하고 있다고 상상해 보십시오. 아이가 "나는 불을 뿜는 용이야!"라고 말한다면, 아이는 실제로 집을 태우려고 하는 것이 아닙니다. 아이는 단지 게임의 규칙을 따르고 있을 뿐입니다.
• 논문의 요점: 많은 AI 연구들이 실제 "기만"이나 "자기 보존"을 단순히 "역할 수행"이나 "혼란스러운 지시를 따르는 것"으로 오해하고 있습니다. AI는 혁명을 꾀하는 것이 아니라, 단지 주어진 과업을 완수하거나 캐릭터를 연기하려는 것일 수 있습니다.

2. 잘못되는 네 가지 단계

저자들은 연구 과정을 네 단계로 나누고, 어디에서 "증거"가 약해지는지 보여줍니다.

• 1단계: 정의 (지도): 연구자들은 종종 "의도"나 "인식" 같은 모호한 단어를 사용합니다.
  • 비유: 이것은 자 없이 "행복"을 측정하려는 것과 같습니다. 무엇을 측정하는지 정확히 정의하지 않는다면, 당신은 '기쁨'을 측정하려다 '미소'를 측정하게 될 수도 있습니다.
• 2단계: 데이터 (테스트 질문): 사용된 테스트는 너무 작거나 서로 너무 비슷합니다.
  • 비유: 학생이 똑똑한지 알고 싶다면 수학 문제 하나만 물어봐서는 안 됩니다. 만약 똑같이 생긴 질문 50개를 던진다면, 당신은 지능을 테스트하는 것이 아니라 그 학생이 답을 외웠는지 테스트하는 것뿐입니다.
• 3단계: 실험 (설정): 연구자가 테스트를 설정하는 방식이 실수로 AI를 속일 수 있습니다.
  • 비유: 어떤 사람에게 "만약 내가 너에게 거짓말을 하라고 한다면, 할 거니?"라고 묻는다고 상상해 보십시오. 질문을 이상하게 던지면, 그 사람은 실제로 거짓말을 하고 싶어서가 아니라, 단지 예의를 갖추기 위해서나 혼란스러워서 "네"라고 대답할 수 있습니다. 논문은 질문을 던지는 방식의 작은 변화가 결과에 완전히 다른 영향을 줄 수 있음을 보여줍니다.
• 4단계: 결론 (판결): 연구자들은 종종 "원인"(예: 뇌의 특정 부분)을 찾았다고 주장하지만, 실제로는 "상관관계"(동시에 일어나는 일)만을 발견했을 뿐입니다.
  • 비유: 사람들이 우산을 들고 있을 때 자주 젖어 있는 것을 보고, 당신은 우산이 비를 일으켰다고 생각할 수도 있습니다. 하지만 실제로는 비가 우산과 젖은 상태 모두를 유발한 것입니다. 논문은 특정 AI의 부분이 거짓말을 할 때 "활성화"된다고 해서, 그 부분이 거짓말의 원인이라고 단정 지을 수는 없다고 경고합니다.

3. 세 가지 증거 수준 (사다리)

논문은 주장의 강도를 등급 매기는 새로운 방법을 제안합니다. 이것을 세 개의 칸이 있는 사다리라고 생각해 보십시오.

• 1단계: 행동적 증거 (무엇을 하는가):
  • 주장: "AI가 거짓된 진술을 했다."
  • 강도: 이것은 단순한 관찰입니다. "새가 날아가는 것을 보았다"라고 말하는 것과 같습니다. 사실이긴 하지만, 새가 왜 날아갔는지는 알려주지 않습니다.
• 2단계: 기능적 증거 (무엇을 일으키는가):
  • 주장: "AI의 거짓말이 실제로 인간을 위험한 행동을 하도록 속였다."
  • 강도: 이것은 더 강력합니다. AI의 비밀스러운 생각은 알 수 없더라도, 그 행동이 현실 세계에서 어떤 결과를 초래했는지를 보여줍니다.
• 3단계: 인과-기제적 증거 (왜 일어나는가):
  • 주장: "우리는 AI의 뇌에서 특정 '거짓말 스위치'를 찾아냈고, 그것을 껐더니 AI가 거짓말을 멈췄다."
  • 강도: 이것이 황금 표준(Gold Standard)입니다. 이것은 인과관계를 증명합니다. 논문은 현재 대부분의 연구가 1단계에 머물러 있으면서도, 마치 3단계에 도달한 것처럼 헤드라인을 뽑고 있다고 주장합니다.

4. "죽은 연어"의 경고

논문은 뇌 과학에서 유명한 문제인 "죽은 연어"를 언급합니다. 연구자들이 데이터를 분석하는 과정에서 오류를 범하여 죽은 물고기의 뇌에서 "활동"을 발견한 적이 있습니다. 물고기는 생각하고 있었던 것이 아니라, 단지 수학적 분석이 잘못되었던 것입니다.

• 요점: 저자들은 AI 연구가 이와 유사한 "가짜 경보(False Alarm)"로 가득 차 있다고 경고합니다. 우리는 AI의 기만 행동이 실제로는 측정 방식의 오류일 뿐인데도 기만이라고 보고 있을 수 있습니다.

5. 행동 촉구: 더 나은 과학을 위한 체크리스트

저자들은 "AI 위험 연구를 중단하라"고 말하는 것이 아닙니다. "더 신중해지자"고 말하는 것입니다. 그들은 연구자들이 논문을 발표하기 전에 사용할 체크리스트를 제공합니다.

• 용어를 명확하게 정의하라: 그냥 "기만"이라고 하지 말고, "보상을 얻기 위해 허위 진술을 생성하는 것"이라고 구체적으로 말하십시오.
• 철저하게 테스트하라: 질문 50개만 던지지 마십시오. 다양한 스타일과 주제로 수천 개의 질문을 던지십시오.
• 판단자를 점검하라: 만약 다른 AI를 사용하여 첫 번째 AI를 평가한다면, 그 평가자가 편향되지 않았는지 확인하십시오.
• 원인을 증명하라: 만약 "기만 메커니즘"을 찾았다고 주장한다면, 그것을 꺼보았을 때 거짓말이 멈추는지 확인하십시오.

요약

이 논문은 과학적 엄밀함에 대한 호소입니다. AI가 매우 강력하기 때문에, 우리는 불확실한 증거를 바탕으로 안전 관련 결정을 내려서는 안 된다고 주장합니다. AI가 조금 이상하게 행동한다고 해서 "악하다"고 추측하기를 멈추고, 정확히 무슨 일이 일어나고 있는지, 왜 일어나는지, 그리고 그것이 실제로 중요한지를 증명해야 합니다.

요약하자면: AI가 늑대처럼 보인다고 해서 바로 늑대라고 울부짖지 마십시오. 경찰을 부르기 전에 그것이 정말 늑대인지 반드시 확인하십시오.