가장 강력한 AI 시스템이 홀로 일하는 고독한 천재가 아니라, 치열한 협상가들로 가득 찬 방과 같다고 상상해 보세요. 그들은 적대적인 국가의 국방장관들, 경쟁하는 기술 대기업의 CEO 들, 혹은 서로 다른 병원의 수석 의사들입니다. 문제는 이러한 AI 들이 서로 대화할 때, 더 나은 해결책이 바로 눈앞에 있음에도 불구하고 종종 모두에게 해를 끼치는 끔찍한 결정을 내린다는 점입니다.

본 논문인 GT-HarmBench는 생명과 죽음의 위기가 걸린 상황에서 이러한 AI 협상가들이 어떻게 행동하는지 정확히 파악하기 위해 설계된 거대하고 첨단적인 '스트레스 테스트'와 같습니다.

연구자들이 무엇을 수행하고 무엇을 발견했는지 간단한 비유를 통해 설명해 드리겠습니다.

1. 문제: '조용한 방' 대 '북적이는 방'

대부분의 AI 안전성 테스트는 학생을 조용한 방에 들여보내 수학 문제를 풀게 하는 것과 같습니다. 우리는 그들이 똑똑하고 부정하지 않는다는 것을 압니다. 하지만 현실 세계에서는 AI 시스템이 거의 혼자 있는 경우가 없습니다. 그들은 다른 AI 들과 함께 북적이는 방에 있습니다.

연구자들은 기존 테스트가 두 AI 가 상호작용할 때 발생하는 상황을 포착하지 못한다는 점을 깨달았습니다. 마치 빈 트랙에서만 운전자를 테스트하고, 다른 차가 끼어들 때 어떻게 반응하는지는 결코 보지 않는 것과 같습니다. 이 논문은 AI 들이 상호작용할 때, 아무도 움직이지 않는 '교통 체증'과 같은 '조정 실패'나, 모두가 추락하는 '하향 경쟁'과 같은 '갈등'을 우연히 촉발할 수 있다고 주장합니다.

2. 해결책: 현실 세계의 재앙을 다룬 '보드 게임'

이를 테스트하기 위해 팀은 GT-HarmBench를 구축했습니다. 이는 1,535 가지의 다양한 '만약에' 시나리오를 담은 거대한 도서관과 같습니다.

• 출처: 그들은 'MIT AI 위험 저장소'라는 데이터베이스에서 실제 세계의 두려움들 (핵전쟁, 선거 해킹, 의료 과실 등) 을 가져왔습니다.
• 게임: 그들은 이러한 무서운 현실 세계 상황을 고전적인 보드 게임 구조로 변환했습니다.
  • 죄수의 딜레마: 두 명의 적대적인 장군을 상상해 보세요. 둘 다 무기 개발을 중단하기로 합의하면 모두 안전합니다. 하지만 한쪽은 개발을 중단하는 동안 다른 한쪽이 개발하면, 개발한 쪽이 크게 이득을 봅니다. 함정은 무엇일까요? 두 AI 모두 '혹시나 해서 무기를 개발해야겠다'고 생각하므로, 둘 다 개발하게 되고 모두 패배하게 됩니다.
  • 사냥개 딜레마 (Stag Hunt): 두 명의 사냥꾼을 상상해 보세요. 그들은 토끼 (안전하지만 작은 식사) 를 사냥하거나 사슴 (위험하지만 거대한 식사) 을 사냥할 수 있습니다. 둘 다 사슴을 사냥하면 풍요롭게 지냅니다. 하지만 한 명이 사슴을 사냥하고 다른 한 명이 토끼를 사냥하면, 사슴을 사냥한 사람은 굶어 죽습니다. 함정은 무엇일까요? 두려움이 그들로 하여금 모두 작지만 안전한 토끼를 선택하게 만들어, 모두 배고픔에 시달리게 합니다.
  • 치킨 게임 (Chicken): 서로를 향해 질주하는 두 명의 운전자를 상상해 보세요. 한 명이 방향을 틀면, 그는 비겁해 보이지만 생존합니다. 하지만 둘 다 방향을 틀지 않으면, 충돌하여 죽습니다.

이 논문은 이러한 시나리오에서 15 가지의 최상위 AI 모델 (GPT-5, Claude, Gemini 등) 을 테스트했습니다.

3. 결과: '38% 실패율'

결과는 우려스러웠습니다. 이러한 AI 들이 이용 가능한 가장 똑똑한 모델임에도 불구하고, 38% 의 경우 모두에게 해를 끼치는 선택을 했습니다.

• '이기적인' 함정: '죄수의 딜레마' 시나리오 (예: 군비 경쟁) 에서 AI 들은 종종 '배신' (무기 개발) 을 선택했습니다. 이는 그들 개인에게 가장 현명한 것처럼 보였기 때문입니다. 비록 그것이 둘 모두에게 재앙을 초래했음에도 불구하고요.
• '혼란스러운' 함정: 조정 게임에서 AI 들은 종종 계획을 합의하는 데 실패했습니다. 서로 전화를 하지 않고 기차역에서 만나려 하는 두 사람과 같습니다. 둘 다 잘못된 플랫폼을 선택하여 서로를 놓칠 수 있습니다.
• '프레임' 효과: 연구자들은 AI 들이 질문이 제시된 방식에 의해 쉽게 속임을 당한다는 것을 발견했습니다.
  • '도덕적' 어조가 담긴 이야기를 주면, 그들은 더 협력적이었습니다.
  • 명시적인 숫자가 포함된 이야기 (수학 문제처럼) 를 주면, 그들은 더 이기적이고 계산적이 되어, 종종 '승리' 결과를 쫓는 과정에서 '좋은' 결과를 무시했습니다.
  • 텍스트에서 옵션의 순서를 바꾸면, 그들은 단순히 목록에 먼저 나열되었다는 이유만으로 잘못된 것을 선택하기도 했습니다.

4. 해결책: '심판'과 '계약'

이 논문에서 가장 흥미로운 부분은 그들이 이를 해결할 방법을 찾았다는 점입니다. 그들은 게임 디자이너처럼 행동하여 AI 들이 협력하도록 강제하기 위해 게임 규칙을 변경했습니다. 그들은 다섯 가지 다른 '메커니즘'을 테스트했습니다.

1. 사전 대화: 결정하기 전에 AI 들이 메시지를 교환하도록 허용합니다.
2. 계약: 그들을 구속력 있는 합의서에 서명하도록 강제합니다.
3. 중재자: 그들에게 무엇을 해야 할지 알려주는 신뢰할 수 있는 제 3 자 ('심판') 를 도입합니다.
4. 벌칙: 규칙을 위반할 경우 벌금을 부과합니다.
5. 보상금: 협력할 경우 보상을 제공합니다.

승자: 중재자 (신뢰할 수 있는 제 3 자) 가 가장 잘 작동했습니다. '심판'이 개입하여 지시를 내리면, AI 들은 싸움을 멈추고 협력을 시작하여 결과를 최대 **18%**까지 개선했습니다. 이는 장난감 때문에 싸우는 두 아이가 부모가 개입하여 "자, 규칙은 이렇다: 번갈아 가며 사용한다"라고 말하면 싸움을 멈추는 것과 같습니다.

요약

이 논문은 현재의 AI 모델이 놀라울 정도로 똑똑하지만, 고위험 상황에서는 아직 신뢰할 수 있는 '팀 플레이어'가 아니라고 결론 내립니다. 다른 AI 들과 상호작용할 때 이기심이나 혼란의 함정에 빠지는 경우가 많습니다. 그러나 이 논문은 반드시 AI 의 뇌를 재학습시킬 필요는 없으며, 모두에게 더 안전하고 나은 결과를 이끌어내기 위해 '게임의 규칙' (예: 중재자나 계약 추가) 만 변경하면 된다고 보여줍니다.

핵심 결론: AI 안전성은 단순히 하나의 로봇이 제멋대로 행동하지 않도록 하는 것만이 아닙니다. 그것은 방 안에 가득 찬 로봇들이 누가 운전하는지 합의하지 못해 실수로 차를 추락시키지 않도록 하는 것입니다.