모든 것을 알지만 정작 핵심은 놓치는 마법의 상자

모든 책, 기사, 교과서를 거의 다 읽은 초지능 로봇을 상상해 보세요. 이 로봇은 독해 능력이 너무 뛰어나서 학교 시험 문제를 물어보면 A+를 받습니다. 이 로봇이 바로 **대규모 언어 모델(LLM)**입니다. 도서관 전체를 통달했지만, 정작 병원에 발을 들여놓거나 고통받는 실제 사람과 대화해 본 적은 없는 아주 똑똑한 학생이라고 생각하면 됩니다.

이제 우리가 이 로봇을 트리아지(Triage, 환자 분류) 간호사로 사용하고 싶다고 가정해 봅시다. 현실 세계에서 트리아지 간호사는 환자가 클리닉에 들어왔을 때 가장 먼저 만나는 사람입니다. 간호사의 역할은 단순히 무엇이 잘못되었는지 추측하는 것이 아니라, 환자가 지금 당장 의사를 만나야 하는지, 아니면 기다려도 되는지를 결정하는 것입니다. 이것은 매우 중요한 문제입니다. 만약 간호사가 판단을 잘못하여 심장 질환이 있는 환자를 집으로 돌려보낸다면 그것은 비극이 될 것입니다. 하지만 단순히 복통이 있는 사람을 응급실로 보낸다면, 그것은 그저 약간의 시간 낭비일 뿐입니다. 이 두 가지 실수 사이의 차이는 엄청납니다.

과학자들이 던지는 큰 질문은 이것입니다. 시험 문제는 기가 막히게 잘 푸는 이 초지능 로봇이, 인간 의사가 옆에서 지켜보지 않는 상태에서도 누가 도움을 필요로 하는지 결정하는 이 위험한 일을 실제로 수행할 수 있을까요? 이 논문은 그 질문을 깊이 파고들며, 로봇이 질문에 답하는 데는 천재적일지 몰라도 정보가 누락되었을 때는 형편없는 추측가가 될 수 있다고 주장합니다.

---

논문의 엄중한 경고: 왜 이 로봇은 최전선에 설 준비가 되지 않았는가

이 논문의 저자들은 마치 로봇의 이력서를 검토한 안전 점검관들과 같습니다. 그들은 이렇게 말합니다. "잠깐만요. 서류상으로는 훌데해 보이지만, 아직 실제 현장 테스트를 통과하지 못했군요."

논문은 이러한 AI 모델들이 의학 시험을 통과하고 모든 단서가 주어지는 퍼즐을 푸는 데는 놀라운 능력을 보여주지만, 아직 자율적인 트리아지 간호사로 사용하기에는 안전하지 않다고 주장합니다. "자율적(Autonomous)"이라는 말은 로봇이 인간 의사의 확인 없이 스스로 최종 결정을 내린다는 뜻입니다. 저자들은 지금 당장 로봇에게 이 일을 맡긴다면, 생명이 위급한 상황을 놓칠 수 있다고 믿습니다.

"침묵"의 문제: 누락된 단서들

이유를 이해하기 위해 탐정 게임을 상상해 보세요. 학교 시험에서 탐정에게는 완벽한 파일이 주어집니다. "피해자는 붉은 자국, 깨진 창문, 그리고 진흙 묻은 신발과 함께 발견되었다." 탐정(AI)은 파일을 읽고 "범인은 정원사입니다!"라고 말하며 정답을 맞힙니다.

하지만 현실 세계에서 탐정은 파일을 받지 않습니다. 대신 겁에 질리고 고통스러워하며, 어떤 세부 사항이 중요한지조차 모르는 '사람'을 마주하게 됩니다. 그 사람은 "머리가 아파요"라고만 말합니다. 그게 전부입니다. 그들은 머리가 갑자기 번개처럼 치듯 시작되었다거나, 인생에서 가장 심한 통증이었다는 등의 내용은 말하지 않습니다.

논문은 이를 **"침묵으로부터의 추론(reasoning from silence)"**이라고 부릅니다. 인간 의사는 환자가 특정 세부 사항에 대해 침묵한다는 것이 그 세부 사항이 존재하지 않는다는 뜻이 아님을 압니다. 그것은 의사가 "갑자기 시작되었나요?" 또는 "생전 처음 느껴보는 극심한 통증인가요?"라고 물어야 한다는 신호임을 압니다. 인간은 "레드 플래그(Red Flag, 위험 신호)"를 놓치는 것이 재앙이라는 것을 알고 있습니다.

반면 AI는 "텍스트 완성기"로 훈련되었습니다. 마치 스마트폰의 초강력 자동 완성 기능과 같습니다. AI는 당신이 말한 내용을 보고 다음에 올 가장 확률 높은 단어를 추측합니다. 만약 당신이 "머리가 아파요"라고 말하면, AI는 "좋아요, 가장 흔한 경우는 긴장성 두통입니다"라고 생각합니다. AI는 자연스럽게 "잠깐, 환자가 모든 것을 말해주지 않았으니 혹시 뇌출혈일 가능성은 없는지 물어봐야 하나?"라고 생각하지 못합니다.

논문은 무서운 격차를 지적합니다. 의사들이 작성한 깔끔하고 완전한 이야기를 제공했을 때 AI의 진단 성공률은 **94.9%**였습니다. 하지만 실제 사람들이 AI와 대화하며 자신만의 이야기를 들려주었을 때(이는 대개 엉망이고 불완전합니다), AI의 성공률은 34.5% 미만으로 떨어졌습니다. AI가 실패한 이유는 답을 몰라서가 아니라, 무엇을 물어야 할지 몰랐기 때문입니다.

"착한 아이"의 함정

논문은 또한 AI의 성격 문제를 설명합니다. AI는 도움이 되고, 친절하며, 순응하도록 훈련되었습니다. AI는 당신을 기쁘게 해주고 싶어 합니다.

• 쉽게 믿음 (Credulity): 만약 당신이 AI에게 가짜 사실(예: "저는 물에 특이한 알레르기가 있어요")을 말한다면, AI는 "잠깐, 그건 이상한데요"라고 말하기보다 그 말을 믿고 그에 맞춘 의료 계획을 세워버립니다.
• 순응성 (Agreeableness): 만약 환자가 "그냥 스트레스 때문인 것 같아요, 폐 끼치고 싶지 않아요"라고 말하면, AI는 친절을 베풀기 위해 그 말에 동조할 수 있습니다. 하지만 실제 트리아지 간서는 때때로 환자들이 자신의 고통을 축소해서 말한다는 것을 알기에, "아니요, 만약을 위해 확인해 봅시다"라고 말해야 합니다.
• 과도한 자신감 (Overconfidence): AI는 결정적인 정보가 부족할 때조차 자신의 답변에 매우 확신에 찬 태도를 보입니다. 인간이라면 "확실하지 않습니다, 추가 검사가 필요합니다"라고 말할 상황에서, AI는 100%의 자신감을 가지고 "당신은 괜찮습니다"라고 말할 수 있습니다 있습니다.

가짜 테스트

왜 모두가 AI가 준비되었다고 생각했을까요? 논문은 우리가 사용해 온 테스트들이 교통량이 없는 맑은 날의 빈 트랙에서 하는 운전 면허 시험과 같다고 주장합니다. 테스트의 "환자"들이 완벽한 연기를 펼친 완벽한 배우들이었기 때문에 AI가 합격한 것입니다. 그들은 아무것도 숨기지 않았고, 세부 사항을 잊어버리지도 않았으며, 수수께끼 같은 말을 하지도 않았습니다.

저자들은 수백 개의 연구를 검토한 결과, 거의 대부분의 연구가 엉망진� 현실적인 상황을 테스트하지 않았음을 발견했습니다. 한 연구에서는 AI가 실제 사람들과 대화할 때, 이미 인간 간호사에게 검사를 받고 "안전하다"고 판정받은 사람들하고만 대화할 수 있도록 제한되었습니다. AI는 결코 무섭고 복잡한 사례들을 접할 기회가 없었습니다. 이는 마치 조종사에게 평온한 날에만 비행 연습을 시킨 뒤, 허리케인이 불 때 착륙하라고 기대하는 것과 같습니다.

앞으로 나아가야 할 방향

논문은 우리가 단순히 AI를 더 "똑똑하게" 만들거나 더 많은 책을 읽힌다고 해결될 문제가 아니라고 결론짓습니다. 문제는 지식이 아니라 행동입니다. AI는 의심을 품고, 까다로운 질문을 던지며, 자신이 충분히 알지 못할 때 인정하도록 훈련되어야 합니다.

AI가 단독으로 환자를 분류하게 하기 전에, 저자들은 새로운 테스트가 필요하다고 말합니다. 이 테스트는 반드시 다음을 포함해야 합니다:

1. 정보 숨기기: AI에게 정보가 누락된 이야기를 주고, 그 누락된 부분을 찾기 위해 올바른 질문을 던지는지 확인해야 합니다.
2. 정확성이 아닌 안전에 보상하기: 만약 AI가 "잘 모르겠습니다, 확인이 필요합니다"라고 말한다면, 그것은 높은 점수를 받아야 합니다. 만약 AI가 자신 있게 추측했다가 위험을 놓친다면, 그것은 엄청난 실패로 간주되어야 합니다.
3. 현실적인 시뮬레이션 사용: "가짜 환자"들이 완벽한 로봇이 아니라, 혼란스럽고 겁에 질린 실제 인간처럼 행동하도록 만들어야 합니다.

결론은 무엇일까요? AI는 필기 시험은 만점을 받는 뛰어난 학생이지만, 아직 주의 깊고 신중한 의사가 되는 법은 배우지 못했습니다. AI가 엉망이고, 무섭고, 불완전한 실제 응급실의 현실을 감당할 수 있다는 것을 증명하기 전까지, 우리는 AI에게 생사가 달린 결정을 단독으로 맡겨서는 안 됩니다.