당신이 고속도로를 질주하는 자율주행 자동차를 보고 있다고 상상해 보세요. 당신은 그 차가 조향, 제동, 차선 변경을 할 수 있다는 것을 알지만, 동시에 한계도 있다는 것을 알고 있습니다. 만약 눈보라가 몰아치거나 혼란스러운 공사 구간을 만난다면, 자동차는 정확히 "좋아요, 인간, 이제 당신이 운전대를 잡으세요!"라고 말할 줄 알아야 합니다.

이제 똑같은 자율주행 자동차가 병원 안의 로봇 의사라고 상상해 보세요. 이것이 바로 **에이전틱 AI(Agentic AI)**의 세계입니다. 단순히 유능한 사서처럼 조언만 하는 것이 아니라, 환자의 약물을 조절하거나 심박수를 모니터링하는 것처럼 실제로 '업무'를 수행하는 스마트한 시스템을 말합니다.

문제는 무엇일까요? 현재 우리는 이 로봇 의사들이 얼마나 "책임"을 지고 있는지 설명할 적절한 방법이 없다는 것입니다. 우리는 보통 "그 AI가 정확한가요?"라고 묻곤 합니다. 하지만 저자들이 주장하듯, 그것은 마치 조종사에게 "비행할 수 있나요?"라고 물으면서, "허리케인 속에서도 비행할 수 있나요? 엔진이 고장 나면 어떻게 되나요?"라고 묻지 않는 것과 같습니다.

핵심 아이디어: 로봇 의사를 위한 "운전면허증"

호주의 의사와 기술 전문가들로 구성된 저자 팀은 이러한 AI 시스템을 평가하는 새로운 방법을 제안합니다. 그들은 자동차 산업(이미 자율주행 자동차에 대한 표준이 있는 곳)에서 영감을 얻어 이를 의료 분야에 맞게 변형했습니다.

이것을 모든 로봇 의사를 위한 **'세 부분으로 구성된 성적표'**라고 생각해보세요. 단 하나의 점수 대신, 우리는 세 가지 다른 영역을 살펴봅니다.

1. 직무 (임상 과업, Clinical Task): 로봇이 실제로 할 수 있는 구체적인 의료 행위는 무엇인가? 단순히 약을 권유할 수 있는가, 아니면 실제로 버튼을 눌러 투여할 수 있는가?
2. 놀이터 (운영 조건, Operating Conditions): 로봇이 작업할 수 있는 허용 범위는 어디까지인가? 성인 환자가 있는 조용한 중환자실에서만 작동하는가? 아니면 혼란스러운 응급실에 있는 아이들도 다룰 수 있는가?
3. 안전망 (폴백, Fallback): 상황이 잘못되면 어떻게 되는가? 로봇은 그냥 멈춰버리는가? 도움을 요청하며 소리를 지르는가? 아니-면 인간이 깨어날 때까지 환자를 안전하게 지키기 위한 백업 플랜을 가지고 있는가?

로봇 책임의 6단계

이 논문은 자율주행 자동차의 단계와 유사하게 레벨 0부터 레벨 5까지의 척도를 제안합니다. 실제 사례인 패혈증(빠른 수액 및 약물 처치가 필요한 생명을 위협하는 감염 반응)을 통해 살펴보겠습니다.

• 레벨 0 (자동화 없음): 로봇은 단순한 계산기에 불과합니다. 인간 의사가 모든 것을 합니다. 환자를 체크하고, 용량을 결정하고, 버튼을 누릅니다. 로봇은 그저 지켜보고 있을 뿐입니다.
• 레벨 1 (임상 보조): 로봇은 매우 똑똑한 조수입니다. "이 환자에게 500ml의 수액이 필요해 보입니다"라고 말합니다. 하지만 인간 의사가 이를 읽고, 생각하고, 직접 버튼을 눌러야 합니다. 로봇은 스스로 행동할 힘이 없습니다.
• 레벨 2 (부분 자동화): 로봇이 직접 손을 움직입니다. 엄격한 제한 범위 내에서 특정 약물 드립(drip)을 자동으로 조절할 수 있습니다. 인간 의사는 옆에서 대기하며, 로봇이 혼란에 빠질 경우 즉시 제어권을 잡을 준비가 되어 있어야 합니다.
• 레벨 3 (조건부 자동화): 여기서부터 흥미로워집니다. 로봇은 특정 환자, 특정 병실에 대해 전체 과정을 관리할 수 있습니다. 환자를 모니터링하고 치료를 조절합니다. 인간 의사는 매 초마다 화면을 뚫어지게 쳐다볼 필요는 없지만, "연락이 닿을 수 있는 상태"(예: 옆 방에 있는 상태)여야 합니다. 만약 로봇이 해결할 수 없는 문제에 부딪히면, 로봇은 안전하고 단순한 모드로 속도를 줄이고 인간에게 제어권을 넘기라고 호출합니다.
• 레벨 4 (고도 자동화): 로봇이 선장입니다. 환자를 관리하고 자신의 실수까지 처리합니다. 무언가 고장 나면, 로봇은 인간이 즉시 개입하지 않아도 스스로 고치거나 안전 모드로 전환합니다. 인간은 여례히 존재하지만, 가끔씩 확인하는 감독관 역할을 수행합니다.
• 레벨 5 (완전 자동화): 이론적인 '슈퍼 로봇'입니다. 어떤 환자든, 어떤 병원이든, 어떤 상황에서도 인간의 도움 없이 관리할 수 있습니다. 저자들은 명확히 밝힙니다: 우리는 아직 여기에 도달하지 않았습니다. 이 단계는 미래를 위한 "만약에"라는 가정일 뿐이며, 현재 이 단계의 로봇이 배치되고 있지는 않습니다.

왜 중요한가: "자율성 잠식(Autonomy Creep)"의 함정

이 논문은 "자율성 잠식"을 경계해야 한다고 주장합니다. 이는 로봇이 원래 하기로 했던 것보다 조금씩 더 많은 일을 수행하며, 아무도 인지하거나 확인하지 못하는 사이에 서서히 업무를 장악해 나가는 현상을 말합니다.

당신이 거실을 청소하기 위해 산 로봇 청소기를 상상해 보세요. 시간이 지나면서 이 로봇은 계단을 청소하고, 주방을 청소하고, 결국 지붕까지 청소하기 시작합니다. 만약 "멈춰! 너는 거실만 청소할 수 있어"라는 명확한 규칙이 없다면, 로봇은 지붕에서 떨어질 수도 있습니다.

저자들은 병원이 모든 로봇에 대해 두 가지를 명확히 정의해야 한다고 제ب합니다:

1. 그것이 할 수 있는 것 (기술적 능력).
2. 그것이 허용된 것 (승인된 수준).

만약 로봇이 레벨 4를 수행할 수 있는 소프트웨어 업데이트를 받았더라도, 병원이 레벨 2까지만 승인했다면, 시스템은 스스로 멈출 줄 알아야 합니다. 만약 그렇지 않다면, 그것은 안전 문제입니다.

인간 요인: 우리는 감독자가 될 준비가 되었는가?

논문이 강조하는 까다로운 부분입니다. 로봇이 더 많은 업무를 맡게 됨에 따라(레벨 2에서 레벨 3으로 이동), 인간 의사의 역할은 '업무를 수행하는 것'에서 '업무를 관찰하는 것'으로 변합니다.

저자들은 역설적인 상황을 지적합니다. 인간이 업무를 수행하지 않게 되면, 오히려 그 업무 능력이 떨어지게 됩니다. 의사가 하루 종일 로봇이 환자의 심박수를 조절하는 것을 지켜보기만 한다면, 스스로 그 일을 하는 법을 잊어버릴 수 있습니다. 만약 로봇이 갑자기 고장 나고 의사가 개입해야 할 때, 의사는 너무 녹슬어서(rusty) 상황을 해결하지 못할 수도 있습니다.

논문은 우리가 아직 "AI 감독자"를 위한 교육 시스템을 갖추지 못했다고 지적합니다. 우리는 의사에게 수술하는 법을 가르칠 줄은 알지만, 로봇이 수술하는 것을 지켜보며 즉시 개입할 준비를 하는 법은 어떻게 가르쳐야 할지 아직 모릅니다.

결론

저자들은 이러한 로봇을 만드는 것을 멈추라고 말하는 것이 아닙니다. 우리는 길을 가기 전에 더 나은 지도가 필요하다고 말하는 것입니다.

현재 우리는 강력한 엔진을 만들고 있지만, 도로 상황이나 브레이크에 대한 명확한 이해 없이 운전하고 있습니다. 이 새로운 프레임워크는 우리가 단순히 "그 AI가 똑똑한가?"라고 묻는 것을 넘어, "그 AI가 어디까지 운전할 수 있으며, 충격을 받았을 때 어떻게 되는가?"를 묻기 시작해야 한다고 제안합니다.

이 세 가지 영역—로봇이 하는 일, 작동하는 장소, 그리고 실패를 다루는 방식—에 대한 명확한 규칙이 없다면, 우리는 강력한 도구들이 통제 불능 상태로 운영되어 환자의 안전이 위협받는 "거버넌스 진공(governance vacuum)" 상태에 빠질 위험이 있습니다. 이 논문은 이러한 등급 체계를 사용함으로써, 로봇 의사가 도착했을 때 그들이 단순히 멋대로 날뛰는 것이 아니라, 안전하고 감독 하에 있으며 도움을 줄 준비가 되어 있도록 만들 수 있다고 제안합니다.