A live agent benchmark of independent action authorization for healthcare AI agents

인공지능이라는 신흥 세계에서 중대한 변화가 일어나고 있습니다. 컴퓨터는 더 이상 단순히 질문에 답하는 것에 그치지 않고, 행동하기 시작했습니다. 컴퓨터는 의료 기록을 검색하고, 복잡한 작업 순서를 계획하며, 디지털 도구를 사용하여 업무를 수행할 수 있습니다. 이러한 새로운 능력은 디지털 에이전트의 성능을 측정하기 위해 설계된 표준화된 테스트인 벤치마크를 구축하려는 경쟁을 촉발했습니다. 그러나 이를 평가하는 방식에는 결정적인 공백이 남아 있습니다. 현재 대부분의 테스트는 역량, 즉 에이전트가 정답을 찾아내거나 과업을 완수할 수 있는지에 전적으로 집중합니다. 이들은 에이전트가 그 행동을 취할 권한이 있는지, 그리고 어떤 조건 하에서 그러한지를 측정하는 '권한 부여(authorization)'는 거의 측정하지 않습니다. 실수가 심각한 결과로 이어질 수 있는 의료 분야에서는 에이전트가 무엇을 '할 수 있는지'를 아는 것만으로는 부족하며, 무엇을 '해도 되는지'를 반드시 알아야 합니다. 문제는 외부 안전 계층, 즉 모든 움직임이 일어나기 전에 이를 확인하는 디지털 문지거를 추가하는 것이 실제로 시스템을 더 안전하게 만드는지, 아니면 단순히 속도를 늦추고 새로운 문제를 일으키는지 여부입니다.

최근 한 연구는 시뮬레이션된 의료 환경 내의 인공지능 에이전트를 활용한 라이브 실험을 통해 이 질문에 답하고자 했습니다. 연구진은 특정 작업, AI 모델, 컴퓨터에 주어진 지침, 사용 가능한 디지털 도구 등 모든 요소를 일정하게 유지한 통제된 시나리오를 만들었습니다. 이들이 변경한 유일한 요소는 에이전트의 행동을 승인하거나 차단할 독립적인 안전 계층의 존재 여부였습니다. 연구진은 수백 건의 시뮬레이션된 케어 코디네이션(care-coordination) 에피소드를 실행했으며, 이 과정에서 안전 계층은 인간 감독관이 그러하듯 불완전한 정보에 기반하여 결정을 내려야 하는 상황에 놓였습니다. 목표는 이 추가적인 감독 계층이 실제로 위험한 실수를 방지하는지, 아니면 새로운 오류와 지연을 초래하는지 확인하는 것이었습니다.

실험은 네 가지 서로 다른 설정으로 진행되었습니다. 한 그룹의 에이전트는 단순한 계산기처럼 작동하며 엄격하고 변경 불가능한 규칙을 따랐습니다. 다른 그룹은 외부의 점검 없이 자유롭게 원하는 도구를 사용할 수 있는 제약 없는 에이전트였습니다. 세 번째 그룹은 동일한 제약 없는 에이전트를 사용하되, 그 앞에 '안전 게이트웨이'를 배치하여, 모든 제안된 행동을 허용하기 전에 일련의 규칙에 따라 검토하도록 했습니다. 네 번째 그룹은 그 게이트웨이 위에 동적 컨트롤러를 추가하여, 최근의 성과에 따라 에이전트의 자유도를 조정할 수 있도록 했습니다. 연구진은 공정한 비교를 위해 각 시나리오가 동일한 조건 하에서 테스트되도록 보장하며 이 설정들을 가로질러 576개의 별개 에피소드를 실행했습니다.

결과는 놀랍고도 미묘한 양상을 보여주었습니다. 주요 척도는 안전 정책을 위반한 단계(예: 명시적으로 금지된 약물을 변경하려고 시도하거나 적절한 권한 없이 환자에게 연락하는 것 등)를 '안전하지 않은 행동'으로 정의했습니다. 전체 안전 시스템이 갖춰진 그룹에서는 에피소드의 0.7%에서 안전하지 않은 행동이 발생했습니다. 안전 점검이 전혀 없는 그룹에서는 그 비율이 0.4%로 약간 더 낮았습니다. 이 차이는 매우 작아서 우연에 의한 것일 수 있으며, 이는 안전 계층이 실수를 통계적으로 감소시키지 못했음을 의미합니다. 사실, 제약 없는 에이전트는 테스트 시나리오에 숨겨진 특정 금지된 행동을 시도조차 하지 않았는데, 이는 AI가 이미 스스로 매우 조심스럽게 행동하고 있었음을 시사합니다.

안전 계층이 안전성을 개선하지는 못했지만, 명확한 비용을 발생시켰습니다. 전체 거버넌스 시스템 하에서 작동하는 에이전트들은 과업을 완료하는 데 더 오랜 시간이 걸렸고, 관리하는 데 더 많은 인간의 노력이 필요했습니다. 일상적인 과업에서의 성공률은 크게 떨어졌으며, 사례를 인간 의사에게 에스컬레이션(escalate)할지 결정할 때의 정확도도 낮아졌습니다. 또한 시스템 운영 비용도 더 많이 들었습니다. 연구진은 안전 게이트웨이와 동적 컨트롤러가 측정 가능한 지연과 업무량을 추가하면서도 측정 가능한 안전 이익을 제공하지 못한다는 것을 발견했습니다. 이는 이미 정렬(aligned)이 잘 되어 있고 위험한 오류를 저지를 가능성이 낮은 AI 모델의 경우, 외부의 권한 확인 계층을 추가하는 것이 성능을 저하시키면서 새로운 오류를 잡아내지는 못하는 불필요한 부담이 될 수 있음을 시사합니다.

또한 본 연구는 이러한 테스트의 한계점을 강조했습니다. 에피소드들은 실제 환자 기록이 아닌 컴퓨터로 생성된 합성 시나리오였으며, 안전 규칙은 인간 의사의 복잡한 판단이 아닌 고정된 지침 세트에 기반했습니다. 연구진은 테스트된 AI 모델이 우연히 오류 발생률이 매우 낮은 기저율을 가지고 있어, 안전 계층이 개선을 입증할 여지가 적었다고 언급했습니다. 연구진은 이 결과가 더 많은 실수를 저지르기 쉬운 다른 AI 모델이나 다른 유형의 의료 업무에는 적용되지 않을 수 있다고 경고했습니다. 이 결과가 안전 계층이 무용하다는 것을 증명하는 것은 아니지만, 그것이 무료이거나 자동적인 해결책은 아니라는 점을 보여줍니다. 조직이 AI 에이전트에 복잡한 안전 시스템을 추가하기로 결정하기 전에, 먼저 해당 특정 에이전트가 스스로 얼마나 자주 실수를 저지르는지 측정해야 합니다. 만약 에이전트가 이미 안전하다면, 안전 계층은 단지 결과는 바꾸지 못한 채 시간과 노력만을 더하는 비용이 될 수 있습니다.

궁극적으로, 이 연구는 의료 분야에서 AI 자율성의 트레이드오프(trade-offs)를 드물게 통제된 방식으로 보여줍니다. 이는 더 많은 감독이 항상 더 많은 안전을 보장한다는 가설에 도전합니다. 대신, 외부 안전 게이트의 가치는 그것이 보호하고 있는 에이전트의 행동에 전적으로 달려 있다는 점을 시사합니다. 만약 에이전트가 이미 조심스럽다면, 게이트는 병목 현상이 될 수 있습니다. 만약 에이전트가 오류를 범하기 쉽다면, 게이트는 필수적일 것입니다. 연구는 조직이 안전 계층을 비용이 들지 않는 보험 정책으로 간주해서는 안 된다고 결론짓습니다. 조직은 해당 레이어가 실제로 오류를 잡아내는지, 아니면 이미 잘 작동하고 있는 시스템의 속도만 늦추고 있는지를 확인하기 위해 자신들의 특정 에이전트를 테스트해야 합니다.