Algorithmic Authority and the Clinical Standard of Care

개요: 진료실에서의 줄다리기

두 명의 매우 다른 전문가가 환자를 진단하려고 노력하는 의사의 진료실을 상상해 보십시오.

1. 인간 의사: 이들은 "직관"과 수년간의 경험, 그리고 환자의 이야기 이면에 숨겨진 의미를 읽어내는 능력에 의존합니다. 이것이 논문에서 말하는 **암묵적 직관(tacit intuition)**입니다.
2. AI 컴퓨터: 이것은 수학, 통계, 그리고 수백만 개의 데이터 포인트(X-ray, 유전 코드, 의료 기록 등)를 스캔하여 가장 가능성 높은 답을 계산하는 데 의존합니다. 이것은 **확률적 추론(probabilistic reasoning)**입니다.

이 논문은 이 둘을 함께 놓았을 때 긴장이 발생한다고 주장합니다. 컴퓨터는 빠르고 정확하지만 확신에 찬 상태로 틀릴 수 있습니다. 인간은 지혜롭고 맥락을 파악하지만 편향되거나 피로할 수 있습니다. 저자인 아이지어장 아이에일란(Aizierjiang Aiersilan)은 우리가 컴퓨터가 인간을 대체하게 하거나, 혹은 그 반대로 하게 만들어서는 안 된다고 제안합니다. 대신, 우리는 이들이 하나의 팀으로서 함께 일하는 새로운 시스템이 필요합니다.

1. "코드가 곧 법이다"라는 아이디어

이 논문은 법학자 로런스 레시그(Lawrence Lessig)의 유명한 개념인 **"코드는 법이다(Code is Law)"**를 사용합니다.

• 비유: 비디오 게임을 생각해 보십시오. 게임의 코드(개발자가 프로그래밍한 규칙)는 당신이 무엇을 할 수 있고 무엇을 할 수 없는지를 결정합니다. 만약 코드가 벽을 넘을 수 없다고 규정한다면, 당신이 아무리 열심히 노력해도 벽을 넘을 수 없습니다. 코드가 그 세계의 법인 것입니다.
• 의학에서의 적용: 저자는 의료용 AI의 소프트웨어 코드가 똑같은 일을 하고 있다고 주장합니다. AI가 정보를 어떻게 제시하고, 어떤 데이터를 강조하며, 제안을 어떤 방식으로 표현할지를 결정함으로써, 소프트웨어는 의사가 생각하고 진료하는 방식의 "규칙"을 은밀하게 다시 쓰고 있습니다. 이는 실제 법안이 통과되기도 전에 의료 표준을 형성하는 보이지 않는 규제자로 작용합니다.

2. "환각(Hallucination)"과 "편향(Bias)"의 연결고리

AI에 대한 주요 우려 중 하나는 AI가 "환각"을 일으킨다는 것, 즉 사실이 아닌 것을 확신을 가지고 지어낸다는 점입니다. 논문은 여기서 놀라운 연결고리를 찾아냅니다.

• 비유: 탐정(의사)과 매우 빠른 사서(AI)를 상상해 보십시오.
  • 사서는 백만 권의 책에서 본 패턴을 근거로, 설령 집사가 무죄일지라도 "범인은 분명히 집사입니다"라고 확신하며 말할 수 있습니다. 이것이 AI의 환각입니다.
  • 탐정 역시 이전에 집사를 봤다는 이유로 다른 모든 단서를 무시하며 "범인은 분명히 집사입니다"라고 말할 수 있습니다. 이것이 인간의 확증 편향입니다.
• 핵심: 논문은 이 두 가지 실패가 구조적으로 동일하다고 주장합니다. AI와 인간 모두 100% 틀리면서도 100% 확신할 수 있습니다. 이 두 문제는 유사하기 때문에, 해결책 또한 유사해야 합니다. 우리는 단순히 AI를 고치는 것만으로는 부족하며, 인간과 AI가 상호작용하는 방식을 고쳐야 합니다.

3. 제안된 해결책: "변증법적" 팀

저자는 **변증법적 표준 진료(Dialectical Standard of Care)**라고 불리는 새로운 작업 방식을 제격합니다.

• 비유: 토론 클럽을 생각해 보십시오.
  • 현재 의사들은 단순히 AI의 말을 듣고 고개를 끄덕일 수 있습니다(수동적 수용).
  • 새로운 규칙은 토론을 요구합니다. AI가 자신의 논거(데이터)를 제시하면, 의사는 능동적으로 반박하고, 사실을 확인하며, 동의할지 여부를 결정해야 합니다.
  • 결과: 최종 결정은 AI에 의해 내려지는 것도, 의사 혼자 내리는 것도 아닙니다. 결정은 AI-의사 결합체(AI-Doctor Dyad), 즉 이 쌍에 의해 내려집니다. 이들은 진단을 책임지는 하나의 단위로 취급됩니다.

논문에는 이 토론을 강제하는 워크플로우(그림 1)가 포함되어 있습니다. 데이터가 AI로 전달되고 AI가 답을 내놓지만, 의사가 이를 비판적으로 검토하거나, 이의를 제기하거나, 혹은 확인하기 전까지는 그 답이 환자에게 전달될 수 없습니다. 이러한 "마찰"은 의사가 기계를 맹목적으로 신뢰하는 것을 방지합니다.

4. 개인정보 보호와 데이터의 문제

논문은 이 시스템의 토대가 불안정하다고 경고합니다.

• 비유: 늪(오래된 개인정보 보호법) 위에 마천루(AI 시스템)를 지으려는 것과 같습니다.
• 현실: 미국의 HIPAA와 같은 기존 법들은 잠금장치가 있는 캐비닛 속의 종이 파일들을 위해 작성되었습니다. 이는 AI가 학습하는 데 필요한 거대하고 복잡한 디지털 데이터를 처리하기에는 적합하지 않습니다. 논문은 AI가 끊임없이 데이터를 분석할 때 환자를 보호하기에 현재의 개인정보 보호 규칙이 너무 취약하며, 이로 인해 "신뢰 결핍"이 발생한다고 주장합니다.

5. 무엇이 바뀌어야 하는가?

이 "토론 클럽" 모델이 작동하기 위해, 논문은 세 가지 주요 변화를 제안합니다.

1. 책임 소재에 관한 새로운 규칙: 만약 AI와 의사가 함께 실수를 저질렀다면, 법은 이들을 하나의 팀으로 인식해야 합니다. 기계를 믿은 의사만을 탓하거나, 기계가 틀렸다고 해서 기계만을 탓할 수는 없습니다.
2. 의사를 위한 새로운 교육: 의과대학은 미래의 의사들에게 AI를 "심문"하는 법을 가르쳐야 합니다. 컴퓨터에 의문을 제기하는 것을 약함의 징후로 보는 것이 아니라, 핵심 기술으로 보아야 합니다.
3. 더 나은 시장 규칙: 보험회사는 의사가 AI의 결과물을 토론하고 검토하는 데 드는 '시간'에 대해 비용을 지불해야 합니다. 의사가 시간에 쫓기게 되면 토론을 건너뛰고 기계를 맹목적으로 신뢰하게 될 것이며, 이는 오류로 이어집니다.

요약

논문은 결론적으로, AI 시대에는 "실리콘"(컴퓨터)이나 "시냅스"(인간의 뇌) 어느 쪽도 단독으로는 의료 진단을 처리할 만큼 똑똑하지 않다고 말합니다. 유일하게 안전한 길은 컴퓨터와 의사가 서로 논쟁하도록 강제함으로써, 각자가 혼자일 때보다 더 똑똑하고 책임감 있는 하나의 팀을 구축하는 것입니다.