Intelligence Breaks the System It Controls

기술 요약: "지능은 자신이 통제하는 시스템을 파괴한다"

문제 정의
본 논문은 이중 지능 임상 시스템(임상의 + AI) 설계의 근본적인 구조적 결함을 다룬다. 안전한 의료용 AI는 AI가 고차원 패턴 인식을 담당하고 임상의가 맥락적 판단을 적용하는 거버넌스 모델을 통해 달성될 수 있다는 기존의 가정이 지배적이다. 저자들은 이러한 가정이 실패한다고 주장하는데, 그 이유는 효과적인 치료 자체가 환자의 생리학적 궤적을 변형시켜 "공유된 사각지대(shared blind spot)"를 생성하기 때문이다. 이 상태에서는 임상의와 AI 모두 이후의 환자 궤적을 예측하기에 충분한 정보를 보유하지 못하며, 이로 인해 현재의 정보 구조 하에서의 협력은 효과적이지 않게 된다. 핵심 문제는 협력의 부족이 아니라 계측(instrumentation)의 부재이다. 즉, 두 에이전트 모두 치료가 자신의 이력과 비교하여 환자의 궤적을 어떻게 변화시켰는지 측정하지 못하고 있다.

연구 방법론
본 연구는 치료 결정(임상의 또는 AI 모델에 의한)이 이후의 환자 궤적과 일치하는지를 감사하기 위해 "치료-경로 일치 프레임워크(treatment-path concordance framework)"를 활용한다. 연구에는 세 가지 대규모 종단적 데이터셋이 사용되었다:

1. MIMIC-IV (급성기 케어): 패혈증에서의 바소프레서(노르에피네프린) 적정(titration)에 초점을 맞춘 6,243건의 중환자실 입원 사례(73,141건의 접점). 이는 짧은 임상의-환자 접촉을 특징으로 하는 저정보 환경을 나타낸다.
2. ADNI (종단적 케어): 연속적인 인지 평가를 동반한 2,262명의 참가자(알츠하이머병). 이는 임상의가 수년간의 사적 관찰을 축적하는 고정보 환경을 나타낸다.
3. OhioT1DM: 혈당 궤적의 목표 구역 모호성을 검증하기 위한 6명의 피험자 및 87,091건의 CGM(연속혈당측정) 데이터셋.

저자들은 "13개 패밀리로 구성된 계산 모델 주(zoo)"(선형, 트리 기반, 앙상블, 부스팅 및 신경망 아키텍처 포함)를 학습시켰으며, 다음과 같은 몇 가지 새로운 지표를 도입했다:

• PBR (분기 역전 확률): 미래 방향의 모호성을 측정함 (0.5 = 최대 모호성).
• CS (곡률 변화) 및 DR (변형 반경): 치료가 사건 전의 지속 상태와 비교하여 궤적 기하학을 얼마나 변화시키는지 정량화함.
• CRA (협력 회복 감사): 다수 클래스 예측을 넘어 임상의와 AI의 정보 결합이 방향성 상태 변화를 해결하는 정도를 측정하는 로지스틱 회귀 기반 지표.
• Branch Balance (분기 균형): 유도된 지표 (2 × PBR)로, 1.0은 최대 모호성을 나타냄.

주요 결과

1. 목표 구역 모호성: 임상적 목표(예: 패혈증에서의 MAP 65 mmHg)는 최대 분기 모호성의 구역이다. MAP 65에서 PBR은 0.5에 근접하며, 이는 미래의 방향이 사실상 동전 던지기와 같음을 의미한다.
2. 치료 유도 변형: 효과적인 치료(예: 노르에피네프린 투여 시작)는 궤적 기하학을 유의미하게 변형시킨다. 치료된 궤적은 안정적인 비교군(0.566)에 비해 중앙값 1.143의 곡률 변화(Curvature Shift)를 보인다. 이러한 변형은 식별 불가능성을 주입한다. 반복적인 조절은 분기 균형(branch balance)을 첫 번째 조절 시 0.816에서 9회 이상의 조절 후 0.994로 몰아넣어, 방향성 식별력을 붕괴시킨다.
3. 공유된 사각지대 (급성기 케어): MIMIC-IV에서 임상의와 AI 모델 모두 치료 이벤트의 **53%**에서 이후 궤적을 맞추는 데 실패했다.
   • 협력 잉여: 임상의와 AI의 정보를 결합했을 때 얻는 이득은 미미했다(< 0.003).
   • 모델 실패: AI 모델은 특정 분기를 볼 수 없기 때문에 모집단 중앙값 행동(예: "용량 유지")을 기본값으로 선택했다. 용량 권고 모델은 MAP 65에서 임상의보다 일관되게 과다 투여(12.5% ~ 104.2% 초과)했다.
   • 기하학적 솔루션: 연속적인 궤적 변형(초기 형상으로부터 프로필이 얼마나 벗어났는지)을 직접 측정함으로써, 정보 교환이 아무런 가치를 더하지 못한 지점에서 방향성 해상도를 10–19 퍼센트 포인트 회복했다.
4. 역전 현상 (종단적 케어): ADNI에서는 양상이 역전되었다. 공유된 사각지대는 **11%**로 줄어들었다.
   • 임상의의 결정은 최대 25 퍼센트 포인트의 방향성 정보를 추가했다(축적된 사적 지식 반영). 반면, 궤적 기하학이 더하는 가치는 미미했다.
   • 진정한 협력 잉여(+0.020)는 임상의의 사적 지식과 궤적의 변형 이력을 결합했을 때만 관찰되었다.
5. 아키텍처의 한계: 모델 복잡성을 높이는 것(선형에서 심층 신경망까지)은 누락된 분기 이력을 회복시키지 못했다. 이는 모델 용량의 문제가 아니라 정보의 문제이다.

핵심 기여

• 구조적 진단: 본 논문은 안전한 임상 AI의 장애물이 부실한 거버넌스나 협력의 부족이 아니라, 치료 자체가 시스템의 운동 법칙을 변화시켜 발생하는 근본적인 "비식별성(non-identifiability)"임을 식별한다.
• 변형 인식 추정: 저자들은 다음 상태를 더 잘 예측하는 것이 아니라, "계측(instrumentation)"—즉, 자신의 이력과 비교하여 환자의 궤적 변형을 직접 측정하는 것이 해결책이라고 제안한다.
• 맥락 의존적 정보 아키텍처: 본 연구는 핵심 정보의 출처가 도메인별로 다름을 보여준다. 급성기 케어는 더 나은 궤적 계측을 필요로 하는 반면, 종단적 케어는 임의의 사적 지식을 모델에 인코딩하는 것을 필요로 한다.
• CRA 지표: 정보의 결합이 방향성 모호성을 해결하는지 경험적으로 테스트하기 위해 협력 회복 감사(Cooperation Recovery Audit)를 도입했다.

의의 및 주장
본 논문은 AI와 임상의 간의 역할을 할당하는 현재의 "거버너스(governance)" 패러다임이 성급하다고 주장한다. 이는 두 에이전트 모두 최적의 결정을 내리는 데 필요한 정보에 접근할 수 있다는 가정을 전제로 하기 때문이다. 저자들은 급성기 케어에서 두 에이전트 모두 현재 올바른 것을 측정하고 있지 않다고 주장한다.

중심 논지는 "지능은 자신이 통제하는 시스템을 파괴한다"는 것이다. 왜냐하면 개입(치료) 행위 자체가 환자를 재형성하여, 다음 결정의 입력값이 이전 상태의 왜곡된 버전이 되는 피드백 루프를 만들기 때문이다. 저자들은 안전한 임상 AI가 고정된 표면 위의 예측 모델링에서 벗어나, 변형 인식 추정(deformation-aware estimation)—즉, 행동-반응 이력을 통해 잠재적인 운용 법칙을 추론하는 아키텍처로 전환해야 한다고 결론짓는다. 시스템이 치료가 자신의 이력과 비교하여 환자의 궤적을 어떻게 변화시켰는지 측정하기 전까지는 자율 제어가 정당화될 수 없으며, 협력 또한 아무런 잉여를 창출하지 못할 것이다.