Quantifying the Expectation-Realisation Gap for Agentic AI Systems

1. 문제 정의 (Problem)

에이전트 AI(자율적으로 계획, 추론, 실행을 수행하는 AI 시스템) 는 소프트웨어 공학, 임상 의학, 고객 운영 등 다양한 분야에서 혁신적인 생산성 향상을 약속하며 도입되고 있습니다. 벤더와 투자자들은 도입 전 " Encounter 당 수 분 단위의 시간 절약", "이중 자릿수 비율의 속도 향상", "거의 전문가 수준의 정확도"와 같은 과장된 기대를 형성합니다.

그러나 실제 배포 후의 경험적 증거는 이러한 기대와 현실 사이에 체계적인 불일치 (Expectation–Realisation Gap) 가 존재함을 보여줍니다. 논문은 이러한 격차가 단순한 실수가 아니라, 에이전트 시스템이 인간 업무 흐름과 상호작용하는 방식, 성과 측정의 방법론, 그리고 사용자 집단 간의 편차에서 기인한 구조적 문제임을 지적합니다.

2. 연구 방법론 (Methodology)

이 논문은 특정 실험 설계보다는 기존의 통제된 실험 (Controlled Trials) 과 독립적인 외부 검증 (Independent Validations) 데이터를 체계적으로 검토 (Review) 하는 방식의 문헌 고찰입니다.

• 분석 대상: 소프트웨어 공학 (코드 작성), 임상 문서화 (Ambient Scribes), 임상 의사결정 지원 (Clinical Decision Support) 의 3 가지 주요 도메인.
• 데이터 소시: METR(모델 평가 및 위협 연구) 의 무작위 통제 시험 (RCT), Microsoft/Accenture 의 필드 실험, UCLA 의 임상 시험, Epic 및 IBM Watson 과 같은 상용 시스템의 외부 검증 연구 등.
• 비교 분석: 도입 전 예측 (벤더 주장, 사용자 예상, 개발자 내부 평가) 과 도입 후 실제 측정된 결과 (시간, 정확도, 품질) 를 정량적으로 비교하여 격차를 산출했습니다.

3. 주요 기여 (Key Contributions)

1. 기대 -실현 격차의 정량화: 다양한 도메인에서 기대치와 실제 성과 사이의 구체적인 수치적 격차 (예: 43% 포인트의 오차) 를 처음으로 체계적으로 제시했습니다.
2. 격차 발생 메커니즘 규명: 기대치가 왜 과대평가되는지를 설명하는 3 가지 핵심 동인 (Workflows friction, Verification burden, Measurement mismatch) 을 도출했습니다.
3. 이질성 (Heterogeneity) 의 중요성 강조: 에이전트 AI 의 효과가 사용자의 숙련도, 작업 복잡성, 맥락에 따라 균일하지 않으며, 오히려 숙련된 전문가일수록 부정적 영향을 받을 수 있음을 입증했습니다.
4. 구조적 계획 프레임워크 제안: '에이전트 자동화 캔버스 (Agentic Automation Canvas, AAC)'와 같은 도구를 통해 인간 감독 비용과 이질성을 명시적으로 고려한 계획 수립의 필요성을 주장했습니다.

4. 주요 결과 (Key Results)

가. 소프트웨어 공학 (Software Engineering)

• METR 연구 (경험 많은 개발자 대상): 개발자들은 AI 도구가 작업 시간을 24% 단축할 것이라고 예상했으나, 실제로는 19% 지연되었습니다. 이는 43% 포인트의 오차이며 방향이 완전히 반전된 결과입니다.
• 원인: AI 가 생성한 코드를 검토, 디버깅, 통합하는 데 소요된 시간이 초기 생성 시간을 상회했습니다.
• 대조군: Upwork 를 통해 모집된 개발자를 대상으로 한 GitHub Copilot 실험에서는 단순하고 잘 정의된 작업 (HTTP 서버 개발) 에서 56% 속도 향상이 관찰되었으나, 이는 작업의 복잡성과 개발자의 숙련도에 따른 이질적 효과를 보여줍니다.
• 품질 문제: Copilot 이 생성한 코드의 상당 부분 (Python 32.8%, JavaScript 24.5%) 이 보안 이슈를 포함하고 있어, 생산성 증가가 인간 검토 부담을 증가시켜 순이익을 상쇄할 수 있습니다.

나. 임상 문서화 (Clinical Documentation)

• 벤더 주장 vs 실제: 벤더는 "Encounter 당 5 분 절약"을 주장했으나, UCLA 의 무작위 통제 시험 (RCT) 에서 Nabla 는 문서 작성 시간을 9.5% (약 46 초) 만 줄였고, DAX 는 통계적으로 유의미한 효과가 없었습니다.
• 부분적 채택: 도구 사용률이 30~34% 에 그쳤으며, 일부 의사는 아예 사용하지 않았습니다.
• 시간 이동 (Time-shifting): 문서 작성 시간은 줄었지만, 야간 EHR 작업 시간은 증가하여 총 작업 시간이 줄어들지 않았음을 보여주었습니다.
• 지각과 현실의 괴리: 의사의 86.5% 가 시간 절약이 있었다고 느꼈지만, 객관적 측정치와는 상관관계가 없었습니다.

다. 임상 의사결정 지원 (Clinical Decision Support)

• 성능 과대평가: Epic 의 패혈증 모델은 내부적으로 AUROC 0.76~0.83 을 주장했으나, 외부 검증에서는 0.63으로 떨어졌으며, 실제 운영 임계값에서 민감도 (Sensitivity) 는 **33%**에 불과했습니다.
• IBM Watson for Oncology: 폐암에서는 96% 일치율을 주장했으나, 대장암에서는 48.9% 로 떨어졌으며, 고령 환자군에서는 20% 대로 급감했습니다. 이는 지역적 제약 (가이드라인, 보상, 인구통계) 으로 인한 전이 불가능성을 보여줍니다.

라. 격차 발생의 3 가지 핵심 동인

1. 작업 흐름 통합 마찰 (Workflow Integration Friction): 도구가 기존 업무에 완전히 통합되지 않아 부분적 채택으로 이어지고, 실제 조직적 이득이 축소됩니다.
2. 검증 및 검토 부담 (Verification Burden): AI 출력물을 인간이 검증하고 수정하는 비용이 초기 생성 시간 절감분을 상쇄하거나 초과합니다.
3. 측정 구성 요소 불일치 (Measurement Construct Mismatch): 벤더가 사용하는 지표 (예: Encounter 당 시간) 와 실제 평가 지표 (예: Note 작성 시간) 가 달라 기대치를 왜곡합니다.

마. 이질성 (Heterogeneity)

• AI 의 효과는 사용자의 기존 숙련도에 따라 다릅니다. 숙련도가 낮은 사용자는 큰 이득을 보지만, 숙련된 전문가는 오히려 생산성이 떨어지거나 품질이 저하될 수 있습니다.
• 따라서 '평균 효과'를 기반으로 한 계획은 특정 집단을 과소 또는 과대 투자하게 만듭니다.

5. 의의 및 결론 (Significance)

이 논문은 에이전트 AI 의 도입이 단순히 기술적 성능의 문제가 아니라, 사회 - 기술적 (Socio-technical) 통합 문제임을 강조합니다.

• 투자 위험 경고: 검증되지 않은 기대치에 기반한 투자는 조직에 순손실을 초래할 수 있음을 경고합니다.
• 구조적 계획의 필요성: 모호한 기대가 아닌, 정량화된 기대치 (Explicit, Quantified Expectations) 와 인간 감독 비용 (Human Oversight Costs) 을 명시적으로 반영한 계획 프레임워크가 필수적입니다.
• 새로운 접근법 제안: '에이전트 자동화 캔버스 (AAC)'와 같은 도구를 통해 시간, 품질, 리스크, 비용 등 다차원적인 지표를 설정하고, 사용자 집단별 이질성을 고려한 타겟팅 전략을 수립해야 합니다.

결론적으로, 에이전트 AI 의 진정한 가치를 실현하기 위해서는 마케팅이나 내부 벤치마크에 의존하기보다, 배포 전후의 격차를 정량화하고 이를 해소할 수 있는 엄격한 관리 체계가 마련되어야 합니다.