Forecasting AI Efficiency During Engagement Delivery: A Simulation Study of Estimate-to-Complete Methods in Accounting Services
본 연구는 회계 업무 수행에 대한 몬테카를로 시뮬레이션을 활용하여, 동적인 활동 수준의 실행예정원가(estimate-to-complete) 방식이 정적인 계획 수립보다 AI 기반 효율성을 예측하는 데 있어 현저히 우수함을 입증하며, 이를 통해 인력의 학습 곡선 및 업무량 변동성으로 인한 마진 리스크를 완화하기 위한 단계별 지침을 제공한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
회계 법인들은 인공지능을 일상 업무에 통합함에 따라 중대한 변화를 헤쳐 나가고 있습니다. 수십 년 동안 이들 기업은 작업에 시간이 얼마나 걸릴지, 비용이 얼마나 들지를 예측하기 위해 상세한 예산에 의존해 왔으며, 그 예측을 바탕으로 수수료를 책정해 왔습니다. AI의 등장은 일상적인 업무 속도를 높여줄 것을 약속하지만, 현실은 복잡합니다. 속도 향상은 균일하게 나타나지 않습니다. 어떤 작업은 극적으로 줄어드는 반면 어떤 작업은 거의 변하지 않으며, 완전한 이점은 직원들이 새로운 도구를 효과적으로 사용하는 방법을 배우는 데 시간을 보낸 후에야 비로소 나타나는 경우가 많습니다. 이는 까다로운 계획 문제를 야기합니다. 프로젝트 시작 시 작성된 예산은 지나치게 낙관적이거나 비관적일 수 있으며, 그 오류는 작업이 거의 끝날 때까지 명확히 드러나지 않을 수 있습니다. 이를 관리하기 위해 회계 법인들은 작업이 진행되는 동안 진행 상황을 점검하고, 처음에 희망했던 것이 아니라 실제로 일어나고 있는 현황에 근거하여 최종 비용 예측치를 조정할 수 있는 방법이 필요합니다.
최근 알리 체틴(Ali Cetin)의 연구는 어떤 방법이 이러한 비용 예측을 업데이트하는 데 가장 효과적인지 알아보기 위해 수천 건의 회계 업무를 시뮬레이션하여 바로 이 문제를 다룹니다. 이 연구는 '완료 예정 추정치(estimate to complete)'라고 불리는 특정 프로세스에 초점을 맞추고 있는데, 이는 지금까지 수행된 작업과 남은 작업을 살펴본 다음, 프로젝트의 더 정확한 총비용을 다시 계산하는 과정을 의미합니다. 저자는 8가지 유형의 작업과 3단계의 직급을 갖춘 전형적인 12개월 기간의 회계 업무를 모방한 컴퓨터 모델을 구축했습니다. 이 가상 세계에서 AI의 효율성은 가변적으로 설정되었고, 직원들은 시간이 지남에 따라 학습하여 더 빨라지도록 프로그래밍되었으며, 작업량 또한 변동될 수 있도록 했습니다. 이 시뮬레이션을 만 번 실행함으로써, 연구는 여섯 가지의 서로 다른 중간 프로젝트 예측 방식을 테스트하여 어떤 방식이 기업의 재무 예측을 실제와 가장 가깝게 유지하는지 확인할 수 있었습니다.
시뮬레이션 결과, 원래의 계획을 고수하는 것은 좋지 않은 전략임이 드러났습니다. 연구진이 초기 예산에만 의존하고 이를 업데이트하지 않았을 때, 최종 비용 예측은 종종 상당한 차이를 보였습니다. 그러나 팀이 실제 성과를 바탕으로 매월 예측치를 업데이트했을 때 정확도는 극적으로 향가되었습니다. 프로젝트의 6개월 차에 접어들면, 가장 우수한 업데이트 방식은 초기 계획만을 신뢰했을 때보다 예측 오차를 절반으로 줄였습니다. 이 발견은 AI의 이점이 불확실하고 직원이 학습 시간이 필요하기 때문에, 시작 단계에서 설정한 예산만으로는 충분하지 않다는 중요한 점을 강조합니다. 지속적인 모니터링은 단순히 도움이 되는 수준을 넘어, 재무 목표를 놓치지 않기 위해 필수적입니다.
또한 연구는 프로젝트의 모든 단계에 적용되는 단 하나의 '최선의' 방법은 없다는 사실을 발견했습니다. 가장 정확한 접근 방식은 직원들이 여전히 학습 단계에 있는지 여부에 따라 크게 달라집니다. 직원들이 새로운 도구에 익숙해지고 속도가 여전히 개선되고 있는 초기 몇 달 동안에는, 원래 계획과 최근 한 달간의 성과를 절충한 균형 잡힌 접근 방식이 가장 신뢰할 수 있는 방법이었습니다. 이러한 혼합 방식은 새로운 시스템을 배우느라 발생하는 느린 시작에 예측치가 과도하게 반응하는 것을 방지했습니다. 업무가 진행되고 직원의 성과가 안정됨에 따라 최선의 방법도 변화했습니다. 학습 곡선이 완만해지면, 지난 3개월간의 평균 성과를 살펴보는 방식이 무작위적인 일일 변동을 완화하면서도 현재의 실태를 반영하는 데 가장 정확한 방법이 되었습니다.
또 다른 핵심적인 발견은 업무의 성격 자체가 변할 때 나타났습니다. 시뮬레이션에서 연구진은 두 가지 특정 작업의 물량이 갑자기 30% 증가하는 시나리오를 도입했습니다. 업무 구성이 변하자, 프로젝트를 하나의 커다란 덩어리로 보는 예측 방식은 새로운 현실을 포착하는 데 실패했습니다. 예측이 정확성을 유지할 수 있었던 것은 오직 예측을 개별 활동별로 세분화하여 각 특정 작업에 소요되는 시간을 별도로 계산했을 때뿐이었습니다. 이는 업무가 안정적일 때는 높은 수준의 관점이 유효할 수 있지만, 범위가 변하는 경우 기업이 업무의 세부 사항을 살펴봐야 함을 시사합니다. 왜냐하면 각 작업마다 AI로부터 얻는 혜택이 다르기 때문입니다.
연구는 또한 계획 단계에서의 흔한 함정인 '낙관주의'를 조명했습니다. 시뮬레이션에 따르면, 기업들이 이상적인 AI 성능을 기준으로 예산을 설정할 때 수익 목표를 달성하지 못하는 경우가 빈번했습니다. 기본 시나리오에서 시뮬레이션된 프로젝트의 거의 74%가 계획보다 낮은 이익률을 기록했습니다. 이는 초기 계획이 직원의 도구 학습에 필요한 시간과 AI 생성 작업에 때때로 필요한 추가 검토 노력을 과소평가했기 때문에 발생했습니다. 이 연구는 기업들이 이러한 부족분을 예상해야 하며, 초기 계획이 계속 유효할 것이라고 가정하기보다는 월간 검토를 통해 이를 조기에 포착해야 한다고 제안합니다.
궁극적으로 이 논문은 이 새로운 환경을 헤쳐 나가는 기업들을 위해 실질적이고 단계적인 가이드를 제공합니다. 연구는 업무의 첫 3개월 동안, 즉 학습이 진행 중인 시기에는 원래 계획과 최근 성과를 동일한 비중으로 고려하는 혼합 예측을 사용해야 한다고 제안합니다. 팀이 안착한 후, 보통 4개월 차 즈음에는 지난 3개월간의 평균 성과를 추적하는 방식으로 전환해야 합니다. 만약 업무량이나 유형이 변한다면, 팀은 광범위한 개요 대신 상세한 작업별 예측으로 전환해야 합니다. 이러한 규칙들은 기업 규모와 상관없이 인공지능의 불확실성을 관리할 수 있는 단순하고 견고한 방법을 제공하며, 기업의 재무 계획이 실제 수행되는 업무의 현실에 기반을 두도록 보장합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.