An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

수십 년 동안 스프레드시트는 현대 세계의 조용한 엔진이자, 기업들이 이익을 계산하고 재고를 추적하며 예산을 계획하는 디지털 장부 역할을 해왔습니다. 이는 매우 보편적인 도구여서 대부분의 사람들은 그것이 어떻게 작동하는지 생각하지 않고 사용하지만, 연구자들은 이것이 취약하다는 사실을 오래전부터 알고 있었습니다. 1990년대까지 거슬러 올라가는 연구들은 이들 스프레드시트의 대다수가 적어도 하나 이상의 심각한 오류를 포함하고 있으며, 이는 종종 올바르게 보이지만 틀린 값을 계산하는 단 하나의 수식 속에 숨겨져 있다는 것을 보여주었습니다. 지난 수년간 전문가들의 가정은 단순했습니다. 이러한 오류는 인간이 손을 잘못 놀리거나, 숫자를 잘못 입력하거나 수식을 엉뚱한 셀로 드래그하는 것과 같은 논리적 실수를 저질렀기 때문에 발생한다는 것이었습니다. 전문가들의 관점에서 해결책은 언제나 인간의 검토, 즉 피해가 발생하기 전에 다른 사람이 그 실수를 잡아내도록 하는 것이었습니다.

하지만 이러한 스프레드시트가 구축되는 방식의 지형은 지난 몇 년 동안 극적으로 변화했습니다. 2023년경부터 이 도구들 내부에는 인간의 일상적인 언어로 요청을 들어 자연스럽게 수식을 작성하고 복잡한 보고서를 만들어내는 인공지능 비서라는 새로운 종류의 조력자가 등장했습니다. 이 기술은 작업 속도를 높여줄 것을 약속하지만, 새로운 불확실성을 도입합니다. 우리는 이러한 AI 시스템이 실수를 저지른다는 것을 알고 있으며, 결과가 그럴듯해 보일 때조차 수학적으로 틀리는 경우가 있습니다. 결정적인 질문은 인간 검토자가 AI의 실수를 인간의 실수만큼 쉽게 찾아낼 수 있는가 하는 점인데, 이에 대한 답은 아직 나오지 않았습니다. 만약 AI가 생성한 숫자가 약간 틀렸지만 합리적으로 보인다면, 지친 직원이 이를 알아챌까요, 아니면 세련된 결과물을 신뢰하여 위험한 오류를 그대로 통과시켜 버릴까요?

새로운 연구는 인간 검토자를 단순히 안전망으로 보는 것이 아니라 실험의 대상 자체로 취급함으로써 이 질문에 답할 방법을 제안합니다. 방글라데시 국립대학교와 이스트 웨스트 대학교의 연구진은 오류의 출처가 발견 가능성에 영향을 미치는지 확인하기 위해 통제된 비교 실험을 설계했습니다. 그들은 단순히 컴퓨터에게 수학 문제를 풀게 하고 얼마나 자주 실패하는지를 묻는 것이 아닙니다. 대신, 실제 분석가들이 두 가지 다른 방식으로 스프레드시트를 구축하는 시나리오를 제안합니다. 한 그룹은 모든 수식을 직접 입력하여 수동으로 작업을 수행할 것입니다. 다른 그룹은 자신의 지시에 따라 동일한 수식을 생성하도록 AI 비서를 사용할 것입니다. 두 그룹 모두 예산 보고서를 작성하거나 판매 데이터를 요약하는 것과 같이 동일한 과업을 부여받아, 작업의 난이도가 모두에게 정확히 동일하도록 보장할 것입니다.

스프레드시트가 구축되면 연구진은 엄격한 감사를 수행할 계획입니다. 그들은 모든 파일을 조사하여 오류를 찾아내고, 이를 특정 유형으로 분류할 것입니다. 그들은 깨진 링크나 명백히 합계가 맞지 않는 것과 같은 명백한 오류인 '시끄러운(loud)' 오류와, 훨씬 더 까다로운 '조용한(silent)' 오류를 살펴볼 것입니다. 조용한 오류란 컴퓨터가 정상적인 숫자를 생성하는 것처럼 보이지만, 잘못된 데이터를 사용했거나 규칙을 오해했기 때문에 실제로는 틀린 경우를 말합니다. 연구진은 AI 비서가 명백한 오타는 잘 피할지 몰라도, 조용한 오류를 빈번하게 생성할 것이라고 가설을 세우고 있습니다. AI는 수식의 구조는 제대로 맞출지 모르지만, 데이터의 서로 다른 부분들 사이의 미묘한 관계를 오해하여 그럴싸해 보이지만 틀린 답을 내놓는 경우가 많기 때문입니다.

이 연구의 가장 중요한 부분은 인간 검토자에 초점을 맞춘 두 번째 단계의 테스트입니다. 어떤 스프레드시트가 인간에 의해 만들어졌고 어떤 것이 AI에 의해 만들어졌는지 모르는 별도의 분석가 패널이 일반적인 시간 압박 조건 하에서 파일들을 검토할 것입니다. 그들에게 오류가 있다는 사실은 알려지지 않을 것이며, 그들은 실제 업무에서 하는 것처럼 작업을 검토하게 될 것입니다. 연구진은 검토자가 오류가 AI로부터 왔을 때 이를 놓칠 가능성이 더 높은지 확인하고자 합니다. 이 연구를 이끄는 가설은 인간이 자동화된 출력물을 볼 때 일종의 '신뢰 편향(trust bias)'을 겪는다는 것입니다. AI가 생성한 작업은 흔히 깔식하고 전문적으로 보이기 때문에, 검토자는 결과물에 대해 더 큰 확신을 느끼고 세부 사항을 덜 면밀히 검토하여, 만약 인간이 만들었다는 것을 알았다면 쉽게 발견했을 실수를 간과할 수 있습니다.

이 연구는 최종 수치를 아직 가지고 있지 않으며, 완료된 결과를 보고하기보다는 통제된 실험의 방법론을 개략적으로 설명하고 있습니다. 그러나 이 설계는 구체적이고 우려스러운 가능성을 테스트하기 위해 구축되었습니다. 즉, AI가 유발하는 오류가 인간이 만든 오류보다 포착하기 더 어렵다는 것입니다. 설령 실수의 심각성이 동일하더라도 말입니다. 만약 연구가 이를 확인한다면, 이는 현재 기업들이 작업을 확인하는 방식이 불충분함을 시사합니다. 단순히 인간이 화면을 보고 있는 것만으로는 충분하지 않다는 것을 의미하며, 이는 인간이 기계보다 기계를 더 무의식적으로 신뢰할 때 발생합니다. 연구진은 AI 오류가 실제로 탐지하기 더 어렵다면, 이러한 도구를 채택하는 조직들이 서류상으로는 기술적으로 더 빠르거나 정확할지라도 잘못된 결정을 내릴 위험을 키우고 있을 수 있다고 주장합니다.

이 연구는 거의 대화가 이루어지지 않았던 두 분야 사이의 간극을 메우는 것을 목표로 합니다. 한쪽에는 인간이 어떻게 실수를 하는지에 대한 명확한 지도를 확립한 수십 년간의 스프레드시트 오류 연구가 있습니다. 다른 한쪽에는 AI 모델이 이러한 과업에서 어떻게 실패하는지를 보여주는 새로운 데이터의 홍수가 있습니다. 부족했던 것은 인간의 반응을 측정하는 직접적인 비교였습니다. 인간이 만든 오류와 기계가 만든 오류에 대해 동일한 분류 체계를 사용하고, 제3자가 해당 오류를 얼마나 자주 발견하는지를 측정함으로써, 이 연구는 명확하고 증거에 기반한 답변을 제공하고자 합니다. 이는 "AI가 얼마나 자주 틀리는가?"를 넘어 "AI가 얼마나 자주 (걸리지 않고) 넘어가는가?"라는 더 실용적인 질문으로 나아갑니다.

이 연구의 함의는 스프레드시트 그 너민 곳까지 확장됩니다. 이는 고도의 이해관계가 걸린 환경에서 인간이 지능형 기계와 어떻게 상호작용하는지에 대한 광범위한 문제를 다룹니다. 만약 연구 결과 우리가 AI의 작업을 검토할 때 덜 경계한다는 것이 밝혀진다면, 이는 의사결정을 내리기 위해 사용하는 도구들이 우리 자신의 판단력에 사각지대를 만들고 있음을 시사합니다. 연구진은 단순히 오류가 발견되는지뿐만 아니라, 검토자들이 파일이 정확하다고 말할 때 얼마나 확신을 느끼는지도 측정할 계획입니다. 이 '교정(calibration)'은 핵심적입니다. 만약 검토자들이 AI 생성 작업에 대해 인간의 작업만큼 확신을 느끼면서도 실제로는 판단의 정확도가 떨어진다면, 이는 우리가 정보를 검증하는 방식에 근본적인 변화가 필요함을 나타냅니다.

궁극적으로 이 논문은 변화하는 세상에서 우리의 안전 습관이 따라가지 못하는 상황에 대한 필수적인 실험 제안입니다. 이는 작업이 기계에 의해 작성될 때 기존의 검토 규칙이 더 이상 적용되지 않을 수 있음을 인정합니다. 공정한 통제 실험을 설정함으로써, 저자들은 기업과 분석가들에게 그들이 직면한 위험에 대한 명확한 그림을 제공하고자 합니다. 그들은 AI가 쓸모없다거나 금지되어야 한다고 말하는 것이 아닙니다. 오히려 우리가 가장 중요한 숫자들을 AI에 맡기기 전에, 그 실패의 구체적인 성격을 먼저 이해해야 한다고 제안하는 것입니다. 목표는 우리가 기계에게 더 많은 작성을 넘겨주더라도, 진실이 눈앞에 숨겨져 있을 때 그것을 보는 능력을 잃지 않도록 하는 것입니다.