Human-in-the-Loop Tax Auditing: Optimal Triage Between AI and Human Inspectors

조세 당국은 과세라는 개념이 등장했을 때부터 존재해 온 오래된 문제에 직면해 있습니다. 바로 검토해야 할 세금 신고서는 너무 많은 데 비해 이를 검토할 인력은 턱없이 부족하다는 점입니다. 정부는 항상 어떤 신고서를 더 자세히 살펴볼지, 그리고 어떤 것은 그냥 둘 것인지를 결정해야 했습니다. 과거에는 이러한 결정이 인간의 직관이나 누가 가장 부정직할 가능성이 높은지에 대한 단순한 규칙에 의존했습니다. 그러나 오늘날 세무 기관은 수백만 건의 신고서를 몇 초 만에 스캔하여 의심스러운 사례를 찾아낼 수 있는 강력한 인공지능 시스템을 보유하고 있습니다. 하지만 이 기계들이 모든 것을 할 수는 없습니다. 기계는 패턴을 포착할 수는 있지만, 범죄를 입증하는 데 필요한 물리적 증거를 수집하거나, 고집 센 납세자로부터 돈을 징수하기 위해 필요한 복잡한 법적 절차를 수행할 수는 없습니다. 현대 정부의 핵심 질문은 이제 단순히 어떻게 나쁜 행위자를 찾아낼 것인가가 아니라, 언제 기계를 신뢰하는 것을 멈추고 인간 조사관을 신뢰하기 시작할 것인가 하는 것입니다.

이것이 바로 우한 대학교의 경제학자 쿤 황(Kun Huang)이 다루는 구체적인 퍼즐입니다. 이 연구는 인공지능이 인간보다 더 나은가라는, 종종 헤드라인을 장식하는 논쟁을 다루는 것이 아닙니다. 대신, 컴퓨터가 이미 스크리닝을 마친 후, 남은 한정된 인적 자원을 사용하는 가장 가치 있는 방법이 무엇인가라는 더 실용적인 질문을 던집니다. 이 연구는 세무 당국이 어떻게 사례를 분류(triage)해야 하는지를 시뮬레이션하기 위해 정교한 경제 모델을 구축합니다. 연구는 세 가지 경로를 비교합니다. 즉, 추가 조치 없이 사례를 그대로 두거나, 저비용 자동 점검을 실행하거나, 혹은 인간 조사관에게 보내는 것입니다. 모델은 인간의 조사를 모든 것을 해결하는 마법 지팡이가 아니라, 두 가지 뚜렷한 장점을 제공하는 특정 도구로 취급합니다. 첫째, 인간은 컴퓨터가 놓친 새로운 증거를 찾을 수 있습니다. 둘째, 설령 컴퓨터가 이미 납세자가 돈을 내야 한다는 사실을 알고 있더라도, 인간 조사관은 더 나은 협상 기술이나 법적 절차 덕분에 실제로 그 돈을 징수하는 데 더 효과적일 수 있습니다.

이러한 아이디어를 테스트하기 위해 연구자는 실제 세무 기록을 살펴보지 않았습니다. 그러한 방식으로는 통제된 실험을 수행하는 것이 불가능하기 때문입니다. 대신, 연구는 10만 건의 가짜 세금 사례로 구성된 거대한 합성 세계를 만들었습니다. 이 디지털 실험실에서는 모든 세부 사항을 알 수 있었습니다. 즉, 어떤 납세자가 실제로 비협조적인지, 그들이 얼마를 미납했는지, 그들의 신고서가 얼마나 복적인지, 그리고 컴퓨터와 인간 조사관이 실수를 할 확률이 각각 얼마인지 등을 모두 파악했습니다. 컴퓨터는 상당히 정확하도록 프로그래밍되었고, 인간 조사관은 증거를 찾는 데는 약간 더 뛰어나지만 고용 비용은 더 높도록 프로그래밍되었습니다. 이후 시뮬레이션은 한정된 인간의 슬롯을 배정하는 다양한 전략을 테스트하며 수천 번 실행되었습니다. 어떤 전략은 가장 의심스러운 사례를 인간에게 보냈고, 어떤 전략은 가장 혼란스러운 사례를 보냈으며, 또 다른 전략은 단순히 무작위로 선택하기도 했습니다.

결과에 따르면 가장 흔한 직관이 종-종 틀린 것으로 나타났습니다. 많은 이들은 가장 위험도가 높은 사례를 인간 조사관에게 보내는 것이 최선이라고 가정합니다. 시뮬레이션 결과, 이러한 "위험도 중심" 접근 방식은 비효율적이었습니다. 어떤 사례는 거짓일 확률이 매우 높지만, 만약 컴퓨터가 서류 매칭을 통해 이미 쉽게 해결할 수 있는 사안이라면, 그곳에 인간 조사관을 보내는 것은 시간 낭비입니다. 반대로, 어떤 사례는 의심 정도가 중간 수준일지라도, 컴퓨터가 문제를 올바르게 식별하더라도 돈을 징수하는 단계에서 실패할 가능성이 높다면 인간의 주의를 끌 가치가 있을 수 있습니다. 연구는 인간을 투입하는 최적의 전략은 그들이 가져오는 추가적인 가치(새로운 증거 발견 또는 더 나은 징수 능력)가 컴퓨터가 제공할 수 있는 최선의 대안보다 클 때뿐이라는 것을 밝혀냈습니다. 이는 가장 위험한 사례나 가장 불확실한 사례가 반드시 인간에게 가장 적합한 사례는 아니라는, 복잡한 의사결정 지도를 만들어냅니다.

또한 연구는 컴퓨터와 인간의 관계가 변할 때 나타나는 놀라운 행동 양상을 발견했습니다. 만약 인간 조사관이 컴퓨터와 똑같은 실수를 저지른다면, 인간은 새로운 정보를 찾는 측면에서 아무런 가치를 더하지 못합니다. 그러나 연구는 이러한 시나리오에서도 인간이 마지막 단계인 징수 과정에서 더 뛰어나다면 여전히 가치가 있을 수 있음을 보여주었습니다. 나아가, 인공지능이 똑똑해질수록 인간에게 보내지는 사례의 수가 반드시 직선적으로 감소하는 것은 아님을 입증했습니다. 때로는 더 나은 컴퓨터가 오히려 인간의 독특한 기술이 더욱 중요해지는 특정 난해한 사례들을 식별하는 데 도움을 주어, 더 나은 기술과 인간의 노동이 서로를 대체하기보다 함께 작동하는 상황을 만들어내기도 합니다.

가장 중요한 발견 중 하나는 정부의 예산에 좋은 것이 무엇인지와 사회 전체에 좋은 것이 무엇인지 사이의 차이에 관한 것입니다. 세수 극대화를 목표로 하는 전략은 정직한 납세자들에게 과도한 부담을 줄 수도 있습니다. 예를 들어, 잘못된 경보(false alarm)로 인해 납세자들이 서류 준비를 위해 수 시간을 허비하게 만드는 식입니다. 연구는 이러한 숨겨진 비용을 계산에 넣었을 때 "최선의" 전략이 바뀐다는 것을 보여주었습니다. 재무부에 재정적 승리처럼 보이는 정책이라 할지라도, 너무 많은 준법 시민을 괴롭힌다면 사회 전체적으로는 순손실이 될 수 있습니다. 또한 연구는 조사가 진행될 것이라는 위협이 납세자의 행동을 어떻게 변화시키는지도 탐구했습니다. 납세자들은 인간이 자신을 조사할 수 있다는 것을 알게 되면, 조사가 시작되기도 전에 자발적으로 세금을 납부할 가능성이 높아집니다. 이러한 "억제" 효과는 때때로 조사 우선순위의 순위를 뒤바꿀 수 있으며, 이는 인간 조사관의 가치가 단순히 그들이 찾는 증거뿐만 아니라 그들이 불러일으키는 공포에도 포함되어 있음을 시사합니다.

연구는 인간을 호출할 때 적용되는 보편적인 규칙은 없다고 결론짓습니다. 최선의 결정은 전적으로 상황의 구체적인 세부 사항에 달려 있습니다. 즉, 컴퓨터가 얼마나 우수한지, 조사관을 고용하는 비용이 얼마인지, 징수가 얼마나 어려운지, 그리고 이 과정이 납세자에게 얼마나 큰 부담을 주는지에 따라 달라집니다. 이 연구는 이러한 상충 관계를 생각하는 명확한 프레임워크를 제공하며, 인간 조사관의 가치는 고정된 숫자가 아니라 역동적인 계산임을 보여줍니다. 이는 세무 당국이 사례를 단순히 "위험도"라는 단일 점수로 순위를 매기는 것을 멈추고, 대신 특정 사례에 인간을 투입했을 때 얻을 수 있는 구체적인 경제적 이득을 계산해야 한다고 제언합니다. 그렇게 함으로써, 그들은 한정된 인적 자원이 단순히 눈에 띄는 타겟을 채우는 데 쓰이는 것이 아니라, 진정으로 차이를 만들어낼 수 있는 곳에 사용되도록 할 수 있습니다.

이 작업은 여전히 시뮬레이션, 즉 실제 세무실에서 보고된 보고서라기보다는 디지털 세계에서 정교하게 구축된 실험입니다. 생성된 수치들은 특정 국가에서 일어날 일을 추정한 값이 아니라, 서로 다른 경제적 힘들이 어떻게 상호작용하는지를 보여주는 입증입니다. 이 연구는 세금 징수 문제를 해결했다고 주장하거나 정부가 구매할 수 있는 기성 소프트웨어 패키지를 제공하는 것이 아닙니다. 대신, 이 연구는 가정을 걷어내고 인간과 기계가 어떻게 함께 작동하는지에 대한 근본적인 메커니즘을 드러내는 엄밀한 사고 방식을 제공합니다. 이는 세무 조사의 미래가 인공지능과 인간의 판단 중 하나를 선택하는 문제가 아니라, 모두에게 가장 큰 가치를 창출하기 위해 두 요소가 만나야 하는 정밀하고도 종종 직관에 반하는 지점을 찾는 것임을 보여줍니다.