Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

물건을 사고파는 모든 기업은 모든 거래에 대해 정밀한 기록을 유지해야 합니다. 회사가 송장(invoice)을 받으면, 인간 회계사는 해당 비용이 어떤 특정 범주에 속하는지 결정해야 하는데, 이를 '일반 회계 계정(General Ledger) 코드 할당'이라고 합니다. 이것은 단순한 분류 작업이 아닙니다. 구매 항목이 일상적인 운영을 위한 것인지, 자본 투자인지, 아니면 사업주의 개인적 비용인지를 이해하기 위해서는 전문적인 판단력이 필요합니다. 이를 정확하게 수행하는 것은 정확한 재무 보고와 세무 준수의 기초가 됩니다. 만약 이 코드들이 잘못 지정되면 소규모 기업은 불필요한 벌금을 물게 되고, 정부는 수십억 달러의 세수 손실을 입게 됩니다. 수년 동안 인공지능이 이 어려운 업무를 자동화할 수 있기를 기대해 왔지만, 기술은 숙련된 인간 회계사의 미묘한 차이를 따라잡는 데 종종 어려움을 겪어 왔습니다.

브리스톨 대학교와 시스템 홀딩스(System Holdings Limited)의 연구진은 최근 다른 경로를 탐색했습니다. 방대한 양의 컴퓨팅 파워를 요구하고 데이터 프라이버시 문제를 일으키는 거대하고 복잡한 AI 시스템 대신, 그들은 더 작고 특화된 언어 모델이 이 업무를 효과적으로 수행하는 법을 배울 수 있는지 테스트했습니다. 이러한 작은 모델들은 단 한 대의 컴퓨터에서도 실행될 수 있어, 민감한 재무 데이터를 기업 내부의 보안 구역 안에 안전하게 유지할 수 있습니다. 연구팀은 단순히 이 모델들이 작동하는지뿐만 아니라, 이들이 어떻게 '생각하는지'를 알고 싶었습니다. 그들은 컴퓨터 내부 정보의 수학적 '형태'를 조사하여, 모델이 내부 메모리에서 유사한 송장들을 어떻게 그룹화하는지 살펴보았습니다. 그들은 이 작은 모델들이 정보를 조직하는 방식이 놀라울 정도로 효율적이며, 이러한 조직화가 성공의 핵심이라는 것을 발견했습니다.

연구진은 영국 회계 법인의 고객 7곳으로부터 받은 2,000개 이상의 실제 송장 데이터셋을 활용했습니다. 각 송장은 전문 회계사들에 의해 이미 올바르게 분류된 상태였습니다. 연구팀은 이 데이터를 SBERT라고 불리는 작고 효율적인 모델과 DeBERTa라고 불리는 더 크고 복잡한 모델, 두 가지 유형의 AI 모델에 입력했습니다. 그들은 다양한 버전의 송장 텍스트로 모델을 테스트했습니다. 한 버전은 판매자 이름, 날짜, 가격만을 포함했습니다. 다른 버전은 구매한 품목의 전체 목록을 포함했습니다. 세 번째 버전은 인간이 읽기 편하도록 "판매자 이름:", "가격:"과 같은 명시적인 라벨을 추가하여 텍스트를 더 구조화된 형태로 만들었습니다.

결과는 기계가 글을 읽는 방식에 대한 역설적인 진실을 드러냈습니다. 명확한 라벨과 구조화된 형식을 갖추어 인간이 읽기에 가장 쉬운 형태의 텍스트가, 오히려 AI가 서로 다른 유형의 송장을 구별하는 데는 더 어렵게 만들었습니다. 컴퓨터가 모든 문서에서 "판매자 이름"과 "가격"이라는 단어를 반복해서 보게 되면, 해당 문서들의 내부 수학적 표현이 너무 유사해져서 문서 간의 경계가 흐릿해졌습니다. 모델은 인간 회계사가 지저한 영수증을 훑어보는 것처럼, 가공되지 않은 원시 형태의 송장 텍스트를 받았을 때 가장 성능이 좋았습니다. 더 작은 모델인 SBERT가 더 우수한 선택임이 증명되었습니다. 단 몇 백 개의 사례로 학습되었을 때, SBERT는 훨씬 더 큰 모델이나 특정 작업에 대한 학습을 거치지 않은 표준적인 '제로샷(zero-shot)' AI보다 훨씬 더 높은 정확도로 송장을 올바르게 분류해 냈습니다.

컴퓨터의 내부 메모리에 대한 심층적인 분석은 왜 작은 모델이 큰 모델이 고전한 지점에서 성공했는지를 설명해 주었습니다. 연구진은 더 큰 모델의 내부 데이터 표현이 '붕괴(collapsed)'되었다는 것을 발견했습니다. 텍스트가 길어지고 상세해질수록, 모델이 서로 다른 의미를 구별하는 능력은 약해졌으며, 내용보다는 주로 텍스트의 길이에 의존하기 시작했습니다. 반면, 작은 모델은 서로 다른 유형의 송장들이 뚜렷한 영역을 차지하는 풍부한 다차원 공간을 유지했습니다. 특정 작업에 대한 학습을 받기 전에도, 이 모델은 자연스럽게 문서를 발행한 회사별로 송장을 그룹화하여 문서의 출처를 이해하고 있음을 보여주었습니다. 더 중요한 것은, 텍스트가 유사하더라도 충분한 사례를 접했다면 서로 다른 재무 범주를 분리해 낼 수 있었다는 점입니다.

이러한 일반화 능력은 연구팀이 한 번도 본 적 없는 새로운 고객의 데이터를 대상으로 모델을 테스트했을 때 매우 중요했습니다. 큰 모델은 크게 고전하며 제대로 작동하기 위해 수백 개의 새로운 사례를 필요로 했습니다. 그러나 작은 모델은 훨씬 빠르게 적응하여, 약 100개의 새로운 송장만으로도 높은 수준의 정확도에 도달했습니다. 이는 작은 모델이 단순히 패턴을 암기하는 것이 아니라, 텍스트의 의미를 이해하는 더 견고한 방식을 학습했음을 시사합니다. 모델은 한 비즈니스에서 배운 것을 다른 비즈니스로 전이할 수 있었으며, 특정 판매자가 누구든 상관없이 한 고객의 "모터 수리"가 새로운 고객의 "모터 수리"와 동일한 카테로리임을 인식할 수 있었습니다.

이 연구는 송장 분류와 같은 작업에는 거대하고 범용적인 모델보다 작고 사내에서 운용 가능한 모델이 종종 더 나은 도구가 된다고 결론짓습니다. 이는 비용, 보안 및 성능 사이의 실용적인 균형을 제공합니다. 단 한 대의 컴퓨터에서 실행됨으로써 민감한 재무 데이터를 비공개로 유지할 수 있고, 규모가 작기 때문에 운영 비용도 저렴합니다. 또한 연구는 텍스트에 추가적인 구조를 더하는 것이 도움이 되지 않으며, 오히려 가공되지 않은 원시 텍스트가 더 효과적이라는 점을 보여주었습니다. 이 발견은 기업이 시스템에 데이터를 입력하기 전에 송장을 재구성하는 데 시간과 비용을 들일 필요가 없음을 의미하므로 업무 과정을 단순화해 줍니다. 이 연구는 적절한 접근 방식이 뒷받침된다면, 시스템이 단순히 텍스트의 양이 아닌 데이터의 기하학적 구조를 이해하도록 설계될 경우 인공지능이 회계 분야의 미묘하고 숙련된 판단을 처리할 수 있음을 입증합니다.