지금의 챗GPT 같은 거대언어모델(LLM)들은 세상의 온갖 지식을 다 읽은 **'엄청난 독서광 범생이'**와 같습니다. 말도 잘하고 상식도 풍부하죠. 하지만 회계는 단순히 말을 잘하는 게 아니라, **'아주 정교한 계산기'**이자 **'엄격한 규칙을 지키는 판사'**의 역할이 동시에 필요합니다.
이 논문은 이 '범생이 AI'에게 회계사 시험 문제를 풀게 시켜보고, 이 친구가 진짜 회계 업무를 맡길 수 있는 수준인지 테스트한 보고서입니다.
2. 실험 방법: "회계사 자격시험 모의고사"
연구진은 AI를 테스트하기 위해 두 가지 종류의 시험지를 만들었습니다.
첫 번째 시험 (수학 기초 체력 테스트): "복잡한 계산을 여러 단계에 걸쳐 실수 없이 할 수 있는가?"를 봅니다. (마치 산수 문제를 아주 길게 내는 것과 같습니다.)
두 번째 시험 (회계 전문 지식 테스트): "회계 원칙과 복잡한 세법 규칙을 적용해서 올바른 결론을 내는가?"를 봅니다. (단순 계산을 넘어, '이 상황에서는 어떤 장부를 써야 하는가?' 같은 판단력을 보는 것이죠.)
3. 실험 결과: "아직은 '보조원' 수준, '전문가'는 멀었다"
실험 결과는 꽤 흥식적이었습니다.
GPT-4는 '우등생'이지만 완벽하진 않다: GPT-4 같은 최첨단 AI는 다른 모델들보다 훨씬 잘합니다. 하지만 회계사처럼 99%의 정확도를 보여주지는 못했습니다.
계산이 길어지면 '멘붕'이 온다: 한두 번의 계산은 잘하지만, 단계가 많아지고 복잡해지면 중간에 숫자를 틀리거나 논리가 꼬여버립니다. 마치 **"수학 문제를 풀다가 중간에 덧셈 하나를 틀려서 마지막 답이 완전히 엉뚱하게 나오는 상황"**과 같습니다.
규칙 적용의 어려움: 숫자는 맞는데, 회계 원칙(Rule)을 잘못 적용하는 경우도 많았습니다. "계산은 맞는데, 법 적용을 잘못해서 엉뚱한 판결을 내리는 판사" 같은 모습이죠.
4. 왜 이런 실수를 할까? (에러 분석)
연구진은 AI가 틀리는 이유를 분석해 보니 크게 몇 가지 유형이 있었습니다.
원칙 오해: 회계의 기본 규칙 자체를 잘못 알고 있음.
지식 부족: 특정 세법이나 전문 용어를 놓침.
도미노 현상 (오류 전파): 첫 번째 단계에서 계산을 살짝 틀렸는데, 그 틀린 숫자를 가지고 다음 계산을 계속하다 보니 마지막엔 답이 안드로메다로 가버림.
5. 결론: "AI는 아직 '인턴'입니다"
이 논문의 결론은 명확합니다. **"현재의 AI는 회계 업무를 도와주는 '똑똑한 인턴' 역할은 충분히 할 수 있지만, 중요한 결정을 내리는 '책임 회계사'로 쓰기에는 아직 위험하다"**는 것입니다.
AI가 진짜 회계사처럼 일하려면, 단순히 글을 잘 쓰는 능력을 넘어 **'엄격한 논리'**와 **'한 치의 오차도 없는 계산 능력'**을 더 깊게 학습해야 한다는 숙제를 남겼습니다.
[기술 요약] 대규모 언어 모델(LLM)의 회계 추론: 개념, 평가 및 실증 분석
1. 문제 정의 (Problem Statement)
최근 LLM이 다양한 전문 분야로 확장되고 있으나, 회계(Accounting)와 같이 엄격한 규칙, 복잡한 수치 계산, 다단계 논리적 추론이 요구되는 도메인에서의 활용은 여전히 제한적입니다. 기존 연구들은 주로 일반적인 언어 이해(NLU)나 단순한 금융 질의응답에 치중되어 있으며, 다음과 같은 핵심적인 문제들을 해결하지 못하고 있습니다:
도메인 특화 추론 능력의 부재: 일반적인 수학/논리 추론 능력이 회계 원칙 및 규정과 어떻게 결합되는지에 대한 체계적 분석이 부족함.
평가 벤치마크의 결여: 회계의 구조적, 다단계적 특성(수치 계산 + 회계 원칙 적용)을 반영한 전문적인 평가 데이터셋이 없음.