💬 NLP

Evaluating Semantic and Syntactic Understanding in Large Language Models for Payroll Systems

이 논문은 급여 시스템이라는 고위험 시나리오를 통해 대규모 언어 모델(LLM)의 의미론적·통사적 이해 능력을 평가하고, 정확한 수치 계산과 감사 가능성을 확보하기 위한 프롬프트 전략 및 모델별 성능 차이를 분석합니다.

원저자: Hendrika Maclean, Mert Can Cakmak, Muzakkiruddin Ahmed Mohammed, Shames Al Mandalawi, John Talburt

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hendrika Maclean, Mert Can Cakmak, Muzakkiruddin Ahmed Mohammed, Shames Al Mandalawi, John Talburt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

💰 제목: "AI는 월급 계산기인가, 아니면 그냥 말 잘하는 수다쟁이인가?"

1. 상황 설정: "천재적인 작가 vs 꼼꼼한 회계사"

요즘 ChatGPT 같은 AI들은 정말 대단합니다. 시도 쓰고, 코딩도 하고, 복잡한 글도 요약하죠. 마치 '세상의 모든 지식을 읽은 천재 작가' 같습니다.

하지만 문제가 하나 있습니다. 이 작가들은 말을 너무 유창하게 해서, 틀린 계산도 마치 정답인 것처럼 아주 자신 있게 말하는 습관이 있어요. 이걸 전문 용어로 '환각(Hallucination)'이라고 합니다.

반면, 우리가 월급을 계산할 때는 '천재 작가'가 아니라, 단 1원도 틀리지 않는 **'꼼꼼한 회계사'**가 필요합니다. 이번 연구는 바로 이 지점, **"말 잘하는 AI가 숫자가 중요한 월급 계산에서도 회계사처럼 일할 수 있는가?"**를 테스트한 것입니다.

2. 실험 방법: "점점 어려워지는 수학 시험"

연구팀은 AI에게 5단계 난이도의 '월급 계산 시험지'를 줬습니다.

1단계 (유치원 수준): "시급 1만 원인 사람이 10시간 일했어. 월급 얼마야?" (단순 곱셈)
3단계 (중학생 수준): "여기서 세금도 좀 떼고, 401k(퇴직연금)도 좀 빼줘." (여러 단계의 계산)
5단계 (대학교 전공 수준): "이 사람은 여러 주(State)에서 일했고, 환율도 적용해야 하고, 보너스랑 초과근무 수당이 복잡하게 얽혀 있어. 자, 계산해 봐!" (매우 복잡한 규칙)

또한, AI에게 주는 **'힌트(프롬프트)'**의 수준도 조절했습니다.

"그냥 계산해 봐" (최소한의 힌트)
"이건 이렇게 계산하는 거야"라고 친절하게 설명해주기 (중간 힌트)
"수학 공식(엑셀 수식)을 그대로 줄게, 그대로 따라 해" (최고 수준의 힌트)

3. 실험 결과: "힌트가 많을수록, 공식이 있을수록 살아남는다"

실험 결과는 아주 흥미로웠습니다.

쉬운 문제는 다 맞힌다: 아주 단순한 계산은 어떤 AI를 써도 100점을 맞았습니다.
복잡해지면 '말'로는 한계가 있다: 문제가 어려워지면 AI들이 헷갈리기 시작합니다. 특히 "이런 식으로 계산해~"라고 말로 길게 설명해주면, 오히려 AI가 말을 듣다가 길을 잃고 엉뚱한 답을 내놓기도 했습니다(Claude 모델이 이런 경향을 보였습니다).
'수학 공식'을 줬을 때만 진짜 회계사가 된다: AI에게 말로 설명하는 대신, **"이 공식대로 계산해!"라고 명확한 수학적 규칙(Level 4 힌트)**을 주었을 때, 비로소 'Perplexity' 같은 특정 모델이 100점 만점을 받으며 완벽한 회계사로 변신했습니다.

4. 결론: "AI를 부릴 때의 황금률"

이 논문이 우리에게 주는 교훈은 명확합니다.

"AI에게 '말'로 일을 시키지 말고, '공식'을 주고 시켜라!"

만약 여러분이 회사에서 AI를 이용해 월급 계산이나 세금 계산 같은 중요한 업무를 자동화하고 싶다면, AI에게 "알아서 잘해봐"라고 하면 안 됩니다. 대신 "이 엑셀 수식대로 계산해"라고 아주 명확한 '계산 경로'를 설계해줘야만 비로소 믿고 맡길 수 있는 든든한 직원이 된다는 것입니다.

요약하자면:
AI는 똑똑한 수다쟁이입니다. 단순한 건 잘하지만, 복잡한 계산에서는 헛소리를 할 수 있습니다. 하지만 우리가 **정확한 수학적 가이드라인(공식)**을 손에 쥐여준다면, AI는 아주 훌륭한 계산기 역할을 수행할 수 있습니다!

[기술 요약] 급여 시스템을 위한 대규모 언어 모델(LLM)의 의미론적 및 구문론적 이해 능력 평가

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)이 비즈니스 워크플로우에 도입되고 있으나, **정밀한 수치 계산(Exact Numerical Calculation)**과 감사 가능성(Auditability) 측면에서 신뢰성 문제가 제기되고 있습니다. 특히 급여(Payroll) 시스템은 단 몇 센트의 오차만으로도 법적 규제 준수 여부가 결정되는 '고위험(High-stakes)' 영역입니다. 본 연구는 LLM이 급여 스키마(Schema)의 의미를 정확히 이해하고, 복잡한 규칙(세율, 상한선, 다중 관할권 등)을 올바른 순서로 적용하여 센트 단위의 정확도를 달성할 수 있는지 검증하고자 합니다.

2. 연구 방법론 (Methodology)

연구진은 언어 이해와 정밀 계산을 동시에 평가하기 위해 다음과 같은 체계적인 실험 설계를 구축했습니다.

데이터셋 설계 (Dataset Design): 난이도에 따라 5단계(Very Basic $\rightarrow$ $\to$ Basic $\rightarrow$ $\to$ Moderate $\rightarrow$ $\to$ Complex $\rightarrow$ $\to$ Very Complex)로 구성된 합성 데이터셋을 제작했습니다.
- Complex 단계: 세전 공제, 사회보장세(FICA) 상한선, 가압류(Garnishment) 제한 등 복잡한 분기형 계산 포함.
- Very Complex 단계: 다중 주(State) 간 시간 배분, 환율 변환(FX), 보너스 및 성과급이 포함된 복잡한 초과근무 수당 재계산 등 심층적 의존성 포함.
프롬프트 계층 (Prompt Specification): 모델에 제공하는 정보의 양과 구체성을 4단계로 구분했습니다.
- L1 (Minimal): 헤더 정보만 제공.
- L2 (Descriptions): 주요 컬럼에 대한 짧은 정의 추가.
- L3 (Narrative): 자연어로 된 계산 흐름 설명.
- L4 (Explicit Formulas): 엑셀 스타일의 수식 또는 의사코드(Pseudo-code) 제공.
평가 모델: GPT-5 Auto, Claude Sonnet 4, Perplexity Pro, Grok Auto, Gemini 2.5 Pro를 대상으로 실험을 진행했습니다.
평가 지표: 허용 오차 범위 내 정확도(Exact-within-tolerance) 및 평균 절대 오차(MAE)를 측정했습니다.

3. 주요 연구 결과 (Key Results)

단순 작업의 높은 성능: 단순 산술 및 단일 단계 규칙(Very Basic ~ Moderate)에서는 모든 모델이 100%에 가까운 정확도를 보이며 뛰어난 의미론적 이해력을 입증했습니다.
프롬프트 상세화의 효과: 계산이 복잡해질수록(Complex 이상), 프롬프트의 구체성이 성능을 결정짓는 핵심 요소로 작용했습니다. 특히 L4(명시적 수식 제공) 단계에서 대부분의 모델이 정확도가 급격히 향상되었습니다.
모델별 성능 격차:
- Perplexity Pro: 가장 압도적인 성능을 보였습니다. 특히 'Very Complex' 단계에서 L4 프롬프트를 통해 100% 정확도와 0의 MAE를 달성하며, 명시적 알고리즘을 따르는 능력이 탁월함을 보여주었습니다.
- GPT-5 Auto: 프롬프트가 구체화됨에 따라 성능이 개선되지만, 매우 복잡한 단계에서는 정확도가 29% 수준에 머물렀습니다.
- Claude Sonnet 4: 복잡한 작업에서 오히려 성능이 저하되는 경향을 보였으며, 이는 문맥 과부하(Context Overload)나 지시사항 민감도 문제로 해석됩니다.
한계점 발견: 매우 복잡한 시나리오에서는 모델들이 미세한 반올림 편향(Rounding bias)을 보여, 단순 프롬프팅만으로는 센트 단위의 완벽한 정확도를 보장하기 어렵다는 점이 확인되었습니다.

4. 핵심 기여 및 의의 (Key Contributions & Significance)

실무적 가이드라인 제공: LLM을 급여와 같은 정밀 업무에 도입할 때, **"언제 단순 프롬프팅이 충분하고, 언제 명시적인 계산 도구(Code execution/Tool use)가 필수적인가"**에 대한 임계점(Break point)을 제시했습니다.
평가 프레임워크 구축: 언어 이해(Semantic)와 수치 계산(Syntactic/Numerical)을 결합하여 기업용 백오피스 업무의 신뢰성을 측정할 수 있는 재현 가능한 프레임워크를 제안했습니다.
결론: LLM은 단순한 급여 업무에는 효과적이지만, 다중 관할권 및 환율이 얽힌 고도로 복잡한 업무에서는 명시적인 알고리즘 스캐폴딩(Algorithmic scaffolding) 또는 외부 계산 도구와의 결합이 반드시 필요함을 입증했습니다.