An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

이 논문은 메타모픽 테스트와 역할 기반 다중 에이전트 시스템을 결합하여 자연어 법률 조문을 실행 가능한 로직으로 변환하는 신뢰할 수 있는 법률 소프트웨어 개발 프레임워크를 제안하고, 이를 통해 복잡한 세법 작업에서 최첨단 모델보다 우수한 성능을 보이는 것을 입증했습니다.

핵심

🏛️ 핵심 비유: "법률가, 코딩 팀, 그리고 감시자"

세금 법규는 마치 수천 페이지에 달하는 난해한 고대 유적지 지도와 같습니다. 이 지도를 보고 바로 건물을 짓는 (코드를 짜는) 것은 매우 위험합니다. 실수하면 세금이 잘못 계산되어 사람들이 큰 피해를 입기 때문입니다.

이 논문은 이 문제를 해결하기 위해 LLM(거대 언어 모델) 하나만 믿는 대신, 서로 다른 역할을 가진 'AI 에이전트 팀'을 꾸리는 방법을 제안합니다.

1. 문제점: "혼자서 하려니 망친다"

기존에는 가장 똑똑한 AI (예: GPT-4o) 하나에게 "세금 법규를 보고 코드를 짜줘"라고 요청했습니다.

• 결과: 간단한 건은 잘 만들지만, 복잡한 세금 공제나 연금 문제 같은 건은 **할루시네이션 (거짓말)**을 하거나 법규를 오해해서 엉뚱한 코드를 만들어냈습니다.
• 비유: 천재 건축가 한 명에게 "이 복잡한 법규를 보고 건물을 지어"라고 했더니, 기초 공사가 엉망이 되어 건물이 무너질 뻔한 상황입니다.

2. 해결책: "Synedrion (시네드리온) 이라는 AI 팀"

저자들은 세 명의 전문가로 구성된 팀을 만들었습니다.

• 🧑‍⚖️ 세금 전문가 (Tax Expert Agent):
  • 역할: 두꺼운 세금 법전 (자연어) 을 읽어보고, 컴퓨터가 이해할 수 있는 **정리된 명세서 (JSON)**로 바꿔줍니다.
  • 비유: 복잡한 법규를 "이건 1 단계, 저건 2 단계"라고 정리해 주는 통역사입니다.
• 💻 코딩 팀 (Coder & Senior Coder Agents):
  • 역할: 세금 전문가가 준 명세서를 보고 실제 프로그램을 짭니다.
  • 비유: 명세서를 보고 벽돌을 쌓는 현장 기술자와, 그걸 검토하는 팀장입니다.
• 🕵️‍♂️ 변형 테스트 감시자 (Metamorphic Testing Agent):
  • 역할: 이 팀의 핵심입니다. "정답이 뭔지 모를 때 (Oracle Problem)" 어떻게 검증할까요?
  • 비유: 형사나 감시관입니다.
    • "눈이 먼 사람은 세금 공제를 더 받아야 한다"는 법칙을 알고 있습니다.
    • "눈이 안 보이는 사람 A 와 B 가 있는데, A 는 공제를 안 받아줬네? 이건 이상하잖아!"라고 비교를 통해 오류를 찾아냅니다.
    • 단순히 "정답이 맞나?"를 묻는 게 아니라, **"상황이 비슷하면 결과도 비슷해야 한다"**는 원리를 이용해 AI 가 만든 코드가 법리에 맞는지 감시합니다.

3. 놀라운 발견: "작은 AI 가 큰 AI 를 이기다"

이 논문에서 가장 흥미로운 점은 **작은 AI 모델 (GPT-4o-mini)**이 **가장 큰 AI 모델 (GPT-4o, Claude-3.5)**보다 더 잘했다는 것입니다.

• 이유: 혼자서 모든 걸 하려고 했던 큰 AI 는 복잡한 법규를 혼동했습니다. 하지만 작은 AI 들이 팀을 이루어, 각자 맡은 역할 (통역, 코딩, 감시) 을 철저히 수행하고 서로 피드백을 주고받으니 실수가 줄어들고 정확도가 급상승했습니다.
• 비유: 혼자서 모든 일을 하려던 천재보다, 각자 특기를 가진 소규모 팀이 협력했을 때 더 완벽한 건물을 지은 것과 같습니다.

4. 핵심 기술: "고차원 변형 테스트 (Higher-Order Metamorphic Testing)"

기존에는 "소득이 늘면 세금도 늘어야 한다"는 단순 비교만 했습니다. 하지만 이 논문은 더 복잡한 비교를 합니다.

• 비유: "소득이 100 만 원에서 200 만 원으로 늘었을 때 세금이 10% 늘어야 하는데, 300 만 원으로 늘었을 때는 20% 늘어나야 한다"는 식의 세금 구간별 변화율까지 감시합니다.
• 효과: 이렇게 하면 AI 가 "모든 소득에 똑같은 세율을 적용하는" 치명적인 실수를 바로 잡아냅니다.

---

📝 요약: 이 논문이 우리에게 주는 메시지

1. 법률과 코드는 위험하다: 세금이나 의료 같은 중요한 분야에서는 AI 가 혼자 코드를 짜면 안 됩니다. 실수가 치명적이기 때문입니다.
2. 팀워크가 핵심: 거대하고 비싼 AI 하나를 쓰는 것보다, 작은 AI 들을 전문가 팀으로 구성하고 서로 검증하게 하는 것이 더 안전하고 정확합니다.
3. 감시자가 필요하다: 정답을 알 수 없는 상황에서도, **"상황이 비슷하면 결과도 비슷해야 한다"**는 논리 (변형 테스트) 를 통해 AI 가 만든 코드의 오류를 찾아낼 수 있습니다.

결론적으로, 이 연구는 "복잡한 법률 문서를 AI 가 코드로 옮길 때, 팀워크와 철저한 감시 시스템을 도입하면 작은 AI 도 믿을 수 있는 전문가가 될 수 있다"는 것을 증명했습니다. 이는 앞으로 세금, 의료, 법률 등 우리 삶에 직결된 중요한 소프트웨어를 만드는 새로운 길을 열어줍니다.

기술 요약

논문 개요

이 논문은 법적 준수가 필수적인 소프트웨어 (Legal-Critical Software) 개발을 위해 대규모 언어 모델 (LLM) 기반의 에이전트 (Agentic) 접근법을 제안합니다. 구체적인 사례 연구로 미국 연방 세무 소프트웨어를 선정하여, 자연어로 된 복잡한 세법 코드를 실행 가능한 논리로 정확하게 변환하는 문제를 해결하는 프레임워크인 Synedrion을 소개합니다.

1. 문제 정의 (Problem Statement)

• 법적 엄격성과 모호성: 금융, 의료, 세무와 같은 법적 중요 시스템은 자연어로 된 법규를 실행 코드에 정확히 매핑해야 하지만, 법조문의 모호성과 빈번한 규제 변경으로 인해 구현 오류가 발생하기 쉽습니다.
• 오라클 문제 (Oracle Problem): 특정 입력에 대한 정답 (Ground Truth) 을 사전에 알기 어렵습니다. 예를 들어, 특정 납세자의 정확한 세액을 미리 계산하기 위해서는 전문가의 해석이 필요하므로, 자동화된 테스트에서 "올바른 출력"을 검증하는 것이 어렵습니다.
• 기존 LLM 의 한계: 단일 LLM 은 자연어 프롬프트만으로 복잡한 세법 로직을 코딩할 때 할루시네이션 (Hallucination) 이나 논리적 오류를 범하기 쉽습니다. 특히 점진적 세율 (Progressive Tax) 과 같은 복잡한 조건부 로직을 정확히 구현하는 데 실패하는 경우가 많습니다.
• 기존 테스트의 한계: 기존의 쌍대 (Pairwise) 변형 테스트 (Metamorphic Testing) 는 단순한 방향성 변화 (예: 소득이 늘면 세액도 늘어야 함) 만 검증하여, 체계적인 오류 (예: 고정 세율 적용 오류) 를 놓칠 수 있습니다.

2. 방법론 (Methodology)

저자들은 Synedrion이라는 다중 에이전트 프레임워크를 설계하여 문제를 해결했습니다. 이 프레임워크는 다음과 같은 핵심 요소들을 포함합니다.

가. 다중 에이전트 아키텍처 (Multi-Agent System)

실제 소프트웨어 개발 팀의 역할을 모방한 5 가지 전문 에이전트로 구성됩니다:

1. TaxExpertAgent: 세법 문서를 분석하여 구조화된 JSON 형식의 명세 (규칙, 입력/출력, 계산 로직, 엣지 케이스) 를 생성합니다.
2. CoderAgent & SeniorCoderAgent: TaxExpertAgent 가 생성한 JSON 명세를 기반으로 Python 코드를 생성하고, SeniorCoderAgent 가 이를 검토 및 수정하는 피드백 루프를 통해 코드를 정제합니다.
3. MetamorphicAgent (핵심 혁신): 생성된 코드를 검증하기 위해 고차 변형 테스트 (Higher-Order Metamorphic Testing, HMT) 를 수행합니다.

나. 고차 변형 테스트 (Higher-Order Metamorphic Testing, HMT)

기존의 단순한 쌍대 비교를 넘어, 여러 입력 간의 변화율 (Rate of Change) 을 비교하는 고차 관계를 정의합니다.

• 개념: 두 개의 유사한 납세자 (예: 소득만 다른 경우) 간의 세액 차이뿐만 아니라, 소득 구간이 변할 때 세율의 변화가 법적으로 정의된 구간 (Tax Bracket) 을 따르는지 검증합니다.
• 예시: 소득이 세율 구간을 넘을 때 (Threshold Jump), 세액 증가율이 갑자기 변해야 합니다. 단순한 "소득↑ = 세액↑" 관계가 아니라, "소득 증가에 따른 세액 증가율의 기울기 변화"를 검증하여 고정 세율 오류 등을 탐지합니다.
• 자동화: LLM 에이전트가 세법 문서를 분석하여 이러한 고차 변형 관계를 자동으로 추론하고, 이를 기반으로 테스트 케이스를 생성하여 코드의 결함을 발견합니다.

다. 실험 설정

• 벤치마크: IRS(미국 국세청) 공표 자료 기반의 6 가지 난이도별 세무 시나리오 (기본 세율, EITC, 자녀 세액 공제, 교육 세액 공제, 항목별 공제, 1099-R 퇴직금 등) 를 사용했습니다.
• 모델 비교: GPT-4o, GPT-4o-mini, Claude-3.5, Llama 3.1 등 다양한 크기의 LLM 을 단독 사용 시와 에이전트 프레임워크 내 사용 시 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. Synedrion 프레임워크 제안: 법적 문서를 실행 가능한 코드로 변환하기 위한 다중 에이전트 협업 시스템을 설계했습니다.
2. 고차 변형 테스트 (HMT) 의 도입: 법적 일관성을 검증하기 위해 단순한 방향성 검증을 넘어, 변화율과 구간적 특성을 검증하는 새로운 테스트 패러다임을 제안하고 이를 자동화했습니다.
3. 소규모 모델의 성능 극대화: 에이전트 협업과 HMT 를 통해, 상대적으로 작은 모델 (GPT-4o-mini) 이 최첨단 대형 모델 (GPT-4o, Claude-3.5) 보다 복잡한 세무 코드 생성에서 더 뛰어난 성능을 발휘함을 증명했습니다.

4. 실험 결과 (Results)

• 단일 모델의 한계: 제로샷 (Zero-shot) 또는 체인 오브 씽킹 (CoT) 프롬프팅만 사용할 경우, 복잡한 시나리오 (Scenario 6: 1099-R 퇴직금) 에서 최첨단 모델들조차 PP@10(10 번 시도 중 통과한 테스트 비율) 이 15~30% 수준으로 낮아졌습니다.
• 에이전트 프레임워크의 효과:
  • 소규모 모델의 역전: GPT-4o-mini 를 기반으로 한 Synedrion 은 복잡한 시나리오에서 Worst-case Pass Rate 45% 를 기록하여, CoT 기반의 GPT-4o(9~15%) 보다 월등히 높은 성능을 보였습니다.
  • 최첨단 모델의 향상: Claude-3.5 에이전트 프레임워크는 복잡한 시나리오에서 Worst-case Pass Rate 78% 를 달성했습니다.
• HMT 의 기여: 변형 테스트 (MT) 를 추가하면 성능이 향상되지만, 고차 변형 테스트 (HMT) 를 적용했을 때 가장 큰 개선 효과를 보였습니다. 특히 GPT-4o 를 사용한 경우, HMT 적용 시 Scenario 6 의 Worst-case Pass Rate 가 72% 에서 88% 로 크게 상승했습니다.
• 에이전트별 기여도: TaxExpertAgent 는 명세 정확도를, MetamorphicAgent 는 코드 견고성 (Robustness) 을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 법적 중요 소프트웨어 개발의 새로운 패러다임: 자연어 법규를 실행 코드로 변환할 때 발생할 수 있는 오류를 줄이고, 검증 가능성을 높이는 체계적인 방법론을 제시했습니다.
• 비용 효율성: 고비용의 대형 모델 대신, 에이전트 협업과 정교한 테스트 기법을 통해 상대적으로 저렴한 소규모 모델로도 고품질의 법적 소프트웨어를 생성할 수 있음을 입증했습니다.
• 확장성: 이 접근법은 세무 소프트웨어뿐만 아니라 빈곤 관리 시스템, 의료 규정 준수 등 다른 법적 중요 분야 (Legal-Critical Domains) 로도 확장 가능하여, 복잡한 법규를 투명하고 검증 가능한 소프트웨어로 전환하는 데 기여할 것으로 기대됩니다.

결론적으로, 이 연구는 LLM 의 단순한 코드 생성 능력을 넘어, 도메인 전문 에이전트와 체계적인 검증 (HMT) 을 결합한 에이전트 접근법이 법적 정확성이 요구되는 소프트웨어 개발의 핵심 해결책이 될 수 있음을 보여줍니다.