DeonticBench: A Benchmark for Reasoning over Rules

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 복잡한 수학적 추론이나 짧은 문맥의 작업에서는 뛰어난 성능을 보이지만, **실제 법률 및 정책 환경에서 요구되는 '의무론적 추론 (Deontic Reasoning)'**에는 여전히 큰 한계가 있습니다. 의무론적 추론은 명시적인 규칙 (법률, 규정, 정책) 하에서 의무 (obligations), 허용 (permissions), 금지 (prohibitions) 를 논리적으로 추론하는 능력을 의미합니다.

기존 벤치마크들은 주로 짧은 문맥의 수학 문제나 일반적 논리에 집중하여, 다음과 같은 중요한 격차를 남겼습니다:

• 긴 문맥 (Long-context): 실제 법률 문서나 정책서는 방대하고 복잡합니다.
• 고위험 (High-stakes): 의료, 법률, 세무 등 실수 시 심각한 법적/재정적 피해가 발생할 수 있는 분야입니다.
• 규칙 기반 신뢰성: LLM 이 할루시네이션 (환각) 을 일으키거나 명시된 규칙을 무시할 경우 치명적입니다.

2. 방법론 (Methodology)

A. DEONTICBENCH 데이터셋 구축

저자들은 4 가지 실제 고위험 도메인에서 6,232 개의 작업으로 구성된 벤치마크 DEONTICBENCH를 제안했습니다.

1. 미국 연방 세법 (SARA): 소득과 신고 상태에 따른 세액 계산 (Numeric) 및 법조항 기반 주장의 타당성 판단 (Binary).
2. 항공사 수하물 정책 (Airline): 항공사 규정과 승객 정보를 기반으로 수하물 요금 계산.
3. 미국 주별 주택법 (Housing): 주별 주택 법령과 사례를 기반으로 Yes/No 질문 답변 (RAG 기반).
4. 미국 이민 행정국 (USCIS-AAO): 이민 소청 사건 기록을 기반으로 '승인 (Accepted)' 또는 '기각 (Dismissed)' 판단.

데이터 특징:

• 각 인스턴스마다 참조용 Prolog 프로그램을 제공하여, 모델이 생성한 코드의 실행 가능성과 정답을 검증할 수 있도록 함.
• Hard Subset (난이도 높은 하위 집합): 전방위 모델들이 기존 벤치마크를 쉽게 통과하는 것을 방지하기 위해, 인간 검증과 자동 필터링을 거쳐 가장 어려운 사례들만 선별한 소규모 평가 세트를 구성함.

B. 추론 워크플로우

모델은 두 가지 방식으로 작업을 수행할 수 있도록 평가됨:

1. 직접 추론 (Direct Reasoning): 자연어로 직접 답변을 생성.
2. 기호적 솔버 지원 (Symbolic Solver-assisted):
   • 모델이 법률 조항과 사례 사실을 실행 가능한 Prolog 코드로 변환.
   • 생성된 코드를 SWI-Prolog 솔버에 전달하여 실행.
   • 솔버의 출력 결과 (Program Trace) 를 통해 추론 과정의 투명성과 정확성을 검증.

C. 실험 설정

• 평가 대상: GPT-4.1, O3, GPT-5.1/5.2, Claude Sonnet 4.5, Gemini 2.5 Flash, Kimi K2, Qwen3 등 8 개의 최신 LLM 과 3 개의 코딩 특화 모델.
• 학습 전략: Qwen2.5-32B 모델을 대상으로 지도 미세 조정 (SFT), 직접 선호 최적화 (DPO), **강화 학습 (GRPO)**을 적용하여 성능 향상을 시도.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 실행 가능 규칙 추론 벤치마크: 실제 고위험 도메인 (세법, 이민, 주택, 항공) 에서 6,000 개 이상의 작업을 포함하는 최초의 대규모 벤치마크를 공개.
2. 심층적 실패 모드 분석: 현재 최첨단 모델들조차 규칙 기반 추론에서 심각한 한계를 보이며, 특히 '규칙 선택 오류', '사실 추출 오류', '수치 계산 오류' 등 도메인별 고유의 실패 패턴이 있음을 규명.
3. 학습 전략의 한계 규명: SFT 와 강화 학습 (RL) 이 Prolog 생성 품질을 일부 개선하지만, 여전히 신뢰할 수 있는 엔드 - 투 - 엔드 (End-to-End) 규칙 추론을 달성하지 못함을 입증.

4. 실험 결과 (Results)

A. 모델 성능

• 전반적 저조한 성능: 최첨단 모델 (Frontier Models) 들조차 Hard Subset 에서 낮은 점수를 기록함.
  • SARA Numeric (세금 계산): 최고 성능이 44.4% (O3, Zero-shot).
  • Housing (주택법): 최고 성능이 46.6% (Macro-F1).
• 추론 노력의 한계: "생각 (Thinking)" 시간을 늘리거나 추론 단계를 추가하더라도 성능이 일관되게 향상되지 않음.
• 오픈소스 vs 폐쇄형: 오픈소스 모델은 Few-shot 프롬프팅에 매우 취약하며, 직접 추론 (Direct) 시에는 성능이 급격히 떨어짐.

B. 오류 유형 분석 (Failure Modes)

모델의 실패는 도메인에 따라 다르게 나타남:

• 법률 도메인 (Housing, USCIS): **잘못된 규칙 선택 (Wrong Rule)**이 가장 큰 원인. 모델이 적절한 법조항을 찾지 못하거나 오해석함.
• 구조적 추론 (SARA, Airline): **사실 추출 오류 (Entity/Fact)**가 주된 원인. 올바른 규칙을 적용하더라도 사례의 세부 사항 (예: 부부 신고 여부, 수하물 무게) 을 잘못 인코딩함.
• 수치 계산: 정확한 규칙과 사실에도 불구하고 산술 오류 발생.

C. 학습 효과

• SFT 및 RL 의 효과: 미세 조정 (SFT) 과 강화 학습 (DPO, GRPO) 은 Prolog 생성의 문법적 정확성과 분류 성능을 일부 개선했으나, 정확한 수치 계산이나 복잡한 규칙 적용에서는 큰 향상을 보이지 못함.
• 프롬프트 민감성: 학습 후에도 모델은 프롬프트 방식 (Zero-shot vs Few-shot) 에 따라 성능 편차가 매우 큼.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 AI 의 필요성: 의료, 법률, 세무 등 고위험 분야에서 LLM 을 배포할 때, 단순한 정확도뿐만 아니라 **명시된 규칙에 대한 충실성 (Faithfulness)**이 필수적임을 강조.
• 기호적 접근의 한계와 기회: Prolog 와 같은 기호적 솔버를 활용하면 추론 과정이 투명해지지만, LLM 이 복잡한 자연어를 정확한 실행 코드로 변환하는 능력은 여전히 미흡함.
• 미래 방향: 단일 모델의 성능 향상보다는 규칙 기반성 (Rule-grounding), 구조화된 정보 추출, 신뢰할 수 있는 수치 계산을 위한 특화된 기술 개발이 필요함. 또한, 불확실성을 인지하고 추론을 유보하거나 더 강력한 모델로 위임하는 신뢰도 기반 추론 (Confidence-aware inference) 시스템 개발의 중요성을 시사함.

이 논문은 LLM 이 실제 세계의 복잡한 규칙을 이해하고 준수하는 능력을 평가하기 위한 새로운 표준을 제시하며, 현재 AI 기술의 한계를 명확히 보여줍니다.