PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 이 교육, 법률, 의료 등 다양한 분야에서 의사결정에 통합되고 있지만, 공공 정책 (Public Policy) 영역에서의 이해와 추론 능력은 아직 충분히 탐구되지 않았습니다. 정책 분석은 단순한 사실 회상이 아니라, 맥락적 추론과 가치 민감한 판단을 요구합니다. 현재 LLM 이 정책 분야에서 직면한 주요 과제는 다음과 같습니다.

• 평가의 부재: LLM 의 정책 이해 능력을 체계적으로 평가할 수 있는 엄격한 벤치마크가 존재하지 않습니다.
• 진단의 어려움: 모델이 어떤 인지 능력 (기억, 이해, 적용) 에서 강점이나 약점을 보이는지 세밀하게 파악하기 어렵습니다.
• 적응의 한계: 범용 LLM 은 정책 분석의 다면적인 요구사항 (특수한 용어, 복잡한 제도, 가치 판단 등) 을 처리하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

가. PolicyBench: 대규모 크로스 시스템 벤치마크 구축

논문은 미국과 중국이라는 두 가지 상이한 거버넌스 시스템을 대상으로 한 최초의 대규모 벤치마크인 PolicyBench를 제안합니다.

• 데이터 구성: 2000 년부터 2025 년 1 월까지의 중국 (721 건) 과 미국 (603 건) 정책 문서 및 관련 보충 자료 (언론 보도, 전문가 인터뷰 등) 를 수집하여 총 21,000 개의 사례를 구성했습니다.
• 인지 수준 분류 (Bloom's Taxonomy 기반):
  1. 기억 (Memorization, Level 1): 정책 날짜, 용어, 기관명 등 사실적 정보 회상.
  2. 이해 (Understanding, Level 2): 정책의 의도 (Ideas), 이해관계자 (Interests), 제도적 논리 (Institutions) 를 파악하는 개념적 추론.
  3. 적용 (Application, Level 3): 실제 시나리오에서의 문제 해결, 수치 계산, 절차적 실행 등.
• 품질 관리: 다양한 LLM 을 활용한 오답 생성 (Distractor Generation) 과 인간 전문가에 의한 엄격한 검증 과정을 거쳤습니다.

나. PolicyMoE: 도메인 특화 전문가 혼합 모델

PolicyBench 를 기반으로 LLM 의 성능을 향상시키기 위해 PolicyMoE를 제안합니다.

• 아키텍처: 기본 LLM 위에 세 가지 전문화된 전문가 (Expert) 모듈을 결합한 Mixture-of-Experts (MoE) 구조입니다.
  • Memory Expert: 정책 사실, 규정, 역사적 선례 회상 특화.
  • Understanding Expert: 정책 의도 해석, 영향 분석, 논리 설명 특화.
  • Application Expert: 시나리오 기반 의사결정, 결과 예측, 실행 전략 수립 특화.
• 학습 방식: 각 전문가 모듈은 **LoRA (Low-Rank Adaptation)**를 사용하여 경량화되며, 입력 토큰을 가장 적합한 전문가로 라우팅하는 라우터 (Router) 모듈이 함께 학습됩니다.

3. 주요 기여 (Key Contributions)

1. PolicyBench 개발: 중국과 미국의 정책 이해도를 평가하는 최초의 종합적 크로스 시스템 벤치마크를 구축했습니다.
2. LLM 성능 한계 및 강점 규명: 광범위한 실험을 통해 LLM 의 정책 이해 능력에 대한 핵심 통찰을 도출했습니다.
3. PolicyMoE 제안: 도메인 적응적 사전 학습 (Domain-adaptive pretraining) 의 잠재력을 입증하는 MoE 모델을 개발하여 범용 모델보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

가. 기존 LLM 의 성능 분석

• 인지 수준별 성능: 모델의 성능은 기억 (Level 1) 에서 이해 (Level 2), 적용 (Level 3) 순으로 점진적으로 향상되었습니다. 이는 LLM 이 사전 학습된 지식 회상보다는 미세 조정 (Instruction Tuning, RLHF) 을 통해 강화된 구조적 추론 능력에 더 강점을 보이기 때문입니다.
• 작업 유형별 차이:
  • 강점: 수치 계산, 규칙 기반 논리, 시나리오 기반 의사결정 등 구조화된 추론 작업에서 높은 정확도 (75% 이상) 를 보였습니다.
  • 약점: 추상적인 개념, 정책 의도, 제도적 관계 등을 파악해야 하는 모호하거나 복잡한 작업에서는 성능이 저하되었습니다.
• 언어별 차이: 대부분의 모델이 미국 정책 질문에서 중국어 질문보다 더 높은 성능을 보였습니다 (영어 학습 코퍼스의 우세 및 중국어 정책 텍스트의 높은 문법/의미 밀도 때문). 단, QwQ-32B 모델은 중국어에서 우수한 성능을 보였습니다.

나. PolicyMoE 의 성능

• 전반적 향상: PolicyMoE 는 기본 모델 (Qwen2.5-7B) 대비 모든 수준에서 성능 향상을 보였으며, 특히 **기억 (Level 1)**과 적용 (Level 3) 작업에서 큰 개선을 이루었습니다.
• 구체적 수치:
  • 미국 데이터의 Level 1 작업에서 정확도가 23.35% 에서 35.43% 로 50% 이상 향상되었습니다.
  • Level 3 (적용) 에서도 23.22% 의 상대적 개선을 보였습니다.
• 라우팅 분석: 라우터는 사실적 질문에는 'Memory Expert'를, 추론이 필요한 질문에는 'Understanding/Application Expert'를 선택하는 명확한 분업 패턴을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 LLM 이 공공 정책 영역에서 신뢰할 수 있는 도구로 활용되기 위해서는 단순한 지식 축적이 아닌, 도메인 특화된 구조적 적응이 필요함을 강조합니다.
• 기술적 통찰: MoE 아키텍처를 통해 다양한 인지 과제를 분리하여 처리함으로써, 거대 모델 없이도 도메인 특화 성능을 극대화할 수 있음을 입증했습니다.
• 미래 방향: 현재 벤치마크는 중국과 미국에 국한되어 있으나, 향후 더 다양한 국가와 문화적 맥락을 포함하고, 개방형 질문 (Open-ended) 과 가치 판단 능력을 평가하는 방향으로 확장해야 함을 제안합니다.

이 논문은 LLM 이 실제 거버넌스 및 정책 분석에 기여하기 위한 기초적인 평가 체계와 모델 아키텍처를 제시함으로써, AI 기반 정책 지원 시스템의 발전에 중요한 이정표가 됩니다.