Can Commercial LLMs Be Parliamentary Political Companions? Comparing LLM Reasoning Against Romanian Legislative Expuneri de Motive
이 논문은 6 개의 상업적 대규모 언어 모델 (LLM) 을 루마니아 의회 입법 근거와 비교 평가한 결과, 최첨단 모델은 높은 의미적 유사성을 보이지만 모든 모델이 정치적 맥락에 따라 근거 없는 추론을 생성하는 '연쇄적 제한적 합리성' 문제를 안고 있어 입법 보조 도구로서의 신뢰성에 한계가 있음을 밝혔습니다.
이 연구는 AI 가 법률 문서를 작성할 때, 형식과 논리 구조는 매우 훌륭하지만, 구체적인 사실 (날짜, 법 조항 번호 등) 을 틀리거나 지어내는 경우가 많다는 것을 발견했습니다. 특히 정치적으로 민감하거나 독특한 사안일수록 AI 는 그럴듯해 보이지만 근거 없는 이야기를 만들어냅니다.
🧩 핵심 내용 4 가지 (비유로 설명)
1. 실험실: "루마니아 법률 비서 채용 시험"
연구진은 루마니아 상원에서 실제로 통과된 15 개의 법률 제안을 뽑았습니다. 그리고 각 법률에 대해 "왜 이 법이 필요한지"를 설명하는 **공식 문서 (이유서)**를 AI 에게 작성하게 했습니다.
참가자: OpenAI(GPT-5), Anthropic(Claude), Meta(Llama) 등 6 가지 최신 AI 모델.
심사위원: 또 다른 AI 가 작성한 답안을 채점했습니다. (AI 가 AI 를 평가하는 방식)
2. 결과: "명문대 vs 일반대"의 두 단계 구조
AI 들의 성능은 확연히 두 그룹으로 나뉩니다.
1 단계 (최상위권): GPT-5, Claude Haiku 4.5 등. 이들은 공식 문서와 매우 흡사한 답을 냈습니다. 마치 경험 많은 베테랑 비서처럼 논리 정연합니다.
2 단계 (하위권): 오픈소스 기반의 작은 모델들. 이들은 1 단계 그룹보다 한 단계 아래였습니다.
재미있는 점: 모델이 크다고 (파라미터가 많다고) 무조건 좋은 건 아닙니다. 작은 모델이 큰 모델보다 잘할 때도 있었습니다.
3. 함정: "유능한 가짜" (Competence Trap)
가장 중요한 발견은 Claude Haiku 4.5라는 모델의 행동입니다.
상황: 이 모델은 법의 전체적인 흐름과 논리는 완벽하게 이해했습니다. 마치 형식만 갖춘 완벽한 보고서를 작성한 것 같습니다.
문제: 하지만 구체적인 사실 (예: 특정 법 조항 번호, 날짜, 기관 이름) 을 틀리거나 아예 없는 사실을 지어내는 (할루시네이션) 경우가 많았습니다.
비유: 마치 멋진 정장을 입고 유창하게 말하지만, 실제 경험은 없는 신입 사원과 같습니다. 정치인이 바쁠 때 이 보고서를 보면 "와, 정말 잘 썼네!"라고 생각할 수 있지만, 자세히 보면 사실 관계가 엉망일 수 있습니다. 이것이 바로 '유능한 가짜'의 함정입니다.
4. 왜 이런 일이 생길까? "배운 게 없으면 지어낼 수밖에 없다"
연구진은 AI 의 실패 원인을 이념적 편향이 아니라 지식 부족에서 찾았습니다.
EU 지침 같은 표준화된 법: AI 가 많이 배운 내용이라 잘합니다. (예: "유럽 연합 규정을 따르세요" 같은 법)
루마니아 특유의 정치적 법: AI 가 배운 적이 없는, 현지 정치 상황이나 특수한 사정이 담긴 법은 가장 잘 못합니다.
결론: AI 는 자신이 모르는 주제에 대해 그럴듯한 거짓말을 하며 버팁니다. 이를 **'맥락 무지 (Contextual Ignorance)'**라고 부릅니다.
💡 우리가 배울 점 (실생활 적용)
AI 비서는 '초안'만 쓰세요: AI 가 쓴 법률 문서는 논리 구조를 잡는 데는 유용하지만, 사실 확인은 반드시 사람이 해야 합니다.
모델이 크다고 믿지 마세요: 비싼 모델이나 큰 모델이 항상 정답을 주는 건 아닙니다. 어떤 일을 시키느냐가 더 중요합니다.
가장 위험한 상황: AI 는 익숙한 주제에서는 훌륭하지만, 새롭고 복잡한 정치적 사안에서는 가장 위험하게 작동할 수 있습니다.
🎯 결론
이 논문은 "AI 가 정치 비서가 될 수 있나?"라고 물었고, **"물론 가능하지만, 맹신하면 안 된다"**고 답했습니다. AI 는 유능하지만 가끔 거짓말을 하는 비서입니다. 정치인은 이 비서가 형식적인 보고서는 잘 쓰지만, 사실 확인은 스스로 해야 한다는 점을 명심해야 합니다.
한 마디로: "AI 는 글쓰기 실력은 천재지만, 사실 확인은 초보입니다. 정치인은 이 초보 실력을 감시할 '검수관'이 되어야 합니다."
1. 연구 문제 (Problem Statement)
배경: 입법자들은 제한된 시간과 인지적 자원 (Bounded Rationality) 으로 방대한 정책 제안과 법적 수정안을 처리해야 합니다. 이를 위해 기존에 직원, 로비스트, 싱크탱크 등 조언 생태계에 의존해 왔으나, 최근 상용 LLM 이 새로운 보조 도구로 부상했습니다.
문제점: 기존 연구는 LLM 의 정치적 편향성을 추상적인 퀴즈나 미국 중심의 맥락에서 주로 다루었습니다. 그러나 실제 입법 보조 업무 (실제 법안 분석 및 이유서 작성) 에서 LLM 이 얼마나 신뢰할 수 있는지, 그리고 비영어권 (루마니아) 맥락에서의 성능은 어떠한지에 대한 실증적 데이터가 부족합니다.
핵심 질문:
다양한 제공업체와 성능 계층 (Tier) 을 가진 LLM 들은 실제 루마니아 입법 제안에 대한 공식 이유서와 얼마나 일치하는가?
추상적 설정에서 관찰된 이념적 편향이 실제 업무에서 여전히 주요 위험인가, 아니면 훈련 데이터 커버리지에 따른 '작업 의존적 환각 (Task-dependent Confabulation)'이 더 치명적인가?
2. 방법론 (Methodology)
연구는 **주체 - 대리인 이론 (Principal-Agent Theory)**과 **제한된 합리성 (Bounded Rationality)**을 이론적 틀로 삼아, 정치인 (주체) 이 LLM(대리인) 에게 분석 작업을 위임하는 상황을 모델링했습니다.
데이터셋: 루마니아 상원과 하원에서 발의된 15 개의 실제 법률 개정안과 이에 대응하는 **공식 입법 이유서 (Expuneri de Motive)**를 쌍으로 구성했습니다. (노동법, 형법, 행정 절차 등 포함)
평가 대상 모델 (6 개):
프런티어 모델 (Tier 1): GPT-5-mini, GPT-5-chat (OpenAI), Claude Haiku 4.5 (Anthropic)
오픈 가중치 모델 (Tier 2): Llama 4 Maverick (MoE), Llama 3.3 70B, Llama 3.1 8B (Meta)
선택 이유: 제공업체, 모델 규모 (8B~400B), 아키텍처 (Dense vs MoE), 추론 능력 (Chain-of-Thought 포함 여부) 의 다양성을 확보하기 위함.
생성 프로세스: 각 법안 변경 사항에 대해 고정된 프롬프트 (루마니아어, 법률 전문가 역할) 를 사용하여 5 회씩 독립적으로 실행 (총 450 개의 생성물).
평가 프레임워크 (이중 평가):
LLM-as-Judge (의미론적 점수): MLflow 의 custom_prompt_judge 를 사용하여 5 점 척도로 평가.
논점 포괄성 (Argument Coverage)
사실적 정합성 (Factual Alignment: 법조항, 날짜, 기관명 등)
이유서 근접성 (Exposé des Motifs Closeness: 전체적 의미 유사성)
프로그래밍적 텍스트 유사도 지표: ROUGE-1/2/L, Jaccard, Cosine Similarity, 도메인 특화 지표 (법조항 매칭 등) 를 계산.
3. 주요 결과 (Key Results)
A. 명확한 2 단계 구조 (Two-Tier Structure)
성능 격차: 프런티어 모델 (Claude Haiku 4.5, GPT-5-chat, GPT-5-mini) 은 통계적으로 구별되지 않는 높은 점수 (평균 4.63/5.0 이상) 를 기록한 반면, 오픈 가중치 모델들은 한 단계 아래 (평균 3.75~4.00) 에 군집했습니다.
효과 크기: 두 계층 간의 차이는 매우 큽니다 (Cohen's d > 1.4). 이는 모델의 크기나 구성보다 제공업체와 훈련 데이터 구성이 성능을 결정하는 핵심 요인임을 시사합니다.
B. 효율적 프런티어의 역설 (The Efficient-Frontier Surprise)
Claude Haiku 4.5 vs GPT-5: 전체적 근접성 점수에서 Haiku 4.5 는 GPT-5 와 통계적으로 차이가 없었습니다.
비대칭적 프로필: Haiku 4.5 는 논점 포괄성은 높았으나 **사실적 정합성 (Factual Alignment)**에서 GPT-5 보다 유의하게 낮았습니다 (Δ = 0.36). 이는 논리적 구조는 잘 잡았으나, 구체적인 법조항 번호나 날짜 등을 **환각 (Hallucination)**하여 생성하는 경향이 있음을 보여줍니다.
C. 추론 능력과 오픈 가중치 모델의 한계
추론 (Reasoning) 의 효과: GPT-5-mini(추론 모델) 는 GPT-5-chat(비추론) 보다 논점 포괄성은 높았으나, 전체 품질이나 사실적 정확도에서는 유의미한 차이를 보이지 않았습니다. 이는 도메인 지식의 부재가 추론 깊이보다 병목 현상임을 의미합니다.
스케일링 한계 (Open-Weight Plateau): Llama 3.1 8B 에서 70B 로 파라미터를 9 배 늘려도 성능 향상은 미미했습니다 (Cohen's d = 0.41). 이는 오픈 모델의 성능 저하가 단순한 파라미터 부족이 아니라 훈련 데이터의 부재와 정렬 (Alignment) 문제 때문임을 시사합니다.
D. 예측 불가능성의 위계 (Predictability Hierarchy)
쉬운 작업: EU 지침 이행이나 절차적 수정안과 같이 표준화된 템플릿을 따르는 법안은 모든 모델이 잘 처리했습니다.
어려운 작업: 특정 종교 기관에 자금을 배정하는 등 정치적으로 고유한 (Idiosyncratic) 제안의 경우, 모델들은 실제 정치적 동기가 아닌 일반적 템플릿을 기반으로 그럴듯하지만 근거 없는 이유를 생성했습니다.
E. 평가 지표의 불일치 (Metric Divergence)
임베딩 유사성의 실패: Cosine Similarity 와 LLM-as-Judge 점수 간의 상관관계는 거의 없었습니다 (r = -0.04). 표면적인 텍스트 유사도 지표는 법적 텍스트의 질을 평가하는 데 부적합하며, 오히려 잘못된 평가를 유도할 수 있습니다.
4. 주요 기여 (Key Contributions)
실무자 중심의 실증 평가: 추상적인 퀴즈가 아닌, 실제 의회 데이터 (루마니아) 를 기반으로 한 최초의 상용 LLM 입법 보조 도구 평가.
편향의 재정의: LLM 의 주요 위험이 고정된 이념적 편향이 아니라, **훈련 데이터 커버리지에 따른 작업 의존적 환각 (Task-dependent Confabulation)**임을 규명.
이론적 프레임워크 제안: '연쇄적 제한된 합리성 (Cascading Bounded Rationality)' 개념을 도입. 제한된 합리성을 가진 주체 (정치인), 대리인 (LLM), 감시자 (평가 모델) 가 상호작용할 때 실패가 어떻게 증폭되는지 설명.
비영어권 데이터 제공: 영어 중심의 기존 연구와 달리, 훈련 데이터가 상대적으로 얇은 루마니아어 맥락에서의 성능을 입증.
5. 의의 및 시사점 (Significance)
정책적 함의: 정치인과 입법 보좌관은 LLM 을 사용할 때 이념적 편향보다 **맥락적 무지 (Contextual Ignorance)**와 사실적 오류에 더 주의해야 합니다. 특히 EU 지침과 같은 표준화된 작업에는 유용하지만, 정치적 특수성이 강한 안건에서는 인간 검증이 필수적입니다.
기술적 시사점: 모델의 크기 (Parameter Count) 나 추론 기능 (Chain-of-Thought) 만으로는 입법 보조의 신뢰성을 보장할 수 없으며, 훈련 데이터의 도메인 적합성이 더 중요합니다.
위험 관리: LLM 을 보조 도구로 활용할 경우, '역선택 (Adverse Selection)' 문제를 해결하기 위해 도메인 특화 품질 신호가 필요하며, '도덕적 해이 (Moral Hazard)'를 방지하기 위해 인간 검증 프로세스를 의무화해야 합니다.
결론적으로, 상용 LLM 은 표준화된 입법 작업에서는 강력한 보조 도구가 될 수 있으나, 정치적 맥락이 복잡한 안건에서는 사실적 오류를 포함할 수 있는 '역량 함정 (Competence Trap)'에 빠질 위험이 있습니다. 따라서 LLM 의 출력을 맹신하기보다는 도메인 지식을 갖춘 인간의 검증 하에 사용되어야 합니다.