💬 NLP

Legal $Δ$ : Enhancing Legal Reasoning in LLMs via Reinforcement Learning with Chain-of-Thought Guided Information Gain

이 논문은 LLM의 법률적 추론 능력과 해석 가능성을 높이기 위해, DeepSeek-R1의 추론 능력을 증류(distillation)하고 정보 이득(information gain)을 극대화하는 강화 학습 프레임워크인 'Legal $\Delta$ '를 제안합니다.

원저자: Xin Dai, Buqiang Xu, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Xiaoyuan Yi, Shuo Wang, Ge Yu

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Dai, Buqiang Xu, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Xiaoyuan Yi, Shuo Wang, Ge Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 현재 AI의 문제점: "답만 맞히는 찍기 왕" 🎲

지금까지의 법률 AI들은 마치 시험 공부를 할 때 문제와 답만 달달 외운 학생과 같았습니다.

상황: "이 행동은 유죄인가요?"라고 물으면, AI는 "네, 유죄입니다."라고 바로 대답합니다.
문제: 왜 유죄인지, 어떤 법 조항을 적용했는지 논리적인 과정(Chain-of-Thought)을 생략할 때가 많습니다. 만약 AI가 틀린 답을 말한다면, 왜 틀렸는지 알 길이 없어 매우 위험하죠. 법은 '결과'만큼 '과정'이 중요하기 때문입니다.

2. Legal∆의 해결책: "생각의 근육을 키우는 훈련법" 💪

연구진이 만든 **Legal∆**는 AI에게 단순히 정답을 맞히라고 강요하는 대신, **"네가 생각한 과정이 정답을 맞히는 데 얼마나 도움이 되었니?"**를 측정하며 가르칩니다.

여기서 핵심 개념인 **'정보 이득(Information Gain)'**을 아주 쉬운 비유로 설명해 보겠습니다.

💡 비유: "안개 속의 길 찾기" 🌫️

당신이 안개가 자욱한 숲속에서 목적지를 찾아가고 있다고 상상해 보세요.

기존 방식 (단순 정답 학습): 목적지에 도착하기만 하면 상을 줍니다. 당신은 운 좋게 길을 찾았을 수도 있고, 그냥 아무 데나 뛰어가다 도착했을 수도 있습니다. 과정은 중요하지 않습니다.
Legal∆ 방식 (정보 이득 활용): 당신이 길을 가면서 **"아, 저기 큰 바위가 있는 걸 보니 이쪽이 맞구나!"**라고 깨닫는 순간, 즉 **'안개가 걷히며 길이 명확해지는 순간(정보 이득)'**에 보너스 점수를 줍니다.

즉, AI가 "A라는 법 조항을 보니 B라는 결론이 나올 것 같다"라고 추론하는 과정이, 단순히 답을 맞히는 것보다 모델 스스로의 확신(Confidence)을 얼마나 높여주었는지를 계산해서 보상을 주는 것입니다.

3. 어떻게 작동하나요? (두 가지 모드의 대결) 🥊

Legal∆는 AI에게 두 가지 방식으로 질문을 던집니다.

직구 모드: "그냥 바로 답해봐."
변호사 모드: "논리적인 근거를 먼저 말하고 답해봐."

그다음, '변호사 모드'로 생각했을 때 AI가 정답에 대해 느끼는 확신이 '직구 모드'보다 훨씬 커졌다면, AI는 "아, 이렇게 논리적으로 생각하는 게 정말 도움이 되는구나!"라고 깨닫고 그 사고방식을 강화합니다.

4. 결과는 어땠나요? 🏆

실험 결과, Legal∆는 기존의 강력한 AI 모델들보다 훨씬 뛰어난 성적을 거두었습니다.

더 똑똑해짐: 법률 예측, 형량 계산 등 복잡한 문제에서 정답률이 약 10% 향상되었습니다.
더 믿음직해짐: 단순히 답만 맞히는 게 아니라, 법률 용어를 더 정확하게 사용하고 논리적인 흐름이 훨씬 탄탄해졌습니다.
응용력 만렙: 배운 적 없는 새로운 유형의 법률 문제에 대해서도 당황하지 않고 잘 풀어냈습니다.

🌟 요약하자면!

**Legal∆**는 AI에게 **"답만 맞히지 말고, 네가 왜 그렇게 생각하는지 스스로 납득할 수 있는 논리적인 길을 찾아라!"**라고 가르치는 훈련법입니다. 이를 통해 AI는 단순한 계산기를 넘어, 인간 변호사처럼 **'이유 있는 답변'**을 내놓는 신뢰할 수 있는 법률 파트너로 성장하게 됩니다.

1. 문제 정의 (Problem Statement)

현재의 법률 인공지능(LegalAI) 및 대규모 언어 모델(LLM)은 복잡한 법률적 추론이 필요한 상황에서 다음과 같은 한계를 보입니다.

빠른 사고(Fast-thinking)의 오류: 모델이 단계별 논리적 근거를 제시하기보다 직접적인 정답만을 출력하려는 경향이 있어, 복잡한 법률 시나리오에서 신뢰성과 해석 가능성이 떨어집니다.
기존 RLVR의 한계: 기존의 검증 가능한 보상 기반 강화학습(RLVR)은 주로 정답의 '정확성'에만 초점을 맞춥니다. 이는 추론 과정(Chain-of-Thought, CoT)의 질적 깊이나 논리적 타당성을 최적화하는 데 한계가 있습니다.
추론의 질적 평가 부재: 모델이 생성한 추론 과정이 단순히 정답을 맞히기 위한 '겉치레(superficial)'인지, 아니면 실제로 의사결정의 신뢰도를 높이는 '의미 있는 추론'인지 구분하기 어렵습니다.

2. 방법론 (Methodology)

본 논문은 **Legal∆**라는 새로운 강화학습 프레임워크를 제안합니다. 핵심은 **"Chain-of-Thought 가이드 기반 정보 이득(Information Gain)"**을 보상 메커니즘에 통합하는 것입니다.

A. 2단계 학습 구조

SFT (Supervised Fine-Tuning): DeepSeek-R1과 같은 강력한 모델로부터 추출된 고품질의 법률 추론 데이터를 사용하여 모델이 전문가와 유사한 추론 패턴을 모방하도록 학습합니다.
GRPO (Group Relative Policy Optimization): SFT된 모델을 바탕으로, 그룹 내 출력값들을 비교하여 이점을 추정하는 GRPO 알고리즘을 적용해 추론 능력을 극대화합니다.

B. 정보 이득 기반 보상 모델링 (Information-Gain Enhanced Reward)

Legal∆의 핵심 혁신은 보상 함수( $R_{info}$ )에 **정보 이론(Information Theory)**을 도입한 것입니다.

Q-값 차이 분석: 모델의 로짓(Logits)이 강화학습의 Q-값과 수학적으로 동일하다는 점을 이용합니다.
$\Delta Q$ 계산: '직접 답변 모드(Direct mode)'의 로짓과 '추론 보강 모드(CoT mode)'의 로짓 차이를 계산합니다.
$\Delta Q(r) = \text{logits}_\theta(a|q, r) - \text{logits}_\theta(a|q)$
두 가지 핵심 지표:
1. PMI (Pointwise Mutual Information): 추론 단계와 최종 정답 사이의 상관관계를 측정하여, 추론이 정답의 확률을 얼마나 높였는지 평가합니다.
2. Global Confidence Shift: 추론 과정이 모델의 전체적인 결정 확신도(decisiveness)를 높였는지(분포를 날카롭게 만들었는지)를 측정합니다.

3. 주요 기여 (Key Contributions)

새로운 보상 메커니즘 제안: 단순 정답 여부를 넘어, 추론 과정이 모델의 확신도를 얼마나 향상시켰는지를 정량화하여 보상에 반영하는 방식을 제안했습니다.
수학적 기반의 추론 최적화: 로짓과 Q-값의 관계를 활용하여 별도의 라벨링된 선호도 데이터(preference data) 없이도 고품질의 추론 경로를 학습할 수 있게 했습니다.
법률 특화 최적화: 법률 용어에 대한 주의력(Prominence)을 높이고, 추론의 일관성과 신뢰성을 동시에 확보했습니다.

4. 실험 결과 (Results)

성능 우위: Qwen2.5(7B, 14B) 모델을 기반으로 실험한 결과, Legal∆는 기존의 강력한 베이스라인(DPO, R1-Distill 등)을 모두 능가했습니다. 특히 복잡한 법률 추론 작업(양형 예측, 유사 사례 분석 등)에서 약 10%의 성능 향상을 보였습니다.
일반화 능력: 학습 데이터에 포함되지 않은 도메인(Out-of-domain) 작업에서도 높은 성능을 유지하며 뛰어난 일반화 능력을 입증했습니다.
정성적 분석:
- Confidence 향상: 학습이 진행됨에 따라 모델의 평균 로짓(Logits) 값이 상승하여 예측 확신도가 높아짐을 확인했습니다.
- 법률 토큰 주목도: 모델이 법률적으로 중요한 토큰에 더 높은 가중치를 두는 경향(Legal Token Prominence)이 나타났습니다.
- 추론 품질: Perplexity(혼란도) 분석 결과, Legal∆가 생성한 추론 과정이 훨씬 더 논리적이고 정교함을 증명했습니다.

5. 의의 (Significance)

본 연구는 LLM이 단순히 "정답을 맞히는 기계"를 넘어, **"왜 그 정답이 도출되었는지 논리적으로 설명하고 스스로 확신할 수 있는 법률 전문가"**로 진화할 수 있는 방법론을 제시했습니다. 특히 별도의 인간 피드백(RLHF) 없이도 수학적 정보 이득을 통해 추론의 질을 높일 수 있다는 점은 법률 AI의 신뢰성과 해석 가능성을 높이는 데 매우 중요한 이정표가 됩니다.