EvidenceRL: 신뢰할 수 있는 언어 모델을 위한 증거 일관성 강화 기술 요약

이 논문은 대규모 언어 모델 (LLM) 이 고위험 분야 (의료, 법률 등) 에서 사실과 무관한 그럴듯한 답변 (할루시네이션) 을 생성하는 문제를 해결하기 위해 제안된 EvidenceRL이라는 새로운 강화 학습 (RL) 프레임워크를 소개합니다. EvidenceRL 은 학습 단계에서 모델이 생성한 답변이 제공된 증거 (context) 와 일치하도록 강제하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• 할루시네이션과 증거 부재: LLM 은 유창하지만, 사용 가능한 증거에 기반하지 않은 그럴듯한 답변을 생성하는 경향이 있습니다. 이는 의료 진단이나 법률 추론과 같이 검증 가능한 정보가 필수적인 고위험 분야에서 치명적입니다.
• 기존 RAG 의 한계: 검색 증강 생성 (RAG) 은 검색된 문서를 기반으로 답변을 생성하도록 시도하지만, 모델이 여전히 검색된 증거를 무시하고 내부 지식 (parametric memory) 에 의존하여 답변을 생성하는 '문맥 - 기억 충돌 (context-memory conflict)'이 발생합니다.
• 기존 접근법의 부족:
  • 추론 시간 필터링 (Inference-time filtering): 생성 후 검증하는 방식은 모델의 생성 정책 자체를 바꾸지 못합니다.
  • 지도 학습 (SFT): 정답과 증거를 함께 학습시키더라도 모델은 증거의 형식만 모방할 뿐, 의미론적 근거를 학습하지 못해 '증거 기반'이 아닌 '유사한 형식'만 따르는 경우가 많습니다.
  • 기존 RLHF: 인간의 피드백은 사실의 정확성보다는 그럴듯함 (plausibility) 을 선호하는 경향이 있어, 증거 일관성을 최적화하지 못합니다.

2. 방법론 (Methodology: EvidenceRL)

EvidenceRL 은 학습 단계에서 증거 준수 (evidence adherence) 를 직접적인 최적화 목표로 삼는 강화 학습 프레임워크입니다.

2.1 핵심 구성 요소

1. GRPO (Group Relative Policy Optimization) 기반 최적화:
   • 각 입력에 대해 여러 개의 후보 답변 (group) 을 샘플링하고, 이들을 상대적으로 비교하여 정책을 업데이트합니다.
2. 복합 보상 함수 (Reward Function):
   • 형식 보상 ($r_f$): 구조화된 출력 (JSON 등) 이 올바른지 확인합니다.
   • 정확도 보상 ($r_c$):
     • 의료: 임베딩 기반 유사도 (BioLORD-2023) 를 사용하여 진단이 정답과 의미적으로 일치하는지 확인.
     • 법률: 정답 문자 (A/B/C/D) 의 정확한 매칭.
   • 증거 기반 보상 ($r_g$ - 핵심 혁신):
     • Focus-Then-Verify 아키텍처: 전체 문서를 한 번에 평가하면 신호가 희석되거나 문맥이 초과되는 문제를 해결하기 위해, 초점 (Focus) - 검증 (Verify) 전략을 사용합니다.
     • 작동 원리: 입력의 핵심 맥락 (Anchor Context) 과 개별 증거 문장/구절을 결합하여 '전제 (Premise)'를 구성한 후, 고정된 NLI(자연어 추론) 모델을 사용하여 생성된 추론 (Hypothesis) 이 해당 전제와 일치하는지 (Entailment), 모순되는지 (Contradiction) 를 문장 단위로 평가합니다.
     • 점수 집계: 가장 강력한 지지 또는 반증 신호를 가진 점수를 선택하거나 평균을 내어 최종 근거 점수를 산출합니다.

2.2 학습 과정

• 모델은 생성된 답변에 대해 형식, 정확도, 그리고 증거 일관성에 대한 보상을 동시에 받습니다.
• 특히 증거 기반 보상 ($r_g$) 의 가중치를 높여 (예: $w_g=2$), 모델이 단순히 정답을 맞추는 것뿐만 아니라 그 정답을 증거로 뒷받침할 수 있어야 함을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. EvidenceRL 프레임워크 제안: 자동화된 NLI 와 LLM 저지 (LLM-judge) 를 활용한 보상 신호를 통해, 인간의 선호도 주석 없이도 증거 기반 학습을 가능하게 하는 RL 프레임워크를 개발했습니다.
2. Focus-Then-Verify 보상 아키텍처: 문서 수준의 점수 희석 문제를 해결하기 위해, 문장 단위의 전제 - 가설 쌍을 구성하여 정밀한 NLI 검증을 수행하는 새로운 방식을 도입했습니다.
3. 범용성 입증: 다양한 모델 (Llama, Gemma, GPT-oss) 과 규모 (3B~120B), 그리고 의료 (심장 진단) 와 법률 (변호사 시험) 두 개의 고위험 도메인에서 일관된 성능 향상을 보였습니다.

4. 실험 결과 (Results)

의료 (MIMIC-IV-Ext) 와 법률 (BarExam MBE) 데이터셋을 대상으로 한 실험 결과는 다음과 같습니다.

• 의료 분야 (Llama-3.2-3B 기준):

  • F1@3 (정확도): 37.0 → 54.5 로 크게 향상.
  • Grounding (Gmax@3): 47.6 → 78.2 로 급증.
  • 할루시네이션: 약 5 배 감소 (11.6% → 2.4%).
  • 증거 기반 진단 (Evidence-Based): 31.8% → 61.6% 로 증가.
  • Faithfulness (신뢰성): 72.5% → 87.5% 달성.

• 법률 분야 (Llama-3.1-8B 기준):

  • Faithfulness: 32.8% → 67.6% 로 두 배 이상 향상.
  • 증거 기반 추론 비율: 18.8% → 41.0% 로 증가.

• 비교 분석:

  • SFT vs EvidenceRL: SFT 는 정확도는 유지하거나 약간 향상시켰으나, 증거 기반 점수는 거의 0 에 수렴하는 등 '형식만 모방'하는 경향을 보였습니다. 반면 EvidenceRL 은 정확도와 증거 기반성을 동시에 향상시켰습니다.
  • 추론 시간 기법 (Self-RAG, Self-Consistency) vs EvidenceRL: 추론 시간 기법은 일관된 향상을 보이지 못하거나 정확도와 증거 기반성 간의 트레이드오프를 해결하지 못했습니다. EvidenceRL 은 학습 목표 자체를 변경하여 모델의 추론 행동을 근본적으로 바꿨습니다.
  • 모델 규모: EvidenceRL 을 적용한 작은 모델 (3B) 이 추론 시간 기법을 적용한 거대 모델 (70B) 보다 높은 정확도와 증거 기반성을 보여주어, 학습 방식의 개선이 파라미터 규모 의존성을 줄일 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 근본적인 해결책: 기존 방법들이 '생성 후 검증'이나 '검색'에 의존했다면, EvidenceRL 은 학습 단계에서 증거 일관성을 최적화 목표로 삼아 모델의 의사결정 정책 자체를 증거 기반 추론으로 재구성합니다.
• 고위험 분야 적용 가능성: 의료와 법률처럼 오류가 치명적인 분야에서 LLM 의 신뢰성을 높이는 실질적인 솔루션을 제공합니다.
• 계산 효율성: 거대 모델에 의존하지 않고, 적절한 학습 전략을 통해 작은 모델에서도 높은 신뢰성을 달성할 수 있음을 보여줍니다.

결론적으로, EvidenceRL 은 LLM 이 단순히 '정답'을 맞추는 것을 넘어, '왜 그 정답인가'를 제공된 증거에 기반하여 논리적으로 설명할 수 있도록 만드는 중요한 진전을 이루었습니다.