L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Agentic Search

L-MARS: 법적 질문 응답을 위한 조정된 추론 및 에이전트 검색 기반 멀티 에이전트 워크플로우

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 법적 업무에 직접 적용할 때 발생하는 주요 문제는 **할루시네이션 (Hallucination)**과 지식 노후화입니다.

• 할루시네이션: 모델이 확신에 차서 잘못된 법적 사실이나 인용을 생성하는 오류가 발생하며, 이는 실제 법적 리스크로 이어집니다.
• 지식 노후화: 법률은 끊임없이 변화하지만, 모델의 학습 데이터는 고정되어 있어 최신 법령이나 판례를 반영하지 못합니다.
• 기존 접근법의 한계:
  • 폐쇄형 추론 (Closed-book): 최신 정보가 필요할 때 실패합니다.
  • 기존 RAG (Retrieval-Augmented Generation): 고정된 코퍼스를 기반으로 하며, 추론 중심의 벤치마크 (예: Bar Exam QA) 에서는 검색이 성능 향상에 거의 기여하지 않는 것으로 나타났습니다.
  • Chain-of-Thought (CoT): 최신 정보가 없는 상태에서 모델이 단계별 추론을 하도록 유도하면, 오히려 오래된 지식에 기반한 잘못된 전제를 확신 있게 정당화하는 '확신 있는 허구 (Confident Confabulation)' 현상이 발생하여 성능이 저하될 수 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 L-MARS를 제안했습니다. 이는 구조화된 에이전트 오케스트레이션 (Orchestration) 을 통해 웹 검색과 검증을 결합한 멀티 에이전트 프레임워크입니다.

• 핵심 아키텍처 (LangGraph 기반):

  • Query Agent: 사용자의 질문을 구조화된 검색 의도 (Search Intents) 로 분해합니다.
  • Search Agent: Serper API(웹 검색), CourtListener API(판례 검색), BM25(로컬 문서) 를 활용하여 증거를 수집합니다.
    • Basic Search: 빠른 탐색 및 중복 제거를 위해 제목/스니펫만 추출.
    • Enhanced Search: 신뢰할 수 있는 소스 (상위 3 개) 의 전체 내용을 파싱하여 문맥을 Anchoring 한 후 추출.
  • Judge Agent: 수집된 증거의 충분성 (Sufficiency) 을 판단합니다. 사실적 지지, 관할권 일치, 시점 명확성, 모순 분석 등을 체크리스트로 검증합니다. 증거가 부족하면 검색을 재지시합니다.
  • Summary Agent: 검증된 증거와 인용을 바탕으로 최종 답변을 생성합니다.

• 운영 모드:

  • Simple Mode (평가에 사용): 단일 패스 (Single-pass) 파이프라인으로, 질문 분해 → 검색/필터링 → 답변 생성을 한 번에 수행하여 지연 시간을 최소화합니다.
  • Multi-Turn Mode: Judge Agent 가 주도하는 반복적 루프를 통해 증거 부족 시 검색을 정제하고 재수행합니다.

3. 주요 기여 (Key Contributions)

1. LegalSearchQA 벤치마크 도입:
   • 모델 학습 데이터 (2024~2026 년) 이후의 최신 법적 지식이 필수적인 50 개의 객관식 질문으로 구성된 새로운 벤치마크입니다.
   • 5 가지 법적 영역 (세무, 기업/금융 규제, 노동/고용, 이민, 기술/프라이버시, 형사/주법) 을 다루며, 정답은 최신 법령이나 규제 변경 사항에 의존합니다.
2. L-MARS 프레임워크 제안:
   • 단순한 검색 - 생성 파이프라인을 넘어, 검색 의도 분해, 타겟팅된 검색, 증거 검증 (Judge Agent), 그리고 근거 기반 답변 생성을 수행하는 멀티 에이전트 워크플로우를 구현했습니다.
3. 실증적 발견:
   • 검색 의존적 태스크: 최신 사실 지식이 필요한 경우 (LegalSearchQA), 에이전트 검색이 성능을 극적으로 향상시킵니다.
   • 추론 중심 태스크: 추론 능력만 필요한 경우 (Bar Exam QA), 검색은 성능 향상에 미미한 효과만 줍니다.
   • CoT 의 역효과: 최신 정보가 없는 상태에서 CoT 를 적용하면 오히려 성능이 급격히 저하됨을 입증했습니다.

4. 실험 결과 (Results)

• LegalSearchQA (최신 지식 기반):

  • Zero-Shot: 58.0% 정확도.
  • Chain-of-Thought (CoT): **30.0%**로 급감 (4 지선다 무작위 추측인 25% 보다 낮음). 모델이 오래된 세율이나 규정을 기반으로 확신 있게 틀린 추론을 수행함.
  • L-MARS (Simple Mode): 96.0% 정확도 달성. Zero-Shot 대비 38.0%p 향상.
  • 영역별 분석: 세무 및 기업 규제 분야에서는 Zero-Shot(30.8%) 대비 L-MARS(92.3%) 가 61.5%p 향상되어 최신 정보의 중요성을 입증했습니다.

• Bar Exam QA (추론 중심):

  • 기존 판례와 일반 법리를 기반으로 한 추론이 필요한 594 개의 문제.
  • Zero-Shot: 55.2%
  • L-MARS (Serper): 55.9% (0.7%p 향상).
  • L-MARS (Tavily): 54.4% (약간 저하).
  • 결론: 추론이 핵심인 태스크에서는 웹 검색이 오히려 노이즈로 작용하여 큰 이득을 주지 못함.

• 오류 분석:

  • L-MARS 의 두 가지 오답은 모두 검색 결과의 스니펫 수준에서 핵심 문장이 누락된 경우 (예: H-1B 비자 세부 절차, T+1 정산일) 였습니다. 이는 검색 엔진의 정밀도 한계를 보여줍니다.

5. 의의 및 결론 (Significance)

• 상황에 따른 검색의 가치: 법적 QA 에서 검색 (Retrieval) 의 효과는 태스크의 성격에 따라 결정됩니다. **최신 사실 정보 (Factual Knowledge)**가 필요한 경우 검색은 필수적이지만, **추론 (Reasoning)**이 필요한 경우 그 이점이 미미합니다.
• CoT 사용에 대한 경고: 빠르게 변화하는 도메인 (법률, 금융 등) 에서 최신 정보에 접근할 수 없는 상태에서 무조건적인 CoT 프롬프팅은 모델이 잘못된 전제를 기반으로 확신 있게 오류를 생성하게 만들어 성능을 저하시킬 수 있습니다.
• 향후 방향: 신뢰할 수 있는 법적 AI 배포를 위해서는 최신 정보를 실시간으로 검색하고 검증하는 에이전트 시스템이 필요하며, 이를 평가할 수 있는 새로운 벤치마크 (LegalSearchQA) 의 중요성이 부각됩니다.

이 연구는 법적 AI 시스템이 단순히 추론 능력을 갖추는 것을 넘어, 적시에 정확한 정보를 검색하고 검증하는 에이전트적 능력을 갖추는 것이 실제 환경에서 더 중요함을 강조합니다.