LEXA: Legal Case Retrieval via Graph Contrastive Learning with Contextualised LLM Embeddings

이 논문은 텍스트 속성 그래프의 풍부한 엣지 정보를 활용하고, 그래프 증강을 통한 대비 학습을 강화하며, 대규모 언어 모델 (LLM) 에서 파생된 컨텍스트 기반 임베딩을 통합한 LEXA 모델을 제안하여 기존 법률 사례 검색 방법론보다 우수한 성능을 달성함을 보여줍니다.

핵심

🕵️‍♂️ 배경: 왜 이 연구가 필요할까요?

상상해 보세요. 변호사나 판사가 새로운 사건을 처리할 때, 과거에 비슷한 사건이 어떻게 판결되었는지 찾아야 합니다. 이를 **선례 (Precedent)**를 찾는 일이라고 합니다.

하지만 법원 도서관에는 수백만 권의 책 (사건 기록) 이 쌓여 있습니다.

• 기존 방법 (BM25, 일반 언어 모델): 단순히 '단어'가 얼마나 많이 겹치는지 세어보는 방식입니다. "사과"라는 단어가 많으면 사과 관련 책으로 분류하는 식이죠. 하지만 법률은 단어만 겹친다고 해서 내용이 같지 않습니다. "사과"가 과일인지, "죄"인지에 따라 완전히 다른 의미가 됩니다.
• 이전 연구 (CaseGNN): 단순히 단어만 보는 게 아니라, 사건 속의 '사람', '사실', '증거'들이 어떻게 연결되어 있는지 **관계도 (그래프)**를 그려서 분석했습니다. 하지만 이 방법에도 세 가지 큰 문제가 있었습니다.

🚧 이전 모델 (CaseGNN) 의 세 가지 문제점

1. 연결고리 (Edge) 를 무시함: 사건 속의 '사람 A 와 사람 B 는 친구다'라는 관계 자체를 분석하지 않고, 사람 (노드) 정보만 업데이트했습니다. 마치 친구 관계를 무시하고 사람 이름만 외우는 것과 같습니다.
2. 배울 게 너무 적음: 법률 데이터는 전문가가 직접 라벨을 붙여야 해서 매우 귀하고 적습니다. 모델이 배울 수 있는 '문제 (학습 신호)'가 부족했습니다.
3. 맥락을 못 읽음: AI 가 문장을 읽을 때, 문맥을 깊이 있게 이해하지 못해 미묘한 뉘앙스를 놓쳤습니다.

---

✨ 해결책: LEXA 모델의 3 가지 마법

이 논문에서 제안한 LEXA는 이 세 가지 문제를 해결하기 위해 세 가지 마법을 부렸습니다.

1. 🔄 "관계도까지 업데이트하는" EUGAT (Edge-updated Graph Attention Layer)

• 비유: 기존 모델은 친구 관계 (연결선) 를 고정된 줄로만 생각했지만, LEXA 는 친구 관계 자체도 변할 수 있다고 생각합니다.
• 설명: 사건 속의 '사람' 정보만 업데이트하는 게 아니라, 그 사람들과의 '관계' 정보도 함께 업데이트합니다. 예를 들어, "A 와 B 는 친구"라는 관계가 사건 흐름에 따라 "A 와 B 는 적대적"으로 변할 수 있다면, AI 는 그 관계의 의미도 함께 바뀐다고 이해합니다. 이렇게 하면 사건의 구조를 훨씬 더 정교하게 파악할 수 있습니다.

2. 🎭 "가상 시나리오"를 만들어 학습하는 그래프 대비 학습 (Graph Contrastive Learning)

• 비유: 법률 전문가가 부족한 상황에서, AI 가 스스로 가상의 사건을 만들어 연습하는 것입니다.
• 설명: 실제 데이터가 부족하니까, AI 가 원본 사건 그래프에서 일부 연결선을 끊거나 (Edge Dropping), 정보를 가리는 (Feature Masking) 방식으로 '가상 사건'을 만듭니다. 그리고 "원본 사건과 가상 사건은 같은 사건이야"라고 가르쳐주면서, AI 가 사건의 핵심 구조를 더 잘 이해하도록 훈련시킵니다. 마치 미로에서 길을 잃지 않기 위해 다양한 변형된 미로를 그려보는 것과 같습니다.

3. 🧠 "법률 박사"가 된 거대 언어 모델 (LLM) 활용

• 비유: 일반인 (기존 모델) 이 법전을 읽으면 어렵지만, **법률 박사 (최신 LLM)**가 읽으면 뉘앙스까지 다 이해합니다.
• 설명: LEXA 는 최신 거대 언어 모델 (Qwen3-8B 등) 을 "법률 박사"로 훈련시켜서, 사건 속의 '사실'과 '쟁점'을 매우 정교하게 해석하게 합니다. 이 박사가 만든 해석을 바탕으로 AI 가 사건을 분석하므로, 단어의 표면적 의미뿐만 아니라 숨겨진 법적 맥락까지 파악할 수 있습니다.

---

🏆 결과: 얼마나 잘할까요?

이 모델은 캐나다 연방 법원의 실제 사건 데이터 (COLIEE 2022, 2023) 로 실험했습니다.

• 결과: 기존에 가장 잘하던 모델들보다 압도적으로 높은 점수를 받았습니다.
• 의미: 변호사들이 과거 판례를 찾을 때, LEXA 를 쓰면 훨씬 더 빠르고 정확하게 필요한 사건을 찾아낼 수 있게 되었습니다.

💡 한 줄 요약

LEXA는 단순한 단어 매칭을 넘어, 사건 속의 복잡한 인간 관계와 법적 맥락을 '명탐정'처럼 깊이 있게 분석하고, 부족한 데이터를 보완하기 위해 스스로 가상 훈련까지 하며, 최신 법률 박사 AI의 도움을 받아 가장 정확한 판결 선례를 찾아주는 차세대 법률 검색 시스템입니다.

이 기술은 앞으로 법률 서비스의 접근성을 높이고, 판사와 변호사의 업무 효율을 크게 개선할 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**법률 사례 검색 (Legal Case Retrieval, LCR)**은 주어진 쿼리 사례와 관련된 선례 (precedents) 를 대규모 데이터베이스에서 찾는 작업으로, 법률 전문가들에게 필수적인 도구입니다. 기존 LCR 방법론은 크게 두 가지로 나뉩니다.

1. 전통적 어휘 기반 모델 (Lexical Models): BM25, TF-IDF 등 단어 빈도에 기반하여 유사도를 계산합니다.
2. 언어 모델 (Language Models, LMs): 사전 훈련된 모델을 사용하여 텍스트를 임베딩하고 유사도를 계산합니다.

그러나 기존 방법론들은 다음과 같은 치명적인 한계를 가지고 있습니다:

• 구조적 정보의 간과: 법률 문서 내의 핵심 요소 (당사자, 범죄 행위, 증거 등) 간의 복잡한 관계 구조를 텍스트의 평면적 표현만으로는 충분히 포착하지 못합니다.
• 이전 작업 (CaseGNN) 의 한계: 저자들의 이전 연구인 CaseGNN 은 텍스트 속성 그래프 (TACG) 와 그래프 신경망 (GNN) 을 도입하여 구조적 정보를 활용했으나, 다음과 같은 세 가지 주요 과제가 남아 있었습니다.
  1. 엣지 (Edge) 정보의 미활용: TACG 내의 풍부한 엣지 (관계) 정보를 업데이트하지 않고 고정된 상태로만 사용하여 노드 업데이트에만 집중했습니다.
  2. 학습 신호의 부족: 법률 데이터의 라벨링 비용과 접근성 문제로 인해 훈련 데이터가 부족하여 그래프 대비 학습 (Contrastive Learning) 의 학습 신호가 미약했습니다.
  3. 맥락화된 정보의 부재: 노드와 엣지 특징을 인코딩하는 데 사용된 언어 모델이 법률 도메인의 맥락적 (Contextualised) 의미를 충분히 반영하지 못했습니다.

2. 제안 방법론: LEXA (Methodology)

이러한 한계를 극복하기 위해 제안된 LEXA 모델은 CaseGNN 을 확장한 프레임워크로, 세 가지 핵심 기술을 통합합니다.

2.1 컨텍스트화된 LLM 임베딩 (Contextualised LLM Embeddings)

• LEXA-8B: 법률 검색에 특화된 대규모 언어 모델 (Qwen3-Embedding-8B 기반) 을 지도 대비 학습 (Supervised Contrastive Learning) 으로 파인튜닝합니다.
• 프롬프트 기반 특징 인코딩: 법률 사례의 '사실 (Facts)'과 '쟁점 (Issues)'을 프롬프트를 통해 구조화된 텍스트로 변환한 후, LLM 을 통해 노드 (개체) 와 엣지 (관계) 의 특징 벡터를 생성합니다. 이를 통해 법률적 맥락이 풍부한 초기 특징을 확보합니다.

2.2 엣지 업데이트 그래프 어텐션 레이어 (EUGAT)

• LEUGNN (Legal Edge Updated GNN): 기존 GNN 이 노드 특징만 업데이트하는 것과 달리, EUGAT는 노드와 엣지 특징을 동시에 업데이트합니다.
• 동작 원리: 각 GNN 레이어에서 이웃 노드와 연결된 엣지의 정보를 종합하여 노드 특징을 갱신하고, 동시에 엣지 특징도 이웃 노드들의 상태 변화를 반영하여 갱신합니다. 이를 통해 법률 관계의 역동적인 변화를 그래프 전체에 전파하여 더 풍부한 사례 표현을 생성합니다.

2.3 그래프 대비 학습 및 증강 (Graph Contrastive Learning with Augmentation)

• 그래프 증강: 엣지 드롭 (Edge Dropping) 과 특징 마스킹 (Feature Masking) 기법을 사용하여 원본 그래프의 변형된 뷰 (Augmented Views) 를 생성합니다.
• 학습 목표: 양의 샘플 (관련 사례), 쉬운 음의 샘플 (무작위 비관련), 어려운 음의 샘플 (BM25 점수는 높지만 실제는 관련 없는 사례) 을 포함하는 대비 학습 손실 함수를 설계합니다.
• 효과: 제한된 법률 데이터에서도 모델이 구조적, 의미적 패턴을 더 강력하게 학습하도록 추가적인 감독 신호를 제공합니다.

3. 주요 기여 (Key Contributions)

1. LEXA 프레임워크 제안: 엣지 정보의 완전한 활용, 추가 학습 신호 제공, LLM 기반 컨텍스트화 임베딩을 결합하여 CaseGNN 의 한계를 극복하고 검색 정확도를 대폭 향상시켰습니다.
2. EUGAT 레이어 설계: 노드와 엣지 특징을 동시에 업데이트하는 새로운 GNN 레이어를 개발하여 법률 사례의 구조적 관계를 더 정교하게 모델링합니다.
3. 그래프 대비 학습 전략: 그래프 증강 기법을 도입하여 데이터 부족 문제를 완화하고 모델의 일반화 능력을 강화했습니다.
4. LEXA-8B 파인튜닝: 법률 도메인에 최적화된 텍스트 임베딩 모델을 개발하여 그래프의 노드/엣지 특징을 생성하는 데 활용했습니다.

4. 실험 결과 (Results)

논문은 COLIEE 2022와 COLIEE 2023 벤치마크 데이터셋을 사용하여 LEXA 의 성능을 평가했습니다.

• 성능 비교: LEXA 는 기존 SOTA(State-of-the-Art) 방법론 (BM25, Legal-BERT, SAILER, PromptCase, CaseGNN, CaseLink 등) 을 모두 압도했습니다.
  • COLIEE 2022: NDCG@5 기준 79.3% 를 기록하여 이전 최강 모델 (CaseLink, 70.3%) 보다 약 9% 포인트 이상 향상되었습니다.
  • COLIEE 2023: 모든 지표 (Precision, Recall, MRR, MAP, NDCG 등) 에서 CaseLink 를 능가하는 최상위 성능을 달성했습니다.
• Ablation Study (성분 분석):
  • EUGAT: 기존 GAT 나 EdgeGAT 보다 성능이 우수함을 입증했습니다.
  • 그래프 대비 학습 (GCL): GCL 을 적용하면 순위 기반 지표 (MRR, MAP, NDCG) 가 크게 개선되었습니다.
  • 프롬프트 및 LLM: 프롬프트 기반 인코딩과 파인튜닝된 LLM(LEXA-8B) 이 특징 표현의 질을 높여 성능 향상에 기여했습니다.
  • 그래프 증강: 엣지 드롭 (Edge Dropping) 이 특징 마스킹보다 더 효과적인 증강 기법임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 법률 사례 검색 분야에서 **구조적 정보 (그래프)**와 **맥락적 의미 (LLM)**를 효과적으로 융합한 새로운 패러다임을 제시합니다.

• 기술적 의의: 법률 텍스트의 복잡한 관계 구조를 그래프 신경망으로 모델링할 때, 엣지 정보의 동적 업데이트와 대비 학습의 중요성을 입증했습니다.
• 실용적 의의: 법률 전문가들이 더 정확하고 빠르게 관련 선례를 찾을 수 있도록 도와주며, 법률 서비스 접근성을 높이는 데 기여할 수 있습니다.
• 미래 전망: 제안된 방법은 다양한 법률 도메인 및 다국어 환경으로 확장 가능하여, 향후 법률 AI 연구의 중요한 기준이 될 것으로 기대됩니다.

결론적으로, LEXA 는 법률 도메인의 구조적 복잡성을 해결하고 대규모 언어 모델의 맥락 이해 능력을 결합함으로써 법률 사례 검색의 새로운 State-of-the-Art 를 달성한 획기적인 연구입니다.