우리가 챗GPT 같은 AI에게 법률 질문을 하면, 마치 **"영어를 아주 잘하지만, 한국의 복잡한 법률 용어는 한 번도 들어본 적 없는 외국인 비서"**와 대화하는 것과 비슷합니다.
이 비서는 말은 유창하게 하지만, 아주 미세하고 복잡한 법률 문서를 찾으라고 하면 엉뚱한 서류를 가져오거나(환각 현상), PDF 파일에 있는 복잡한 표를 제대로 읽지 못해 실수를 하곤 합니다. 특히 여러 나라의 언어로 된 법률을 다뤄야 할 때는 그 실수가 더 커지죠.
2. 해결책 1: "LEMUR라는 거대한 법률 도서관 만들기"
연구팀은 이 비서를 교육시키기 위해 **'LEMUR'**라는 아주 방대하고 체계적인 **'법률 전용 교과서 세트'**를 만들었습니다.
무엇을 담았나? 유럽 연합(EU)의 환경 관련 법률 문서 약 2만 5천 개를 모았습니다.
언어는? 영어, 독일어 같은 큰 언어부터 라트비아어, 몰타어 같은 상대적으로 자료가 적은 언어까지 총 25개 언어를 담았습니다.
깨끗한 데이터: 기존의 PDF 파일들은 글자가 깨지거나 표가 엉망인 경우가 많았습니다. 연구팀은 마치 "지저분한 필기 노트를 아주 깔끔한 타이핑 문서로 다시 옮겨 적듯이" 최신 기술을 써서 아주 깨끗하고 정확한 텍스트 데이터로 변환했습니다.
3. 해결책 2: "맞춤형 집중 과외 (Fine-Tuning)"
교과서(LEMUR)가 준비되었으니, 이제 AI 비서에게 **'맞춤형 과외'**를 시작합니다.
단순 암기가 아닌 '맥락' 파악: 단순히 단어를 외우는 게 아니라, "이런 짧은 요약문(질문)이 나오면, 이 긴 법률 문서(정답)를 찾아야 해!"라는 식으로 **'질문과 정답의 관계'**를 집중적으로 훈련시켰습니다.
언어의 벽 허물기: 영어로 공부한 내용을 바탕으로, 영어를 모르는 사람이 라트비아어로 질문해도 똑똑하게 법률 문서를 찾아낼 수 있도록 **'언어 초월 훈련'**도 시켰습니다.
4. 결과: "이제 법률 전문가 비서가 탄생했습니다!"
훈련 결과는 놀라웠습니다.
실력 향상: 아무 공부도 안 한 AI보다, LEMUR 교과서로 공부한 AI가 법률 문서를 훨씬 더 정확하게 찾아냈습니다.
자료가 적은 언어도 OK: 자료가 별로 없는 작은 나라의 언어(저자원 언어)들도, 큰 언어(영어 등)와 함께 공부시키니 실력이 쑥쑥 늘었습니다.
언어를 넘나드는 능력: 영어로 법률 지식을 배운 AI는, 한 번도 배우지 않은 다른 나라 언어로 질문해도 "아, 이건 이런 내용이구나!"라며 찰떡같이 알아듣고 문서를 찾아냈습니다. 이는 AI가 단순히 단어를 외운 게 아니라, **'법률의 핵심 의미'**를 깨우쳤다는 증거입니다.
💡 요약하자면?
이 논문은 **"지저분한 법률 PDF들을 깨끗한 디지털 교과서(LEMUR)로 만들고, 이를 통해 AI에게 법률 전문 과외를 시켰더니, 여러 나라 언어를 넘나들며 법률 문서를 기가 막히게 찾아내는 '만능 법률 비서'가 되었다"**는 이야기입니다.
[기술 요약] LEMUR: 다국어 법률 검색을 위한 임베딩 모델 미세 조정용 코퍼스
1. 문제 정의 (Problem Statement)
최근 대규모 언어 모델(LLM)이 법률 정보 접근에 활용되고 있으나, 실제 법률 실무에 적용하기에는 다음과 같은 세 가지 핵심적인 한계가 존재합니다.
신뢰성 및 근거 부족: LLM의 '환각(Hallucination)' 현상과 권위 있는 법률 원문에 기반한 근거(Grounding) 부족 문제.
도메인 특화 모델의 부재: 기존 임베딩 모델은 일반적인 용도에 맞춰져 있어, 고어(archaic terminology), 복잡한 구문, 다의어(polysemy)가 빈번한 법률 도메인의 특성을 충분히 반영하지 못함.
데이터 품질 및 언어 불균형: 기존 법률 코퍼스는 검색(Retrieval) 목적이 아닌 분류(Classification)나 사전 학습(Pre-training)용으로 설계된 경우가 많으며, PDF 기반의 법률 문서는 텍스트 추출 과정에서 구조적 노이즈(표, 다단 레이아웃 등)가 발생하여 데이터 무결성을 해침.
2. 주요 기여 (Key Contributions)
본 논문은 위 문제들을 해결하기 위해 다음 세 가지를 제안합니다.
LEMUR 코퍼스 구축: EU 환경 법률(EUR-Lex) PDF 24,953건을 활용하여 25개 언어로 구성된 대규모 다국어 법률 검색 코퍼스를 구축함.
LCS (Lexical Content Score) 도입: PDF를 텍스트로 변환할 때 발생하는 품질 저하를 측정하기 위해, HTML 버전과 비교하여 어휘적 일관성을 정량화하는 지표를 제안함.
법률 임베딩 미세 조정(Fine-tuning): 구축된 LEMUR를 바탕으로 최신 다국어 임베딩 모델(E5, Qwen3 등)을 단일 언어, 이중 언어, 교차 언어 환경에서 미세 조정하여 성능을 검증함.
3. 연구 방법론 (Methodology)
A. 데이터 준비 및 변환
데이터 수집: EUR-Lex의 환경 관련 법률(Category 15, Subcategory 10)을 수집.
PDF-to-Text 변환: 기존 HTML 방식의 표(Table) 변환 오류를 해결하기 위해 olmOCR을 사용하여 PDF를 구조화된 JSONL(Markdown 형식 포함)로 변환.
쿼리-문서 쌍 생성: 법률 문서의 도입부인 **'메타데이터(Metadata)'를 쿼리(Query)**로, 나머지 **'본문(Substantive text)'을 검색 대상 문서(Document)**로 설정하여 실제 법률 검색 시나리오를 모사함.
B. 미세 조정 전략 (Fine-tuning Strategies)
단일 언어 대조 학습 (Monolingual Contrastive Learning): Multiple Negatives Ranking (MNR) 목적 함수를 사용하여 메타데이터와 해당 법률 본문 사이의 유사도를 극대화함.
이중 언어 다중 양성 학습 (Bilingual Multi-Positive Training): 동일한 법률의 서로 다른 언어 버전들을 하나의 쿼리에 대한 '양성(Positive)' 샘플로 묶어 학습함으로써, 언어 간 의미적 정렬(Semantic Alignment)을 유도함.
C. 평가 환경
검색 엔진: ChromaDB를 사용하여 벡터 데이터베이스를 구축하고 코사인 유사도 기반의 Top-k 검색 성능을 측정.
평가 지표: Top-1, Top-3, Top-5 정확도(Accuracy@k)를 사용.
4. 실험 결과 (Results)
단일 언어 성능 향상: 모든 언어(고자원 언어인 EN, DE, FR 및 저자원 언어인 LV, MT)에서 미세 조정 후 검색 성능이 일관되게 향상됨. 특히 저자원 언어의 경우, 미세 조정 후 성능이 고자원 언어 수준으로 크게 격상됨.
이중 언어 학습 효과: 영어(고자원)와 라트비아어(저자원)를 함께 학습시켰을 때, 저자원 언어의 성능은 향상되었으나 고자원 언어의 성능을 저해하지 않는 '비대칭적 이득'이 관찰됨.
교차 언어 전이 (Cross-lingual Transfer): 특정 언어로 미세 조정한 모델이 학습하지 않은 다른 언어의 검색에서도 성능이 향상됨을 확인. 이는 모델이 언어 특유의 신호가 아닌, 언어 독립적인 '법률 내용(Content-level)'의 표현을 학습했음을 시사함.
5. 의의 및 결론 (Significance & Conclusion)
본 연구는 법률 도메인에서의 RAG(Retrieval-Augmented Generation) 시스템 성능을 높이기 위해 도메인 특화 임베딩 모델의 중요성을 입증했습니다. 특히 LEMUR 코퍼스는 단순한 데이터셋을 넘어, 다국어 법률 환경에서 저자원 언어의 검색 성능을 높이고 언어 간 장벽을 넘는 법률 지식 전이를 가능하게 하는 강력한 도구임을 보여주었습니다. 이는 향후 다국어 법률 AI 서비스의 신뢰성과 정확성을 높이는 데 중요한 기반이 될 것입니다.