Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

인도 맥락에서 법률 지원을 위한 대규모 언어 모델의 경량 도메인 적응에 관한 해당 논문의 상세 기술 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 인도에서 법률 지원 접근성의 심각한 격차를 다루고 있습니다. 인도 헌법은 법률 자원에 대한 권리를 보장하지만, 많은 시민들은 인식 부족과 정확하고 최신의 법률 정보에 대한 접근성 부재로 인해 자신의 권리를 효과적으로 활용할 수 없습니다.

• 일반 LLM 의 한계: GPT-3.5 Turbo 와 같은 기존 범용 대규모 언어 모델 (LLM) 은 법률 분야에서 두 가지 주요 문제를 겪고 있습니다:
  1. 구식 지식: 최근 입법 변경 사항 (예: newly enacted Bharatiya Nyaya Sanhita (BNS) 및 Bharatiya Nagarik Suraksha Sanhita (BNSS)) 에 대한 훈련이 부족합니다.
  2. 할루시네이션: 사실적으로 틀린 정보를 그럴듯하게 생성하는 경우가 빈번하며, 이는 고위험 법률 맥락에서 용납될 수 없습니다.
• 계산 비효율성: 특정 도메인을 위해 대규모 모델 (예: 175B 파라미터) 을 학습하거나 파인튜닝하는 것은 계산 비용이 많이 들며, 올바른 아키텍처를 갖춘 더 가벼운 모델이 유사한 결과를 달성할 수 있다면 종종 불필요합니다.

2. 방법론

저자들은 양자화된 80 억 파라미터 모델과 검색 증강 생성 (RAG) 시스템 및 전략적 프롬프트 엔지니어링을 결합한 경량 프레임워크인 Legal Assist AI를 제안합니다.

A. 데이터 준비 및 코퍼스 엔지니어링

• 코퍼스 큐레이션: 공공 정부 및 사법 출처에서 600 개 이상의 법률 문서로 구성된 고품질 데이터셋이 선별되었습니다. 여기에는 인도 헌법, 노동법, 사법 판결, 그리고 새로운 BNS 및 BNSS 코드가 포함됩니다.
• 전처리: 원시 텍스트는 1,000 자 조각으로 정리되고 20 자 오버랩을 적용하여 컨텍스트 연속성을 유지하면서 정확한 벡터 표현을 보장하도록 세분화되었습니다.
• 벡터 인덱싱:
  • 임베딩: sentence-transformer/all-MiniLM-L6-v2 모델을 사용하여 텍스트 조각을 밀집 벡터 임베딩으로 변환했습니다.
  • 저장: 벡터는 FAISS(Facebook AI Similarity Search) 를 사용하여 인덱싱되어 빠르고 실시간 의미 검색을 가능하게 했습니다.

B. 핵심 모델 선택

• 베이스 모델: 추론 능력과 계산 효율성의 균형을 위해 Llama 3.1-8B가 선택되었습니다.
• 양자화: 리소스가 제한된 환경을 최적화하기 위해 모델을 Q4_0으로 양자화하여 크기를 약 16GB 에서 약 4.7GB로 줄였습니다.
• 아키텍처: 이 모델은 그룹 쿼리 어텐션 (GQA), 회전 위치 임베딩 (RoPE), RMS 정규화, SwiGLU 활성화 등 현대적 구성 요소를 활용합니다.

C. 시스템 프레임워크 (RAG + 프롬프트 엔지니어링)

이 시스템은 검색 후 생성 (Retrieve-then-Generate) 워크플로우로 작동합니다:

1. 검색 모듈: 사용자 쿼리가 수신되면 임베딩되어 FAISS 벡터 저장소와 검색되어 상위 $k$개의 관련 법률 텍스트 조각을 검색합니다.
2. 프롬프트 구성: 네 가지 구성 요소로 구조화된 시스템 프롬프트가 설계되었습니다:
   • 프록시 기능: 인도를 전문으로 하는 법률 전문가로 페르소나를 정의합니다.
   • 법적 제약: 안전성, 정확성 및 객관성을 강제합니다.
   • 입력: 사용자 쿼리와 검색된 컨텍스트를 삽입합니다.
   • 지시자: 구조화된 출력을 위한 포맷팅 단서 (예: "답변:") 를 제공합니다.
3. 생성 모듈: 양자화된 Llama 3.1-8B 가 강화된 프롬프트를 처리하여 최종 응답을 생성합니다.
4. 할루시네이션 가드레일: 검색 모듈이 관련 컨텍스트를 반환하지 않으면, 답변을 할루시네이션하는 대신 명시적으로 "모릅니다"라고 명시합니다.

3. 주요 기여

1. Legal Assist AI 프레임워크: RAG 와 전문 코퍼스와 결합될 때 80 억 파라미터 모델이 인도 법률 분야에서 훨씬 더 큰 범용 모델보다 우수한 성능을 보일 수 있음을 입증한 독창적이고 경량인 프레임워크입니다.
2. 포괄적인 인도 법률 코퍼스: 표준 LLM 학습 데이터에서 종종 누락된 최근 제정된 BNS 및 BNSS를 포함한 최신 인도 법률이 포함된 데이터셋의 생성 및 통합입니다.
3. 파라미터 효율성 지수 (PEI): 파라미터 크기에 따른 모델 효율성을 정량화하기 위한 새로운 지표의 도입:
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   여기서 $A(M)$은 정확도 점수이고 $\Pi(M)$은 10 억 단위 파라미터 수입니다.
4. 할루시네이션 완화: 엄격한 RAG 구현은 제공된 코퍼스에 기반한 응답을 보장하여 사실적 오류의 위험을 크게 줄입니다.

4. 실험 결과

이 프레임워크는 두 가지 주요 차원에서 평가되었습니다:

A. 정성적 추론 (Lawyer_GPT_India 데이터셋)

• 지표: BERT 점수 (의미적 유사성 측정).
• 결과: 이 모델은 개방형 법률 쿼리에 대한 응답에서 높은 의미적 및 문맥적 관련성을 나타내는 평균 BERT 점수 **76.90%**를 달성했습니다.

B. 사실적 정확성 (All-India Bar Examination - AIBE)

• 데이터셋: 12 년간의 AIBE 시험에서 나온 1,134 개의 유효한 질문.
• 성능 비교:
  • Legal Assist AI: 60.08% (합격)
  • GPT-3.5 Turbo (175B): 58.72% (합격)
  • Base Llama 3.1-8B: 43.73% (합격)
  • Mistral 7B: 23.48% (불합격)
• 주요 발견: 경량 Legal Assist AI 프레임워크는 21 배 적은 파라미터를 가지고 있음에도 불구하고 175B GPT-3.5 Turbo 를 능가했습니다.

C. 파라미터 효율성 지수 (PEI) 분석

• Legal Assist AI PEI: 7.51
• GPT-3.5 Turbo PEI: 0.34
• 결론: Legal Assist AI 는 GPT-3.5 Turbo 보다 22 배 더 파라미터 효율적입니다. 이는 도메인 특화 작업에 대해 RAG 와 프롬프트 엔지니어링을 통한 전문화된 소형 모델이 거대한 범용 모델보다 우월함을 입증합니다.

5. 중요성 및 영향

• 법률 접근의 민주화: 이 프레임워크는 일반 대중에게 정확한 법률 정보를 제공하기 위한 비용 효율적인 솔루션을 제공하며 (전통적인 방법 대비 운영 비용 최대 99.97% 감소).
• 확장성: 양자화된 8B 모델을 사용하여 소비자급 하드웨어에 시스템을 배포할 수 있으므로, 막대한 인프라 비용 없이 로펌 및 공공 법률 지원 서비스에 확장 가능합니다.
• 패러다임 전환: 이 연구는 LLM 에서 "크기가 더 좋다"는 개념에 도전하여, 파라미터 수에만 의존하는 것보다 RAG 와 프롬프트 엔지니어링을 통한 도메인 적응이 더 효율적인 전략임을 입증했습니다.
• 실제 적용: 이 시스템은 일반 모델이 정확하게 처리하지 못하는 복잡하고 진화하는 인도 법률 (BNS/BNSS 등) 을 성공적으로 처리하여, 법률 전문가가 관련 섹션과 조문을 효율적으로 추출할 수 있는 실행 가능한 도구를 제공합니다.

6. 한계 및 향후 작업

• 한계: 현재 시스템은 명시적인 출처 인용 (추적 가능성) 이 부족하여 사용자 신뢰에 영향을 미칩니다. 또한 AI 출력을 공식적인 법률 조언으로 오해할 위험도 있습니다.
• 향후 방향:
  1. 실시간 판례로 코퍼스를 업데이트하기 위한 지속적인 데이터 파이프라인 구현.
  2. 검증 가능성을 위해 소스 구절을 명시적으로 인용하도록 RAG 모듈 강화.
  3. 데이터 품질을 보장하기 위한 "전문가 루프 내 (expert-in-the-loop)" 검증 도입.