1. 문제 정의 (Problem)

• 데이터 부족 (Data Scarcity): 법률 정보 검색 (Legal IR) 과 같은 저자원 (low-resource) 도메인에서는 고품질의 주석 데이터가 부족하여 모델 학습에 어려움을 겪습니다.
• 기존 증강 기법의 한계: 대규모 언어 모델 (LLM) 을 활용한 기존 데이터 증강 방법들은 대량의 합성 데이터를 생성하는 데 중점을 두지만, 양보다 질이 중요한 법률 도메인에서는 적합하지 않을 수 있습니다.
  • 특히 Few-shot 프롬프팅은 제공된 예시의 어휘를 반복적으로 사용하여 생성된 데이터의 **어휘적 다양성 (Lexical Diversity)**이 낮아지는 경향이 있습니다.
  • 법률 도메인에서는 전문 용어와 복잡한 문맥을 다루기 위해 도메인 특화 전략이 필요하지만, 이를 고려한 증강 방법은 아직 충분히 연구되지 않았습니다.

2. 제안 방법론: DALDALL (Methodology)

저자들은 DALDALL(Legal Domain에서의 LLM-Persona 활용을 통한 어휘 및 의미적 다양성 데이터 증강) 프레임워크를 제안합니다. 이 방법은 법률 정보 검색을 위해 **도메인 특화 전문가 페르소나 (Persona)**를 활용합니다.

• 핵심 아이디어: LLM 에게 특정 전문가 역할 (예: 변호사, 검사, 판사, 법률 교수 등) 을 부여하여, 동일한 사건 사실에 대해 각기 다른 관점과 어휘로 합성 쿼리를 생성하게 합니다.
• 프로세스:
  1. Essential Extraction (핵심 요소 추출): 원본 법률 쿼리에서 '법적 쟁점 (Issue)', '법적 기준 (Rule)', '중요 판례', '주요 법령' 등 IRAC(Issue, Rule, Application, Conclusion) 프레임워크에 부합하는 불변의 핵심 요소를 추출합니다. 이는 생성된 텍스트가 원본의 법적 의미를 훼손하지 않도록 보장합니다.
  2. Augmentation (증강): 추출된 핵심 요소와 원본 텍스트를 바탕으로 두 가지 프롬프트 전략을 적용합니다.
     • Vanilla Prompt: 페르소나 정보 없이 일반적인 지시사항만 포함.
     • Persona Prompt: 변호사, 검사, 판사 등 특정 전문가의 관점을 부여하여 쿼리 생성.
  3. 데이터 구성: 각 원본 쿼리에 대해 여러 개의 페르소나 기반 합성 쿼리를 생성하여 학습 데이터셋을 확장합니다.

3. 주요 기여 (Key Contributions)

1. 페르소나 기반 증강 전략 도입: 법률 도메인의 전문 역할 (변호사, 검사, 판사 등) 을 활용하여 합성 쿼리의 **어휘적 다양성 (Self-BLEU 점수 개선)**과 **의미적 다양성 (Intra-cosine similarity)**을 크게 향상시켰습니다.
2. 실증적 분석: 페르소나 기반 프롬프팅이 다양한 출력물을 생성하는 조건을 분석하고, 이를 통해 미세 조정 (Fine-tuning) 된 검색 모델의 Recall 성능이 기존 데이터나 일반적 증강 데이터로 학습된 모델보다 우수하거나 경쟁력 있음을 입증했습니다.
3. 저자원 도메인을 위한 가이드: 법률과 같이 전문성이 요구되는 저자원 도메인에서 고품질의 훈련 데이터를 생성하기 위한 페르소나 기반 프롬프팅의 유효성을 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: CLERC (미국 연방 사례 인용 검색) 와 COLIEE (법률 사례 검색) 벤치마크 사용.
• 어휘적 다양성 (Lexical Diversity):
  • 페르소나 기반 증강은 Vanilla 방식보다 Self-BLEU 점수가 유의미하게 낮았습니다 (점수가 낮을수록 다양성 높음).
  • CLERC 에서 약 15%, COLIEE 에서 약 23% 의 다양성 향상을 보였습니다. 이는 입력 텍스트의 길이에 상관없이 페르소나 도입이 다양성 향상에 기여함을 의미합니다.
• 의미적 다양성 (Semantic Diversity):
  • 긴 텍스트 (COLIEE) 의 경우 페르소나에 따라 의미적 관점이 명확히 갈라져 Intra-Cosine Similarity 가 낮아졌습니다 (의미적 다양성 증가).
  • 짧은 텍스트 (CLERC) 의 경우 의미적 내용이 제한되어 어휘는 다양해졌으나 의미는 수렴하는 경향이 있었습니다.
• 검색 성능 (Retrieval Performance):
  • 페르소나 증강 데이터로 미세 조정된 **Dense Retrievers (DPR, BGE-base 등)**는 원본 데이터만 학습한 모델보다 Recall 성능이 우수하거나 동급이었습니다.
  • 특히 **BM25(희소 검색)**와 Dense Retrieval 모두에서 페르소나 기반 데이터가 모델의 일반화 능력을 향상시켰습니다.
  • 단, LegalBERT와 같은 법률 도메인 사전 학습 모델은 페르소나 기반의 더 자연스러운 (비공식적) 어조와 충돌하여 오히려 성능이 저하되는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

• 품질 중심의 증강: 법률 도메인과 같은 저자원 환경에서는 대량의 평범한 데이터보다 다양하고 고품질의 합성 데이터가 모델 성능 향상에 더 효과적임을 입증했습니다.
• 페르소나의 효과: LLM 에게 구체적인 전문가 역할을 부여하는 것은 단순한 문장 재구성이 아닌, 도메인 특유의 어휘와 논리적 관점을 반영한 고품질 데이터 생성을 가능하게 합니다.
• 실용성: 제안된 DALDALL 프레임워크는 법률 정보 검색 시스템의 성능을 높이는 실용적인 가이드라인을 제공하며, 다른 전문 도메인 (의료 등) 으로 확장 가능한 잠재력을 가집니다.

요약하자면, 이 논문은 LLM 의 페르소나 기능을 활용하여 법률 쿼리의 어휘와 의미적 다양성을 극대화하고, 이를 통해 저자원 법률 도메인의 정보 검색 성능을 획기적으로 개선하는 새로운 데이터 증강 패러다임을 제시합니다.