기술 요약: JurisTCU – 브라질 포르투갈어 정보 검색 데이터셋 및 쿼리 관련성 판단

문제 정의

법률 정보 검색(Legal Information Retrieval, LIR) 분야는 포르투갈어 도메인에서 심각한 병목 현상에 직면해 있습니다. 즉, 법률 코퍼스와 쿼리 관련성 판단(qrels)을 모두 포함하는 고품질 데이터셋이 부족합니다. 일반적인 포르투갈어 IR 데이터셋(예: Quati)은 존재하고 일부 영어 법률 데이터셋(예: CLERC, MS MARCO)도 사용 가능하지만, 전형적인 사용자 검색 쿼리와 관련성 레이블이 주석 처리된 포르투갈어 LIR 데이터셋은 눈에 띄게 부재합니다. Ulysses-RFCorpus와 같은 기존의 포르투 Portugal어 법률 자원들은 표준적인 사용자 검색 행동과는 다른 쿼리 형식(예: 새로운 법안에 대한 입법 요청)을 특징으로 하는 경우가 많습니다. 이러한 표준화된 평가 자원의 결여는 브라질 시민과 법률 전문가, 특히 50만 개 이상의 판례 문서를 관리하는 연방회계원(Tribunal de Contas da União, TCU)을 위한 검색 시스템의 개발 및 벤치마킹을 저해합니다.

방법론

저자들은 16,045개의 판례 문서와 150개의 관련성 판단이 포함된 쿼리로 구성된 JurisTCU 데이터셋을 개발했습니다. 방법론은 세 가지 주요 단계로 진행되었습니다.

1. 코퍼스 구축

문서 코퍼스는 선례적 가치가 있는 것으로 선정된 Acórdãos(공식 사법 결정)의 선별된 컬렉션인 TCU의 "선택된 판례" 모음에서 파생되었습니다. 데이터셋의 각 문서에는 메타데이터와 두 가지 주요 텍xt 필드가 포함됩니다:

• 요약 (ENUNCIADO): 법적 이해를 간결하게 진술한 문장 (평균 306자).
• 발췌 (EXCERTO): 요약의 근거가 되는 원래 결정문의 텍스트 세그먼트 (평균 4,387자).

2. 쿼리 생성

150개의 쿼리는 서로 다른 검색 행동을 시뮬레이션하기 위해 세 가지 별도의 그룹으로 구성되었습니다:

• 그룹 G1 (실제 사용자 쿼리): TCU의 검색 로그(2022년 6월~2023년 5월)에서 가장 빈번하게 나타난 상위 50개 쿼리입니다. 이들은 수식어나 전치사가 없는 짧은 키워드 기반 쿼리입니다 (평균 3.5단어).
• 그룹 G2 (합성 키워드 쿼리): 가장 많이 액세스된 50개 문서의 요약에서 핵심 키워드를 추출하도록 LLM(ChatGPT-4)에 프롬프트를 입력하여 생성된 50개의 쿼리입니다. 이들의 평균 길이는 6.5단어입니다.
• 그룹 G3 (합성 질문 쿼리): 동일한 요약으로부터 생성되었으며, 대표성을 갖도록 수동으로 정제된 50개의 전체 문장 형태의 질문입니다. 이들의 평균 길이는 16.5단어입니다.

3. 관련성 판단 (Qrels) 주석 처리

수동 주석 처리의 높은 비용을 해결하기 위해 저자들은 하이브리드 2단계 프로세스를 채택했습니다:

1. 자동 사전 선택: 2단계 리트리버(BM25와 BERT 기반 시맨틱 리트리버 결적으로 구성)가 쿼리당 상위 300개의 후보 문서를 선택했습니다. 이들은 T5 기반 모델을 사용하여 재순위화되었으며, 상위 10개의 결과가 선택되었습니다. 또한, 비관련 사례를 보장하기 위해 BM25 출력에서 5개의 무작위 문서가 포함되었습니다.
2. LLM 점수 산정 및 전문가 검증: 15개의 선택된 문서는 GPT-4에 의해 0(무관)에서 3(매우 관련 있음) 사이의 척도로 점수가 매겨졌습니다. 이후 도메인 전문가가 오류를 수정하기 위해 이 점수들을 검토했습니다. JurisTCU의 경우, 전문가는 자동화된 점수에 대체로 동의하였으며, 결과적으로 총 2,250개의 관련성 판단이 생성되었습니다.

실험 설정

저자들은 표준 BM25 베이스라인과 어휘적 및 시맨틱 검색 접근 방식을 비교하여 데이터셋의 벤치마크를 확립하기 위해 14번의 실험을 수행했습니다:

• 어휘 검색 (Lexical Search): 표준 BM25 대 **문서 확장(Document Expansion)**이 적용된 BM25를 비교했습니다. 확장 방법에는 다음이 포함됩니다:
  • docT5query: 포르투갈어 T5 모델을 사용하여 요약으로부터 합성 쿼리를 생성.
  • 유의어 확장 (Synonym Expansion): LLM(GPT-3.5, GPT-4o, Llama 3-70B)을 사용하여 요약의 핵심 용어에 대한 유의어를 생성.
  • 조합: 두 가지 확장 기술을 병합.
• 시맨틱 검색 (Semantic Search): 임베딩을 사용하는 밀집 벡터 검색(Dense vector retrieval):
  • BERT 기반 모델: 다국어 모델 및 포르투갈어 특정 모델(일반 및 법률 도메인 미세 조정 모델) 포함.
  • OpenAI 모델: text-embedding-3-small 및 text-embedding-3-large.

성능은 Precision@10 (P@10), Recall@10 (R@10), Mean Reciprocal Rank (MRR@10), nDCG@10을 사용하여 평가되었습니다.

주요 결과

어휘 검색 성능

문서 확장 기술은 특히 짧은 키워드 기반 쿼리(그룹 G1)에 대해 베이스라인보다 검색 성능을 크게 향상시켰습니다.

• 개선 폭: 그룹 G1의 경우, docT5query와 유의어 확장(GPT-3.5 또는 Llama 3 사용)을 결합하면 베이스라인 대비 P@10, R@10, nDCG@10이 45% 이상 증가했습니다.
• 모델 비교: docT5query 방식이 일반적으로 유의어 전용 확장보다 우수한 성능을 보였습니다. LLM 중에서는 GPT-3.5와 Llama 3-70B가 이 특정 작업에서 GPT-4o보다 유사하게 우수한 결과를 냈습니다.
• 쿼리 길이의 영향: 쿼리가 길어지고 문서 어휘와 일치할수록(그룹 G2 및 G3), 베이스라인 BM25 성능이 상승하여 확장에 의한 개선 폭은 완만해졌습니다 (그룹 G3의 경우 P@10/R@10 기준 약 8%).

시맨틱 검색 성능

결과는 모델 계열 간의 극명한 차이를 보여주었습니다:

• BERT 기반 모델: 모든 BERT 기반 임베딩 모델(다국어 및 포르투갈어 법률 미세 조정 모델 모두)은 모든 쿼리 그룹에서 표준 BM25 베이스라인보다 낮은 성능을 보였습니다. 저자들은 이를 토큰 절단(truncation)으로 인한 정보 손실과, 특정 데이터셋에 대한 미세 조정 없이는 짧고 키워드 중심적인 쿼리를 처리하는 데 있어 시맨틱 모델이 겪는 어려움 때문이라고 분석했습니다.
• OpenAI 모델: OpenAI 임베딩 모델은 BM25 베이스라인과 최고의 어휘 확장 방법을 모두 능가하며 가장 좋은 결과를 지속적으로 달성했습니다.
  • 그룹 G1(짧은 쿼리)의 경우, OpenAI 모델은 P@10, R@10, nDCG@10을 약 70% 향상시켰습니다.
  • 더 큰 모델(text-embedding-3-large)은 그룹 G1과 G2에서 작은 모델(text-embedding-3-small)보다 일반적으로 더 나은 성능을 보였으나, 그룹 G3에서는 작은 모델이 약간 더 나은 성능을 보였습니다.
  • 이러한 결과는 고품질 임베딩(특히 OpenAI 모델)을 사용하는 밀집 임베딩이 정확한 어휘 매칭에 대한 의존도를 넘어, 법률 도메인의 시맨틱 관계를 효과적으로 포착하여 우수한 성능을 제공함을 시사합니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 데이터셋 가용성: JurisTCU는 전형적인 검색 쿼리와 관련성 판단을 포함한 최초의 LIR 데이터셋을 제공함으로써 포르투갈어 IR 연구 커뮤니티의 중요한 공백을 메웁니다. 이는 특화된 법률 맥락에서 검색 시스템의 벤치마킹을 가능하게 합니다.
2. 경험적 통찰: 본 연구는 문서 확장이 (특히 짧은 쿼리에 대해) 어휘 검색을 크게 높이는 반면, 고품질 임베딩(특히 OpenAI 모델)을 사용하는 시맨틱 검색이 확장된 어휘 방식보다도 뛰어난 성능을 제공한다는 증거를 제시합니다. 반대로, 표준 BERT 모델은 추가적인 미세 조정 없이는 이 도메인에 적합하지 않을 수 있음을 경고합니다.
3. 실질적 영향: 데이터셋과 실험 결과는 연간 150만 회 이상 접속되는 TCU의 공공 검색 시스템을 개선할 수 있는 경로를 제공하며, 이를 통해 브라질 시민과 전문가의 법률 판례 접근성을 높입니다.

저자들은 JurisTCU에 특화된 데이터셋이지만, 포르투갈어 환경에서 새로운 임베딩 모델과 검색 기법의 영향을 연구하기 위한 가치 있는 자원으로 기능한다고 결론짓습니다. 향러 과제로는 다양한 주석 처리된 데이터셋을 공개하고, 자동화된 판단과 비교하기 위한 수동 주석 처리를 탐색하는 것이 포함됩니다.