When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

기술 요약: 규칙이 학습할 때: 법률 사례 검색을 위한 자기 진화형 에이전트

문제 정의
법률 용어의 복잡성, 문서의 길이, 그리고 사용자 쿼리와 관련 사례 간의 정밀한 어휘적 일치(lexical alignment)의 필요성으로 인해 법률 사례 검색은 여전히 도전적인 과제로 남아 있습니다. 신경 임베딩 기반의 밀집 검색(dense retrieval) 모델이 크게 발전했음에도 불구하고, 중국 법률 벤치마크인 LeCaRD-v2에 대한 실증 연구에 따르면 이들은 종로적인 어휘 매칭 방식보다 성능이 떨어지는 경우가 많습니다. 구체적으로, BM25는 다양한 리콜 컷오프(recall cutoffs)에서 대표적인 밀집 검색 모델(법률 데이터로 미세 조정된 모델 포함)보다 일관되게 우수한 성능을 보입니다. 이는 BM25를 대체하기보다는, 쿼리 재작성(rewriting)을 통해 쿼리의 어휘적 일치를 개선함으로써 BM25의 성능을 강화하는 것이 더 유망한 방향임을 시사합니다. 그러나 고품질의 규칙 기반 쿼리 재작성 전략을 설계하는 것은 상당한 도메인 전문 지식을 요구하며, 단순한 규칙 생성은 최적의 결과를 도출하지 못하는 경우가 많습니다.

방법론
저자들은 그래디언트 기반의 파라미터 학습 없이 작동하는, 규칙 기반 쿼리 재작성을 위한 **자기 진화 프레임워크(self-evolution framework)**를 제안합니다. 이 시스템은 자동화된 평가 환경과 상호작용하며 일련의 재작성 규칙을 반복적으로 정교화하는 LLM 기반 에이전트를 채택합니다. 이 프레임워크는 모델 최적화가 아닌 상호작용을 통해 적응이 발생하는 폐쇄 루프(closed-loop) 시스템으로 기능합니다.

에이전트의 의사 결정 과정은 세 가지 주요 동작을 포함합니다:

1. 규칙 생성 (Rule Generation): 에이전트는 현재 활성화된 규칙 세트, 이전에 제거된 규칙, 그리고 축적된 실험 점수를 분석하여 새로운 쿼리 재작성 규칙을 생성합니다. 에이전트는 기존 규칙을 수정하여 효과적인 동작을 증폭시키거나 완전히 새로운 전략을 제안할 수 있으며, 이때 새로운 규칙이 이전에 폐기된 패턴으로 퇴보하지 않도록 보장합니다.
2. 실험 계획 (Experiment Planning): 에이전트는 테스트를 위한 조합을 형성하기 위해 활성 규칙의 하위 집합을 선택합니다. 에이전트는 유망한 조합(예: 상호 보완적 효과를 가진 조합)을 식별하는 동시에, 이전에 테스트된 세트를 중복해서 평가하는 것을 피하기 위해 과거의 실험 결과를 활용합니다.
3. 규칙 제거 (Rule Elimination): 전략 공간이 관리 불가능해지는 것을 방지하기 위해, 에이전트는 효과 없는 규칙을 식별하고 제거합니다. 이 과정은 확률적 오류를 완화하기 위해 2단계 합의 메커니즘을 사용합니다. 에이전트는 먼저 여러 번의 독립적인 시행을 바탕으로 규칙 제거 여부를 결정하고, 합의가 이루어지면 투표 임계값을 기준으로 특정 규칙을 제거 대상으로 선정합니다.

환경은 선택된 규칙에 따라 쿼리를 재작성하기 위해 동결된 외부 LLM을 호출하고, 이를 개발 세트에서 BM25 알고리즘을 사용하여 평가함으로써 이러한 결정을 실행합니다. 에이전트는 별도의 테스트 세트에서 평가받기 전까지 이 과정을 (최대 500단계까지) 반복하여 규칙 세트를 정교화합니다.

주요 기여

• 베이스라인의 재평가: 본 연구는 BM25가 LeCaRD-v2에서 여러 최첨단 밀집 검색 모델보다 우수한 성능을 보임을 입증하며, BM25를 대체하기보다 쿼리 재작성을 통해 이를 강화할 것을 주장합니다.
• 자기 진화 프레임워크: 저자들은 생성, 실험 계획, 제거를 통해 에이전트가 자율적으로 재작성 규칙을 최적화하는 새로운 학습 불필요(training-free) 프레임워크를 도입했습니다. 이 접근 방식은 법률 도메인에서 매우 중요한 해석 가능성과 제어 가능성을 제공합니다.
• 행동 분석: 논문은 자기 진화의 메커즘을 상세히 조사하여, LLM 에이전트의 행동 역학을 특징짓고 자기 개선 능력에 영향을 미치는 내재적 요인을 식별합니다.

실험 결과
프레임워크는 LeCaRD-v2 벤치마크에서 평가되었습니다. 주요 결과는 다음과 같습니다:

• 베이스라인 대비 성능: 고성능 코어 LLM(특히 gpt-oss-120b)을 사용할 때, 자기 진화 프레임워크는 인간이 설계한 규칙 및 탐욕적 규칙 선택(greedy rule selection) 전략을 포함한 비진화적 베이스라인들을 일관되게 능가했습니다. 이는 탐욕적 전략 대비 평균 +0.61%, 수동 설계 규칙 대비 +1.03%의 리콜 향상을 달 Achieved 했습니다.
• 모델 의존성: 프레임워크의 효과는 코어 LLM의 역량에 크게 의존합니다. 더 작은 모델(예: Qwen3-4B-Thinking)은 탐욕적 전략을 일관되게 능가하지 못했으며, 낮은 컷오프에서는 성능이 떨어지는 반면 높은 리콜 컷오프(예: Recall@500)에 과도하게 최적화되는 경ras을 보였습니다.
• 성공 메커니즘: 상세 분석 결과, 자기 진화의 성공은 점진적으로 더 효과적인 개별 규칙을 생성하는 것(이는 품질이 변동됨)보다는 다음과 같은 에이전트의 능력에 달려 있음이 밝혀졌습니다:
  • 실험 계획: 새로운 실험을 위해 고품질의 "앵커(anchor)" 조합을 선택하기 위해 과거의 결과를 효과적으로 활용하는 능력.
  • 규칙 제거: 효과 없는 규칙을 정확히 식별하고 폐기하면서 효과적인 규칙은 유지하는 능력. 이 작업에서 더 큰 모델들이 활성 규칙 세트 크기에 대해 더 나은 제어력을 보여주었습니다.

의의 및 주장
본 논문은 자기 진화형 에이전트가 광범위한 학습 데이터나 모델 미세 조정 없이도 법률 사례 검색 시스템을 해석 가능하고 적응 가능하게 강화할 수 있는 실행 가능한 경로를 제공한다고 주장합니다. 저자들은 프레임워크의 성공이 코어 LLM의 추론 능력, 특히 과거 데이터를 기반으로 실험을 계획하고 규칙 제거에 대해 보수적이고 증거 기반의 결정을 내리는 능력에 달려 있다고 강조합니다.

본 연구는 한계점을 인정하며, 이 접근 방식이 복잡한 지시사항을 따르고 대상 언어(중국어)로 일관된 텍스트를 생성하는 코어 LLM의 능력에 크게 의존한다는 점을 언급했습니다. 이러한 특정 역량이 부족한 모델은 의미 있는 규칙을 생성하지 못하거나 형식 제약을 제대로 준수하지 못했습니다. 또한, 저자들은 다른 법적 관할 구역에 적용하기 위해서는 법률 용어 및 문서 구조의 차이를 고려하여 초기화 단계에서 적절한 시드 규칙(seed rules)을 제공해야 한다고 제안합니다. 본 연구는 밀집 검색을 완전히 대체하려는 것이 아니라, 자기 진화형 규칙 기반 재작성을 기존 어휘 검색 시스템을 강화하는 강력하고 보완적인 전략으로 포지셔닝합니다.