Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

기술 요약: 인용 품질을 위한 속성 관점의 재순위화(Re-Ranking)

문제 제식
법률 질의응답(QA)을 위한 검색 증강 생성(RAG) 시스템은 일반적으로 질문과 검색된 구절 사이의 의미적 유사성에 의존하며, 상위 순위의 문서가 언어 모델(LM)이 인용하기에 가장 유용할 것이라고 가정한다. 그러나 유럽 인권 재판소(ECHR) 판례와 같은 특수 도메인에서는 이러한 가정이 실패한다. AQuAECHR 벤치마크에서, 질문과 검색된 구절 사이의 의미적 유사성은 구절의 실제 인과적 영향력을 측정하는 섭동 기반 속성 점수(perturbation-based attribution scores)와 사실상 상관관계가 없다. 결과적으로, 표준 검색기는 주제적으로는 관련이 있지만 교리적으로는 무관한 선례를 제시하여, 생성기가 제공된 문맥 대신 파라미터 메모리를 사용하여 주장을 "사후 합리화(post-rationalize)"하거나 고순위 증거를 무시하게 만든다. 또한, 의미적 유사성 기반의 순위 매기기는 후보 풀 내에서 "골드(gold)" 인용 구절을 찾아내는 데 있어 무작위 선택보다 낮은 성능을 보인다.

방법론
저자들은 섭동 기반 속성 방법을 사후 설명용으로만 사용하는 것이 아니라, 구절 재순위화를 위한 학습 신호로 재용도화하는 파이프라인을 제안한다. 이 접근 방식은 세 단계로 구성된다:

1. 속성 점수 산출(Attribution Scoring): 각 질문에 대해 GTR-T5-XL 밀집 바이엔코더(dense bi-encoder)를 사용하여 상위 10개의 구절을 검색한다. 언어 모델(Mistral-7B 또는 Llama-3-8B)이 답변을 생성하고, C-LIME(선형 섭동 기반 속성 방법)을 적용하여 모든 구절에 대한 연속적인 점수를 계산한다. 이 점수는 특정 구절이 제거되었을 때 생성된 출력이 얼마나 변하는지를 정량화하여, 모델이 의존하는 구절과 무시하는 구절을 구분한다.
2. 교차 엔코더 학습(Cross-Encoder Training): 경량 교차 엔코더(ms-marco-MiniLM-L-6-v2)가 질문-구절 쌍으로부터 이러한 연속적인 C-LIME 점수를 예측하도록 학습된다. 모델은 속성 타겟에 대해 평균 제곱 오차(MSE) 손실을 사용하여 학습된다. 이 과정은 각 언어 모델별로 수행되며 5-겹 교차 검증을 통해 반복되어, 10개의 서로 다른 재순위화 모델을 생성한다.
3. 재순위화 및 생성(Re-Ranking and Generation): 추론 시에는 검색기가 상위 50개의 구절을 가져온다. 학습된 교차 엔코더가 이 후보들의 점수를 다시 매기고, 상위 10개가 답변 생성을 위해 언어 모델에 전달된다. 이 단계는 추가적인 LLM 호출 없이 최소한의 지연 시간(전체 시간의 1% 미만)만을 추가한다.

주요 기여

1. 학습 신호로서의 속성(Attribution as a Training Signal): 본 연구는 섭동 기반 속성을 사후 설명 도구에서 구절 재순위화를 위한 학습 신호로 전환한다. 이는 인용의 충실도(faithfulness)와 골드 전문가 답변과의 정렬을 개선한다.
2. 아키텍처 대 학습 신호: 저자들은 성능 향상이 단순히 교차 엔코더 아키텍처 때문이 아니라, 속성 점수로 학습했기 때문에 발생한다는 것을 입증한다. C-LIME 학습을 거치지 않은 사전 학습된 교차 엔코더는 속성으로 학습된 모델이 달성한 인용 이득의 절반 미만을 포착한다.
3. 모델 간 수렴(Cross-Model Convergence): 서로 다른 언어 모델(Mistral 및 Llama)에서 독립적으로 학습된 두 재순위화 모델은, 원시 속성 점수의 상관관계가 0.480에 불-과함에도 불구하고 높은 일치도(스피어먼 상관계수 0.858)로 수렴한다. 이는 교차 엔코더가 모델 특유의 노이즈를 줄이고 공유된 관련성 신호를 학습하여 모델 간 전이가 가능함을 나타내지만, 동일 모델 기반의 재순위화가 여전히 더 효과적이다.

결과
AQuAECHR 벤치마크(1,116개 질문)에서 평가한 결과, C-LIME으로 학습된 재순위화 모델은 다음 6가지 지표 모두에서 베이스라인 및 사전 학습 전용 모델보다 일관되게 우수한 성능을 보였다:

• 인용 충실도(Citation Faithfulness): Mistral에서 +5.02%p, Llama에서 +2.70%p 개선되었다.
• NLI 기반 인용 유사성: Mistral에서 +6.67%p, Llama에서 +5.72%p 개선되었다.
• 골드 인용 검색: 표준 유사성 순위 매기기에서 골드 구절의 평균 순위는 50개 중 37.4위였다. 재순위화 후에는 Mistral 11.1위, Llama 12.0위로 이동했다.
• 답변 정확도: ROUGE-L, BERTScore, Claim Recall과 같은 지표는 미미한 변화(<0.5%p)를 보여, 재순위화 모델이 핵심 답변 내용을 변경하지 않으면서 인용 품질을 개선함을 나타냈다.
• 교차 모델 전이: 한 모델에서 학습되어 다른 모델에 적용된 재순위화 모델은 동일 모델 대비 인용 이득의 43~51%를 유지하였으며, 이는 전이 가능한 관련성 신호가 존재함을 확인시켜 준다.

의의 및 주장
본 논문은 검색기의 관련성과 생성기의 인용 가능성 사이의 간극을 표면적 관련성이나 자기 보고식 근거가 아닌, 구절의 영향력에 대한 행동적 척도(속성)를 학습함으로써 좁힐 수 있다고 주장한다. 저자들은 단 한 번의 오프라인 속성 실행만으로 추론 시 인용 품질을 높이는 재순위화 모델을 위한 학습 데이터를 생성할 수 있음을 강조한다.

그러나 저자들은 광범위한 함의에 대해 신중한 태도를 유지한다. 그들은 자신들의 평가가 자동화된 NLI 기반 지표에 의존하고 있으며, 이러한 개선이 실무자들에게 의미 있는 이득으로 이어지는지 확인하기 위해서는 법률 전문가의 평가가 필요하다고 언급한다. 또한, 생성기의 행동에 기반하여 재순위화를 수행하는 것이 객관적으로 관련 있는 구절을 촉진하기보다 기존 모델의 편향을 강화할 위험이 있다는 점을 인정하지만, 교차 모델 수렴 결과는 공유된 신호가 존재함을 시사한다고 덧붙였다. 본 연구는 ECHR 도메인 내에서 "속성에서 재순위화로(attribution-to-re-ranking)" 패러다임의 개념 증명으로 프레임화되었으며, 더 큰 모델 및 다른 관할권으로의 일반화 가능성은 향후 과제로 남겨두었다.