Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

이 논문은 대규모 언어 모델 (LLM) 을 활용한 문서 내 모순 (Document Inconsistency) 탐지의 핵심 과제인 '증거 추출 (Evidence Extraction)'의 성능을 향상시키고, 이를 평가하기 위한 새로운 지표를 제안하는 연구입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Setup)

• 배경: LLM 은 방대한 데이터와 모델 크기로 인해 다양한 분야에서 우수한 성능을 보이지만, 단일 문서 내에서 발생하는 모순을 탐지하고 그 근거를 찾아내는 연구는 상대적으로 부족합니다. 특히 긴 문서에서 멀리 떨어진 모순을 인간조차 발견하기 어렵다는 심리학적 연구 결과에 착안하여 자동화 시스템의 필요성이 제기되었습니다.
• 목표: 입력된 문서 $x$가 모순을 포함하는지 분류 ($y \in \{Yes, No\}$) 하는 것뿐만 아니라, 모순이 존재할 경우 어떤 문장들이 모순의 증거인지 ($E$) 를 정확히 추출하는 것입니다.
• 한계: 기존 연구는 분류 정확도 (Accuracy, F1 등) 에 집중했으나, 모순이 있다고 판단했더라도 그 근거 (증거 문장) 를 제대로 찾지 못하면 사용자에게 도움이 되지 않습니다.

2. 주요 기여 (Key Contributions)

1. 새로운 증거 추출 지표 제안: 기존에 사용되던 'Evidence Hit Rate (EHR)'만으로는 증거 추출의 질을 평가하기에 부족하다고 판단하고, 다음과 같은 종합적인 지표를 도입했습니다.
   • Evidence Precision (EPR): 추출된 증거 중 실제 모순 문장의 비율 (거짓 양성 penalization).
   • Evidence Recall (ERR): 실제 모순 문장 중 얼마나 찾아냈는지 (부분 추출 보상).
   • EHR, EHRC, EPR, EPRC, ERR, ERRC 등 분류 정확도와 결합된 다양한 지표를 정의하여 모델의 성능을 다각도로 평가합니다.
2. 새로운 프레임워크 (Redact-and-Retry with Constrained Filter):
   • Redact-and-Retry: LLM 이 모순 문장을 찾으면 해당 문장을 문서에서 삭제 (Redact) 한 후, 남은 문서에서 다시 모순을 찾는 과정을 반복합니다. 이를 통해 검색 공간을 줄이고 순차적으로 모순을 발견합니다.
   • Constrained Filter (제약 필터): Redact-and-Retry 를 통해 수집된 증거 후보 목록을 LLM 이 다시 분석하여, 실제로 모순이라고 확신하는 문장만 선별하도록 합니다. 이때 최소 1 개의 문장은 반드시 출력하도록 제약 (Constrained) 을 두어, 초기 분류 결과 (Yes) 를 무효화하지 않도록 설계했습니다.
3. 새로운 데이터셋 (ContraDocPaired): 기존 ContraDoc 데이터셋은 모순 문장이 1 개뿐이라 증거 추출 지표 간의 차이를 분석하기 어려웠습니다. 이를 보완하기 위해 기존 데이터를 조합하여 모순 문장이 2 개인 문서로 구성된 반합성 데이터셋 (Semi-synthetic dataset) 을 구축했습니다.

3. 방법론 (Methodology)

• 알고리즘 (Algorithm 1):
  1. 문서에 대해 LLM 을 호출하여 분류 결과와 증거 집합을 얻습니다.
  2. 모순이 있다고 판단되면, 찾은 증거 문장을 문서에서 제거합니다.
  3. 수정된 문서로 다시 LLM 을 호출하여 새로운 모순을 찾습니다.
  4. 모순이 더 이상 발견되지 않을 때까지 이 과정을 반복합니다.
  5. 최종적으로 모든 반복 단계에서 찾은 증거를 합집합합니다.
• 필터링 단계: 수집된 증거 집합에 대해 '제약 필터 (Constrained Filter)'를 적용하여 불필요한 문장을 제거하고 신뢰도를 높입니다. 실험 결과, 제약 필터를 사용한 방식이 증거 추출 성능과 추출 문장 수의 균형을 가장 잘 맞추는 것으로 나타났습니다.

4. 실험 결과 (Results)

• 모델: GPT-4o(강력한 모델) 와 LLaMA3.2-90B(약한 모델) 를 사용하여 실험했습니다.
• 비교 대상: Direct Prompting (DP), Self-Consistency (S-con), Self-Criticism (S-cri) 와 제안한 **RnR+CF (Redact-and-Retry + Constrained Filter)**를 비교했습니다.
• 성능:
  • 분류 성능: 모든 방법 간 큰 차이가 없었으나, LLaMA3.2-90B 의 경우 Self-Criticism 이 성능이 낮았습니다.
  • 증거 추출 성능: RnR+CF 가 모든 지표 (EPR, ERR, EHR 등) 에서 가장 우수한 성능을 보였습니다. 특히 불필요한 문장을 많이 추출하는 경향을 보인 다른 방법들과 달리, RnR+CF 는 정확한 증거를 최소한의 문장으로 추출하여 효율성이 뛰어났습니다.
  • 데이터셋 영향: ContraDocPaired(증거 2 개) 에서도 동일한 우세한 성능을 입증하여, 증거 개수가 늘어나도 확장성이 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용성: 문서 모순 탐지 시스템이 단순히 "모순이 있다"고 말하는 것을 넘어, 사용자가 검증할 수 있는 명확한 근거를 제공하는 데 중점을 두었습니다.
• 평가 체계: 분류 정확도뿐만 아니라 증거 추출의 정밀도와 재현율을 함께 고려하는 새로운 평가 체계를 정립하여, 향후 관련 연구의 표준이 될 수 있는 기반을 마련했습니다.
• 데이터셋 기여: 모순 문장이 여러 개인 복잡한 상황을 평가할 수 있는 ContraDocPaired 데이터셋을 공개하여, 향후 연구의 확장을 도모했습니다.

결론적으로, 본 논문은 LLM 을 이용한 문서 모순 탐지에서 증거 추출의 질을 극대화하기 위한 새로운 메커니즘 (Redact-and-Retry + Constrained Filter) 과 평가 기준을 제시하며, 실제 금융 및 법률 문서와 같은 고신뢰도 분야에서 LLM 의 활용 가능성을 높였다는 점에서 의의가 큽니다.