Normalisation-Based Likelihood Ratio Estimation for Forensic Authorship Verification

기술 요약: 법정 저자 확인을 위한 정규화 기반 우도비 추정

문제 정의
법의학적 맥락에서의 저자 확인(Authorship Verification, AV)은 두 텍스트가 동일한 저자를 공유하는지 여부를 결정하는 것을 목표로 한다. 증거를 평가하기 위한 법적 표준은 검찰 가설($H_p$)과 변호 가설($H_d$) 하에서의 상대적 확률을 정량화하는 우도비(Likelihood Ratio, LR) 프레임워크이다. 점수 기반의 AV 방법들이 존재하지만, 이들은 일반적으로 신뢰할 수 있는 경험적 빈도를 반영하지 못하는 미교정 유사도 점수나 가공되지 않은 우도비를 출력한다. 이러한 점수들을 유효한 법의학적 증거로 해석 가능하게 만들기 위해서는 별도의 교정 모델—가장 흔하게는 로지스틱 회귀—이 필요하다. 이 교정 과정은 동일 출처 및 상이 출처의 텍스트 쌍을 포함하는 대규모의 사례별 데이터셋을 필요로 하며, 이는 구성하기 어렵고 시간이 오래 걸리며 비용이 많이 든다. 또한, 교정 데이터의 선택에는 앵커링 전략(anchoring strategies)과 같은 주관적인 전문가의 결정이 개입되어 추가적인 검증이 필요하며, 이는 과정의 복잡성과 불투명성을 더한다.

방법론
본 연구는 n-gram 언어 모델링에 기반한 최첨단 이진 외적(extrinsic) AV 방법인 LambdaG가 생성하는 가공되지 않은 점수가 별도의 학습 모델 없이도 잘 교정된 LR로 변환될 수 있는지 조사한다. 저자들은 LambdaG의 가공되지 않은 점수($\lambda_G$)가 독립적인 토큰 수준 기여도를 합산하는 방식에 의존하기 때문에 "점수 인플레이션(score inflation)"을 겪는다고 가설을 세웠다. 이러한 집계 방식은 특징들 사이의 조건부 독립성을 가정하지만, 자연어는 반복성으로 인해 이 가정을 위반한다. 결과적으로, 긴 텍스트나 반복성이 높은 텍스트는 불균형적으로 높은 점수를 축적하여 증거의 강도를 과장하게 된다.

이를 해결하기 위해, 본 논문은 가공되지 않은 $\lambda_G$ 점수를 직접 스케일링하는 두 가지 새로운 정규화 기법을 제안한다:

1. 제곱근 교정(Square Root Correction): 이 방법은 질문된 문서(questioned document)의 토큰 수($N(Q)$)의 제곱근으로 점수를 스케일링한다. 이는 집계된 특징의 분산이 종종 $\sqrt{N}$에 비례하여 성장한다는 통계적 원리에 근거한다. 공식은 다음과 같다:
   $$\Lambda_G = \frac{\lambda_G}{\sqrt{N(Q)}}$$
   이는 추가적인 토큰이 긴 텍스트에서 독립적인 증거적 가중치에 대해 수렴하는 한계 효용을 갖는다는 점을 인정함으로써, 텍est 길이에 의한 인플레이션을 완화하는 것을 목표로 한다.

2. 하팍스 교정(Hapax Correction): 이 방법은 어휘 다양성과 중복성을 나타내는 척도를 포함한다. 이 방법은 하팍스 레고메나(hapax legomena, 단 한 번만 나타나는 단어, $V_1(Q)$)를 전체 토큰 수($N(Q)$)로 나눈 비율로 점수를 스케일링한다. 공식은 다음과 같다:
   $$\Lambda_G = \lambda_G \times \frac{V_1(Q)}{N(Q)}$$
   이 교정은 반복되는 패턴의 중복성을 겨냥한다. 다양성이 낮은(높은 반복성을 가진) 텍스트에서는 이 비율이 낮아지며, 이는 인위적인 인플레이션을 상쇄하기 위해 점수를 감소시킨다. 이는 텍스트 길이가 증가함에 따라 어휘의 하위 선형적 성장을 설명하는 헤르단-힙의 법칙(Herdan-Heap's Law)과 일치한다.

실험 프로토콜
저자들은 15개의 다양한 코퍼스(학술 논문, 뉴스, 블로그, 리뷰, 포럼, 이메일, 채팅 로그, 트윗 포함)를 대상으로 로지스틱 회귀 교정이라는 표준 베이스라인에 대해 이 교정 기법들을 평가하였다. 평가는 로그 우도비 비용($C_{llr}$) 지표를 사용하여 수행되었으며, 이 값이 낮을수록 교정 및 변별력이 우수함을 의미한다.

• 데이터: 연구에는 13,146개의 저자 확인 문제가 포함되었다.
• 변수: Avocado, Twitter, Bolt 코퍼스의 일부에 대해, 저자들은 질문된 텍스트($Q$)와 알려진 저자의 텍스트($K$)의 길이를 100에서 9,500 토큰까지 체계적으로 변화시켜 텍스트 길이에 따른 견고성을 테스트하였다.
• 베이스라인: 각 코퍼스의 데이터 40~50%에 대해 로지스틱 회귀 모델을 학습시키고 나머지 데이터로 테스트하였다. 제안된 정규화는 학습 없이 가공되지 않은 점수에 직접 적용되었다.

주요 결과

• 전반적인 성능: 15개 코퍼스 전반에 걸쳐, 하팍스 교정이 45.4%의 테스트에서 로지스틱 회귀 교정보다 우수한 성능을 보였다. 로지스istic 회귀가 더 나은 성능을 보인 나머지 경우에서도, 하팍스 교정의 성능은 56.91%의 사례에서 베이스라인과 5% 이내의 차이를 보였다.
• 텍스트 길이 견고성:
  • 긴 텍스트(예: $K > 5,500$ 토큰인 Avocado 및 Twitter)의 경우, 로지스틱 회귀가 더 안정적인 파라미터 추정을 통해 약간 더 낮은 피크 $C_{llr}$ 값을 달성하는 경우가 많았다. 그러나 하팍스 교정은 이러한 조건에서도 일관되게 잘 교정된 LR($C_{llr} < 0.1$)을 생성하였다.
  • 짧은 텍스트의 경우, 하팍스 교정이 로지스틱 회귀보다 자주 더 나은 성능을 보였으며, 이는 데이터가 부족할 때 더 높은 견고성을 입증한다.
  • 제곱근 교정은 일반적으로 하팍스 교정 및 로지스틱 회귀 모두에 의해 성능이 뒤처졌으나(70% 이상의 테스트에서 패배), 가공되지 않은 점수보다는 개선된 결과를 제공하였다.
• 이상 현상: 로지스틱 회귀 교정은 작은 교정 세트(예: Twitter, Avocado)를 가진 데이터셋에서 간혹 오해의 소지가 있는 결과($C_{llr} > 1$)를 생성하였는데, 이는 노이즈에 대한 민감도와 과적합을 시사한다. 제안된 정규화 방식은 더 낮은 변동성과 더 높은 안정성을 보였다.
• Bolt 코퍼스(짧은 텍스트): 매우 짧은 텍스트(100–500 토큰)를 포함하는 SMS/채팅 코퍼스에서는 제곱근 교정이 하팍스 교정보다 84%의 조건에서 더 우수한 성능을 보였다. 이는 어휘 성장이 급격한 극도로 짧은 샘플에서는 하팍스 비율이 노이즈가 심하고 신뢰하기 어렵기 때문인 것으로 보인다.

의의 및 주장
본 논문은 이러한 정규화 기법이 LambdaG 방법론에 대해 로지스틱 회귀 교정과 기능적으로 동등하면서도 더 단순한 대안을 제공한다고 주장한다. 주요 의의는 교정 모델의 제거에 있으며, 이는 다음을 실현한다:

1. 데이터 요구량 감소: 확보하기 어려운 대규모의 사례별 학습 데이터셋이 필요하지 않다.
2. 투명성 증대: "불투명한" 로지스틱 회귀 변환을 어휘 통계 및 사용 기반 언어 이론에 근거한 단순하고 해석 가능한 수학적 교체로 대체한다.
3. 접근성 향상: 교정된 LR의 도출 과정을 더 단순하게 만들어, 전문가들이 접근하기 쉽고 법적 사실 확인자들에게 설명하기 용이하게 만든다.

저자들은 하팍스 교정이 로지스틱 회귀를 보편적으로 압도하지는 못하더라도, 다양한 텍스트 길이와 레지스터(register)에 걸쳐 대등한 성능을 유지할 수 있다는 점에서, 모델 학습의 계산적 및 데이터적 부담 없이 영어 텍스트를 위한 법의학적 환경에서 채택될 가치가 있다고 결론짓는다. 이 연구는 이러한 교정 기법이 반복되는 언어적 패턴의 감소하는 증거 가치를 효과적으로 모델링하며, 표준적인 교정 방식보다 이 특정 범주의 AV 방법론에 대해 더 과학적으로 타당한 접근 방식을 제공한다고 상정한다.