💬 NLP

Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

본 연구는 스타일로메트리 특징과 임베딩 기반 시스템을 융합함으로써 일본어 저자 식별에 우도비 프레임워크를 적용한 선구적인 사례로서, 이러한 하이브리드 접근 방식이 개별 방법론들에 비해 판별력과 보정 능력을 유의미하게 향상시킨다는 점을 입증한다.

원저자: Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 의문의 메모를 누가 썼는지 밝혀내려는 탐정이라고 상상해 보세요. 과거에 전문가들은 쉼표를 얼마나 자주 사용하는지 또는 특정 짧은 단어를 얼마나 사용하는지와 같은 글쓰기의 특정 '지문'을 찾곤 했습니다. 이것을 **문체론(Stylometry)**이라고 부릅니다.

하지만 디지털 시대에는 텍-스트를 읽고 단순히 단어를 세는 수준을 넘어, 인간이 읽는 방식과 유사하게 텍스트의 '분위기'나 맥락을 이해할 수 있는 강력한 새로운 도구인 AI 모델(구체적으로는 거대 언어 모델)이 등장했습니다.

이 논문은 연구팀이 매우 구체적인 질문을 던진 것에 관한 것입니다: 우리는 기존의 '단어 세기' 방식의 탐정 업무와 새로운 방식의 'AI 분위기 파악'을 결합하여 더 나은 답을 얻을 수 있을까? 그리고 결정적으로, 이 방식이 이 특정 법적 프레임워크로 테스트된 적이 없는 일본어에 대해서도 적용 가능한가?

다음은 이들의 실험 내용을 쉬운 비유를 사용하여 정리한 것입니다:

1. 목표: "우도비(Likelihood Ratio)" 척도

법정에서 전문가들은 단순히 "이것은 A가 쓴 것이라고 100% 확신합니다"라고 말하지 않습니다. 대신 그들은 **우도비(LR)**라고 불리는 척도를 사용합니다.

이것은 일기 예보와 비슷합니다. "비가 올 것이다"라고 말하는 대신, "비가 오지 않을 확률보다 올 확률이 10배 더 높다"라고 말하는 것과 같습니다.
연구진은 일본어 텍스트에 대해 이러한 '확률(odds)'을 제공하는 시스템을 구축하고자 했습니다.
그들은 "전통적인 방식"(문자 세기)과 "새로운 방식"(AI 임베딩)을 혼합하는 것이 일기 예보를 더 정확하게 만들 수 있는지 확인하고 싶었습니다.

2. 재료: 두 종류의 "탐정"

연구진은 일본어 블로그 게시물(약 1,000자 길이)을 분석하기 위해 두 팀의 탐정을 배치했습니다:

A팀 (문체론적 특징): 이들은 전통적인 탐정입니다. 이들은 다음과 같은 특정 요소들을 셉니다:
- 문자 바이그램(Character Bigrams): 두 특정 문자가 연속해서 나타나는 빈도 (예: "shi" 다음에 "te"가 얼마나 자주 오는가?)
- 기능어(Function Words): "the", "of" 또는 일본어 조사 "no"나 "ga"와 같은 아주 작은 단어들을 얼마나 자주 사용하는가?
- 쉼표 사용(Comma Usage): 쉼표를 어디에 찍는가? (일본어에서 쉼표 배치는 매우 개인적이고 예술적입니다.)
- 품사(Part-of-Speech): 어떤 종류의 단어(명사, 동사, 형용사 등)를 사용하는가?
- 문자 유형(Character Types): 한자, 히라가나, 가타카나를 독특하게 혼합하여 사용하는가?
B팀 (임베딩 시스템): 이들은 AI 탐정입니다. 이들은 수백만 권의 책을 읽은 초스마트 로봇과 같은 사전 학습된 AI 모델을 사용하여 텍스트를 수학적 '지문'(벡터)으로 변환합니다.
- 단어 수준 AI: 전체 단어를 바라봅니다.
- 문자 수준 AI: 개별 문자를 바라봅니다.

3. 실험: "융합" 주방

연구진은 A팀과 B팀이 따로 작업하게 두지 않았습니다. 그들은 의견을 **융합(fuse)**하기 위해 주방에 모았습니다.

그들은 **로지스틱 회귀(Logistic Regression)**라는 수학적 레시피를 사용하여 A팀의 결과와 B팀의 결과를 섞으려 시도했습니다.
이것은 마치 배심원 평의와 같습니다. 한 명의 배심원이 결정하는 대신, 5명의 전통적인 배심원과 2명의 AI 배심원의 표를 합쳐 하나의 더 강력한 판결에 도달하는 것과 같습니다.

4. 결과: "슈퍼 탐정"

논문은 **융합 시스템(The Fused System)**이 가장 뛰어난 탐정이었다고 주장합니다. 연구진이 발견한 내용은 다음과 같습니다:

AI는 강력했습니다: AI 전용 팀은 전통적인 단어 세기 팀보다 실제로 더 뛰어났습니다.
융합이 가장 강력했습니다: AI와 전통적인 방식을 결합했을 때, 시스템은 훨씬 더 좋아졌습니다.
- 더 높은 정확도: 서로 다른 두 저자를 구별하는 능력이 훨씬 뛰어났습니다.
- 더 나은 보정(Calibration): 제시된 '확률(odds)'이 더 신뢰할 만했습니다. 과잉 반응하거나 과소 반응하지 않았습니다.
- "최적의 지점(Sweet Spot)": 가장 좋은 조합은 모든 기능을 사용한 것이 아니었습니다. 그것은 문자 바이그램, 쉼표 바이그램, 문자 유형, 그리고 단어 및 문자 AI 임베딩을 포함한 특정한 혼합을 사용했습니다.

5. "실제 세계" 테스트

이것이 작동함을 증명하기 위해, 그들은 두 가지 구체적인 사례를 살펴보았습니다:

사례 1 (동일 저자): 그들은 매우 기이하고 반복적인 스타일(많은 쉼표와 특이한 구절들)을 사용하는 동일 인물의 블로그 게시물 두 개를 찾아냈습니다. 융합 시스템은 이 글들이 동일한 사람에 의해 쓰였다는 엄청난 '확률(odds)'을 제시했습니다.
사례 2 (다른 저자): 그들은 서로 다른 사람의 게시물 두 개를 찾아냈습니다. 하나는 기이하고 혼란스러웠고, 다른 하나는 표준적이고 차분했습니다. 융합 시스템은 "이들은 확실히 다른 사람들이다"라고 정확하게 말하며 매우 강한 음수 점수를 주었습니다.

6. 결론

이 논문은 이 특정 법적 프레임워크(우도비)가 일본어 텍스트에 성공적으로 적용된 첫 번째 사례입니다.

그들은 다음을 증명했습니다:

이 법적 수학 모델을 일본어에 사용할 수 있습니다.
"옛날 방식"의 세기 방법과 "새로운 방식"의 AI 방법을 섞으면, 어느 하나만을 사용할 때보다 더 정확하고 신뢰할 수 있는 시스템이 만들어집니다.

그들이 주장하지 않은 것:

이 시스템이 내일 당장 실제 법정에서 사용될 준비가 되었다고 말하지 않았습니다.
이메일이나 소셜 미디어가 아닌 (블로그만을 대상으로) 테스트했습니다.
이 시스템이 모든 유형의 일본어 글쓰기에 작동한다고 주장하지 않았으며, 테스트한 특정 블로그 발췌문들에 대해서만 언급했습니다.

요약하자면, 옛것과 새것을 섞는 것이 일본어 텍스트의 작성자를 추측하는 더 똑똑하고 신뢰할 수 있는 방법입니다.

기술 요약: 일본어 저자 식별 가능성 비율 추정을 위한 문체론적 특징 및 임베딩 시스템의 결합

문제 제식
우도비(Likelihood Ratio, LR) 프레임워크는 법과학적 증거 분석의 확립된 표준으로, 대립하는 검찰 및 변호인 가설 하에서 증거의 강도를 정량화하는 논리적으로 타당한 방법을 제공한다. 그러나 이 프레임워크를 활용한 법정 텍스트 비교(Forensic Text Comparison, FTC)는 거의 예외 없이 영어 텍스트에 국한되어 왔다. 또한, 저자 식별은 전통적으로 이산적인 문체론적 특징(예: 단어 수, 문자 n-gram)에 의존해 왔으나, 사전 학습된 대규모 언어 모델(LLM)의 등장은 문맥적 임베딩 접근 방식을 도입했다. 앙상블 학습(융합)이 자연어 처리 성능을 향상시킨다는 점은 알려져 있으나, 특히 일본어와 같이 독특한 표기 체계를 가진 비영어권 언어를 대상으로, 전통적인 문체론적 특징 시스템과 LLM 기반 임베딩 시스템을 LR 패러다임 내에서 결합하려고 시도한 선행 연구는 없었다.

연구 방법론
본 연구는 일본어 디지털 텍스트(Yahoo! 블로그에서 추출한 약 1,000자 발췌문)에 LR 프레임워크를 적용함으로써 이러한 공백을 메운다. 연구 설계는 다음 구성 요소로 이루어진다:

데이터셋: 현대 일본어 평형 코퍼스(BCCWJ)에서 유래한 2,287명의 고유 저자로부터 추출한 4,574개의 블로그 포스트 코퍼스. 데이터는 5-겹 교차 검증을 위해 훈련(Training), 검증(Validation), 테스트(Test), 교정(Calibration) 세트로 분할되었다.
시스템 아키텍처: 다음과 같이 7개의 서로 다른 시스템을 개발하고 평가하였다:
- 문체론적 특징 시스템 (5개 시스템): 카운트 기반의 이산적 입력을 처리하기 위해 디리클레-다항 분포(Dirichlet-multinomial) 모델을 사용한다. 특징으로는 문자 bigram, 기능어 unigram, 품사(POS) bigram, 쉼표 bigram(쉼표와 그 앞의 문자), 그리고 문자 유형(히라가나, 가타카나, 한자 등)이 포함된다.
- 임베딩 기반 시스템 (2개 시스템): 사전 학습된 RoBERTa 모델을 시아미즈 네트워크(Siamese networks)로 미세 조정하여 사용한다. 한 시스템은 단어 단위 토큰화(단어 임베딩)를 사용하고, 다른 시스템은 문자 단위 토큰화(문자 임베딩)를 사용한다. 점수는 코사인 거리(cosine distance)를 통해 도출된다.
점수 산출 및 교정:
- 문체론적 시스템은 검찰 가설 대 변호인 가설 하에서의 확률 비율을 기반으로 점수를 생성한다.
- 임베딩 시스템은 코사인 거리를 기반으로 유사도 점수를 생성한다.
- 모든 원시 점수는 출력값이 잘 교정된 증거 값이 되도록 로지스틱 회귀 교정을 사용하여 로그 우도비(log LR)로 변환된다.
융합 전략: 본 연구는 여러 시스템의 점수를 융합하기 위해 로지스틱 회귀를 채택한다. 이 방법은 서로 다른 증거원 간의 상관관계를 고려하면서 융합과 교정을 동시에 수행한다. 2개에서 7개 시스템의 모든 가능한 조합을 테스트하였다.

주요 결과
본 연구는 시스템 성능을 로그 우도비 비용( $C_{llr}$ )을 사용하여 평가하였으며, 이 값이 낮을수록 변별력과 교정 능력이 뛰어남을 의미한다.

개별 시스템 성능: 단일 시스템 중에서는 단어 임베딩 시스템(System 6)이 가장 우수한 성능( $C_{llr} = 0.38757$ )을 보였으며, 이는 가장 우수한 문체론적 시스템(문자 bigram, $C_{llr} = 0.47115$ )보다 높은 성능이다.
융합 성능:
- 문체론적 융합: 문자 bigram, 쉼표 bigram, POS bigram을 융합했을 때 가장 우수한 문체론적 단독 결과( $C_{llr} = 0.43964$ )를 얻었다.
- 임베딩 융합: 단어 및 문자 임베딩을 융합했을 때 성능이 $C_{llr} = 0.36186$ 으로 향상되었다.
- 이종 융합(Heterogeneous Fusion): 최적의 결과는 문자 bigram, 쉼표 bigram, 문자 유형, 단어 임베딩, 문자 임베딩의 5개 시스템을 융합했을 때 달성되었다. 이 융합 시스템은 0.32484의 $C_{llr}$ 을 기록했다.
융합의 영향: 가장 성능이 우수한 융합 시스템은 다음을 보여주었다:
1. 우수한 교정 성능 (교정 손실 $C_{llr}^{cal} \approx 0.03$ ).
2. 사실과 일치하는 LR(저자가 일치할 때)의 크기 증가 (더 강력한 증거).
3. 사실과 반대되는 LR(저자가 일치하지 않을 때)의 크기 감소 (덜 오도되는 더 약한 증거).
4. 단일 시스템 또는 동종 융합 대비 개선된 전반적인 변별력.

의의 및 주장
저자들은 본 연구가 일본어 디지털 텍스트에 LR 기반 법정 텍스트 비교 프레임워크를 적용한 첫 사례라고 주장한다. 주요 의의는 영어와 근본적으로 다른 표기 체계를 가진 언어(일본어)에 대해서도 LR 프레임워크의 적용 가능성을 입증했다는 점에 있다.

또한, 본 논문은 이종 시스템(전통적인 이산적 문체론적 특징과 현대적인 문맥적 LLM 임베딩의 결합)을 융합하는 것이 LR 패러다임 내에서 우수한 성능을 낸다는 것을 확립하였다. 결과는 개별 시스템이 각자의 강점을 가지고 있지만, 이들의 결합이 저자의 다양한 차원(예: 원시 문자 시퀀스 vs 구문 패턴 vs 의미적 문맥)을 포착하여 더욱 견고하고 변별력 있는 법과학적 증거를 생성함을 시사한다. 본 연구는 결론적으로 일본어 FTC에 LR 프레임워크가 유효하며, 다양한 모델링 접근 방식 간의 융합이 증거 강도를 높이는 핵심 전략임을 밝히고 있다.