허먼 멜빌은 19 세기 미국의 대문호로, <모비딕> 같은 걸작을 썼습니다. 그는 책을 좋아해서 직접 서재를 꾸몄고, 읽은 책에 날짜와 장소를 적어두는 습관이 있었습니다.
연구자들은 "멜빌이 쓴 소설 속에, 그가 읽었던 책들의 흔적이 얼마나 남아 있을까?" 라는 질문을 던졌습니다. 하지만 멜빌이 읽은 책과 쓴 책은 수백 권에 달하고, 문장 하나하나를 사람이 일일이 비교하는 것은 불가능에 가깝습니다. 그래서 컴퓨터 (인공지능) 를 고용해 이 거대한 퍼즐을 맞추기로 했습니다.
🔍 방법론: "유령 찾기 게임"
연구자들은 두 가지 방식으로 텍스트를 잘게 쪼개서 비교했습니다.
5-gram (5 단어 덩어리) 분석:
비유: 마치 레고 블록을 5 개씩 묶어서 비교하는 것입니다.
"하늘은 파랗다"라는 문장이 있다면, "하늘은 파", "늘은 파", "은 파란"처럼 5 단어가 겹치는지 봅니다.
장점: 아주 작은 문구 (구절) 의 복사나 변형을 찾아내는 데 탁월합니다. 멜빌이 원문을 그대로 가져와서 조금만 고친 경우를 잡아냅니다.
문장 단위 (Sentence) 분석:
비유:한 장의 사진을 통째로 비교하는 것입니다.
단어의 정확한 일치보다는 "이 문장의 의미가 저 문장과 비슷하냐?"를 봅니다.
장점: 멜빌이 원문의 내용을 가져와서 완전히 새로운 문장으로 바꿨을 때 (개념적 차용) 그 연결고리를 찾아냅니다.
🤖 도구: "BERTScore (비트스코어)"라는 마법 안경
이 연구에서 사용한 핵심 도구는 BERTScore라는 인공지능 기술입니다.
기존 방식의 한계: 예전에는 "단어가 몇 개나 똑같은가?"만 세었습니다. 하지만 멜빌은 남의 글을 가져와서 자신만의 스타일로 다듬어 썼기 때문에 단어가 달라져도 의미는 똑같은 경우가 많습니다.
BERTScore 의 역할: 이 안경을 쓰면 단어의 겉모습이 달라도, '의미'가 통하는지를 알아챕니다. 마치 "사과"와 "과일"이라는 단어가 달라도, 둘 다 "빨갛고 둥글고 맛있는 것"이라는 공통점을 알아채는 것처럼요.
📊 결과: 컴퓨터가 발견한 놀라운 사실
연구진은 컴퓨터가 찾아낸 결과를 전문가들이 직접 확인했습니다.
기존에 알려진 사실을 확인:
멜빌이 <타이피>를 쓸 때, 스토크가 쓴 <남해 방문기>에서 영감을 받았다는 것은 이미 알려져 있었습니다. 컴퓨터는 이 부분을 정확히 찾아냈습니다. (예: "여러 명의 남편"이라는 표현이 두 책에서 거의 똑같이 나타남)
새로운 연결고리 발견:
컴퓨터는 전문가들이 미처 눈치채지 못했던 숨은 연결고리도 찾아냈습니다.
특히 멜빌이 <이스라엘 포터>를 쓸 때, 원작자의 글을 거의 그대로 베껴서 썼다가, 나중에는 상상력을 더해 자유롭게 변형해 나가는 과정을 정량적으로 보여주었습니다.
흥미로운 차이점:
5-gram 분석은 "이 문장, 원문과 단어 5 개가 똑같네!"라고 정확한 복사를 찾아냈습니다.
문장 단위 분석은 "이 문장은 원문의 내용을 바탕으로 하지만, 멜빌이 훨씬 더 극적으로 표현했네!"라고 창의적인 변형을 포착했습니다.
주의할 점: 가끔 컴퓨터가 "낮에 일꾼을 방문했다" 같은 아주 흔한 문장을 보고 "오! 이건 원문과 비슷해!"라고 잘못 판단하기도 했습니다. (이것은 '거짓 양성'이라고 합니다.)
💡 결론: 왜 이 연구가 중요할까?
이 연구는 "컴퓨터가 문학 비평을 대체할 수는 없지만, 비평가에게 아주 유용한 나침반이 될 수 있다" 는 것을 보여줍니다.
과거: 학자들이 수백 권의 책을 뒤지며 "혹시 이 책과 저 책이 비슷하지 않을까?"라고 눈으로만 찾아야 했습니다.
현재와 미래: 컴퓨터가 먼저 "이 두 문장은 의미적으로 매우 비슷해요!"라고 알려주면, 학자들은 그 부분을 집중해서 "멜빌이 왜 이렇게 바꿨을까? 어떤 의도가 있었을까?" 를 깊이 있게 탐구할 수 있게 됩니다.
한 줄 요약:
이 논문은 인공지능을 이용해 허먼 멜빌의 머릿속에 숨겨진 '독서 흔적'을 찾아내는 성공적인 시도로, 컴퓨터가 문학의 숨은 연결고리를 찾아주면, 인간은 그 연결고리가 만든 예술적 가치를 더 깊이 이해할 수 있다는 것을 증명했습니다.
1. 연구 문제 (Problem)
문학적 영향 관계 규명의 어려움: 문학 작품 간의 유사성은 저자의 의식적/무의식적 영향, 공유된 아이디어, 문체적 관습 등 다양한 원인으로 발생할 수 있습니다. 역사적 문헌의 경우, 저자가 생애 동안 접했을 가능성이 있는 방대한 텍스트 데이터는 수동으로 분석하기에는 너무 방대하여, 어떤 자료가 실제 영향을 미쳤는지 파악하는 데 심각한 장애물이 됩니다.
기존 방법론의 한계: 전통적인 영향 연구는 학자의 정밀 독해 (close reading) 에 의존합니다. 그러나 이는 시간 소모가 크고 체계적인 대규모 분석이 어렵습니다. 또한, 기존 텍스트 유사성 도구 (표면적 단어 일치 위주) 는 문학적 영향이 종종 단어의 재사용이 아닌, 의미의 변형 (paraphrasing) 이나 개념적 차용을 통해 이루어진다는 점을 포착하지 못합니다.
연구 목표: 허먼 멜빌 (Herman Melville) 의 저작과 그가 소유하거나 읽은 것으로 알려진 책들 간의 **의미적 유사성 (Semantic Similarity)**을 계산적 방법으로 분석하여, 문학적 영향의 흔적을 자동으로 식별하고 학자들이 추가적인 정성적 분석을 수행할 수 있는 후보 구간을 발굴하는 것입니다.
2. 방법론 (Methodology)
이 연구는 멜빌의 저작과 그의 도서관 소장품 (또는 기록된 독서 목록) 간의 텍스트를 비교하는 파이프라인을 구축했습니다.
데이터 수집:
대상: 허먼 멜빌의 주요 작품 (예: Typee, Moby Dick, Israel Potter 등) 과 그가 소유/독서한 것으로 알려진 원천 텍스트 (예: C.S. Stewart 의 A Visit to the South Seas, Thomas Beale 의 The Natural History of Sperm Whale 등).
출처: Project Gutenberg 및 Internet Archive 에서 디지털화된 텍스트를 확보했습니다.
Ground Truth: 기존 학계 (Olsen-Smith, Bercaw 등) 에서 이미 영향 관계가 입증된 4 가지 텍스트 쌍을 선정하여 실험의 기준 (Ground Truth) 으로 사용했습니다.
텍스트 분할 (Segmentation Strategies):
5-gram 분할: 겹치지 않는 (non-overlapping) 5 개의 연속된 단어로 구성된 구문을 생성합니다. 이는 국소적인 어휘적 중첩과 짧은 구의 차용을 포착하기 위함입니다.
문장 단위 분할: 문장 경계를 기준으로 텍스트를 분할합니다. 이는 더 큰 의미 단위와 문맥 정보를 보존하기 위함입니다.
유사도 측정 (Similarity Metric):
BERTScore 사용: 전통적인 BLEU 나 ROUGE 와 달리, 사전 학습된 트랜스포머 모델 (Microsoft/deberta-xlarge-mnli) 이 생성한 컨텍스트화된 토큰 임베딩 (contextualized token embeddings) 을 기반으로 유사도를 계산합니다.
지표: 정밀도 (Precision), 재현율 (Recall), F1 점수를 산출합니다.
해석 방식: 고정된 임계값 (threshold) 을 기준으로 '표절' 여부를 판단하는 것이 아니라, 상대적으로 높은 점수가 의미 있는 정렬 (semantic alignment) 의 신호로 작용하여 학자의 정성적 검토가 필요한 구간을 식별하는 데 활용합니다.
알고리즘: 입력된 텍스트 쌍을 분할 모드 (5-gram 또는 문장) 에 따라 처리하고, 모든 가능한 쌍에 대해 BERTScore 를 계산하여 CSV 형식의 점수화된 결과를 생성합니다.
3. 주요 기여 (Key Contributions)
BERTScore 의 문학적 적용: 기계 번역 평가 도구로 개발된 BERTScore 를 문학적 영향 연구 (Source and Influence Studies) 에 적용하여, 저자의 독서가 저작에 미친 잠재적 영향을 탐구하는 새로운 도구로 위치시켰습니다.
실현 가능성 연구 (Feasibility Study): 멜빌의 저작과 그가 읽은 텍스트 간의 선택된 구절을 비교하여, 의미적 유사도 측정이 기존 학계에서 식별된 중첩 사례를 포착할 수 있음을 입증했습니다.
다양한 분석粒度 (Granularity) 비교: 5-gram(구문 수준) 과 문장 수준의 분석을 통해 서로 다른 텍스트 분할 전략이 유사도 탐지에 미치는 영향을 비교하고, 각각의 장단점을 규명했습니다.
새로운 발견: 기존 학계에서 알려지지 않았거나 주목받지 못했던 잠재적 영향 구간을 모델이 추가로 발견하여, 향후 정성적 연구의 방향성을 제시했습니다.
4. 실험 결과 (Results)
전문가 식별 사례의 검증:
학자들이 이미 영향 관계가 있다고 밝힌 텍스트 쌍 (예: Typee 와 Stewart 의 책) 에서 BERTScore 는 높은 유사도 점수 (F1 점수 0.6 이상, 특정 5-gram 에서 0.77) 를 기록하여 기존 지식을 계산적으로 재확인했습니다.
세분화된 패턴:
문장 대 문장: 한 문장이 다른 한 문장에 직접 영향을 받은 경우 (예: Israel Potter) 높은 유사도 점수를 보였습니다.
문장 대 다중 문장: 한 문장이 원문의 여러 문장에서 아이디어를 차용하거나 확장한 경우 (예: Moby Dick 와 The Natural History of Sperm Whale), 개별 문장 비교 시 점수가 낮아지는 '희석 효과 (diluted signal)'가 관찰되었습니다. 이는 아이디어가 분산되어 표현되었기 때문입니다.
모델이 발견한 새로운 유사성:
Israel Potter와 원전 텍스트 비교에서, 학자가 명시적으로 언급하지 않았던 구간에서도 높은 정밀도 (Precision) 를 보이는 유사성이 발견되었습니다.
오류 (False Positive) 발견: "About noon the knight visited his workmen"과 같이 짧고 일반적인 문장은 다양한 맥락에서 높은 유사도 점수를 받아 위양성 (false positive) 을 유발할 수 있음을 확인했습니다. 이는 모델의 한계로 지적되었습니다.
분할粒度 비교:
5-gram: 국소적인 어휘적 중첩과 짧은 구의 차용을 탐지하는 데 효과적이었습니다.
문장 단위: 더 넓은 문맥적 관계를 파악할 수 있으나, 문장 길이 차이로 인해 정밀도와 재현율의 변동성이 컸습니다.
결론: 두 방법을 병행하여 사용하는 것이 미시적 (구문) 과 거시적 (주제) 유사성을 모두 포착하는 데 가장 효과적입니다.
5. 의의 및 의의 (Significance)
계산적 인문학의 새로운 패러다임: 이 연구는 단순한 표절 탐지를 넘어, 저자가 원천 텍스트를 어떻게 재해석하고 변형하여 창작했는지를 체계적으로 발견하고 평가하는 학문적 질문을 해결할 수 있는 계산적 프레임워크를 제시합니다.
멜빌 연구의 심화: 멜빌은 원천 텍스트를 차용할 때 문장을 재작성하고 개선하는 특징이 있는데, BERTScore 는 표면적 일치뿐만 아니라 의미적 유사성을 포착함으로써 이러한 창작 과정을 밝히는 데 유용합니다.
향후 연구의 기반: 이 연구는 대규모 코퍼스 분석으로 확장할 수 있는 기초를 마련했으며, 향후 더 정교한 분할 전략 (구문, 단락 수준) 과 일반적 문장 필터링 기법을 도입하여 정확도를 높일 수 있는 방향을 제시했습니다.
요약하자면, 이 논문은 BERTScore 를 활용하여 허먼 멜빌의 독서와 저작 간의 의미적 연결을 계산적으로 분석함으로써, 전통적인 문학 연구 방법을 보완하고 새로운 영향 관계를 발견할 수 있는 강력한 도구를 제시했습니다.