Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

당신이 거대한 고대 도서관에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 이 미스터리는 무엇일까요? 바로 어떤 오래된 이야기들이 후대의 작가들에 의해 비밀스럽게 복제되었거나, 수정되었거나, 혹은 은밀하게 언급되었는지를 밝혀내는 것입니다. 라틴 문학의 세계에서 이를 '상호텍스트성(intertextuality)'이라고 부릅니다. 수 세기 동안 학자들은 수천 개의 먼지 쌓인 두루마리를 직접 손으로 읽어야 했으며, 제롬(기독 Christian 수도사) 같은 작가가 베르길리우스(이교도 시인)의 멋진 구절을 몰래 빌려온 것을 알아내기 위해 오로지 기억력에 의존해야 했습니다.

하지만 여기 문제가 있습니다. 작가들은 단순히 복사해서 붙여넣기를 한 것이 아니었습니다. 그들은 단어의 순서를 바꾸거나, 유의어로 교체하거나, 참조 흔적을 너무 잘 숨겨 놓아서 단순한 "이 단어를 찾아라" 식의 검색 도구로는 찾아낼 수 없게 만들었습니다. 이는 마치 노래의 템포와 가사를 약간 바꾼 뒤, 몇 마디 흥얼거림만으로 플레이리스트에서 특정 곡을 찾으려는 것과 같습니다.

이 문제를 해결하기 위해 컴퓨터 과학자들과 라틴어 전문가 팀이 만든 새로운 디지털 도구, Loci Similes가 등장했습니다. 이것을 도서관의 거대하고 초정밀하게 정리된 "치트 시트(요약 노트)"라고 생각하십시오.

거대한 도서관과 치트 시트

연구팀은 약 176,000개의 작은 텍스트 조각들을 포함하는 데이터셋을 구축했습니다. 이들은 이를 두 그룹으로 나누었습니다:

1. "쿼리(질의)" 그룹: 나중에 쓰인 텍스트들 (제롬, 락탄티우스스, 발레리우스 플라쿠스 등의 저작).
2. "소스(원천)" 그룹: 더 이전에 쓰인 고전들 (키케로, 베르길리우스, 오비디우스, 호라티우스 등).

컴퓨터 도구가 실제로 학습하고 있는지 확인하기 위해, 연구진은 인간 전문가들이 실제라고 검증한 1,490개의 구체적인 연결 고리를 담은 "그라운드 트루스(정답)" 치트 시트를 만들었습니다. 이는 마치 전문가들이 "제롬의 책에 있는 이 문장은 확실히 베르길리우스의 이 문장을 인용한 것이다"라고 확인해 준 정답지와 같습니다.

위대한 컴퓨터 경주

연구진은 다음과 같은 질문을 던졌습니다: 컴퓨터가 기존의 전통적인 검색 도구보다 이러한 숨겨진 연결 고리를 더 잘 찾아낼 수 있을까?

그들은 세 가지 유형의 컴퓨터 모델을 대상으로 경주를 진행했습니다:

1. "단어 계산기" (어휘 모델, Lexical Models): 정확한 단어나 단어의 어근을 찾습니다. 이는 두 책에 똑같은 단어가 나타나는지만 확인하는 사서와 같습니다.
2. "깊은 사고가" (밀집 신경망 모델, Dense Neural Models): 고급 AI를 사용하여 단어가 다르더라도 문장의 의미를 이해합니다. 이는 이야기의 분위기를 이해하는 탐정과 같습니다.
3. "2단계 팀" (검색 및 재순위화, Retrieve-and-Rerank): 이 팀은 먼저 "단어 계산기"를 사용하여 용의자 명단을 뽑아낸 다음, "깊은 사고가"를 사용하여 그들을 재검토합니다.

발견된 사실 (반전)

여기서 이야기는 흥ensiting해집니다. 결과가 모두의 예상과는 달랐기 때문입니다.

1. "깊은 사고가"가 첫 번째 라운드에서 승리하지 못했습니다.
의미를 이해하는 화려한 AI가 숨겨진 참조를 찾는 데 가장 좋을 것이라고 생각할 수 있습니다. 하지만 논문에 따르면, 라틴어의 경우 전통적인 방식인 "단어 계산기"(특히 어근을 사용하는 BM25 방식)가 첫 번째 단계에서 더 나은 성능을 보였습니다.

• 이유: 라틴어는 문법에 따라 변화하는 복잡한 단어 어미를 가지고 있습니다. 화려한 AI는 이러한 변화 때문에 혼란을 겪기도 했지만, "단어 계산기"는 이러한 변화를 제거하고 핵심 단어를 찾아내는 데 능숙했습니다.
• 결과: "단어 계산기"는 상위 100개의 후보를 살펴볼 때 직접적인 단어 일치(verbatim references)를 약 78% 찾아냈습니다. 화려한 AI 모델들도 근접한 성적을 냈지만, 이를 뛰어넘지는 못했습니다.

2. "깊은 사고가"는 어려운 과제를 위해 필요합니다.
"단어 계산기"는 직접적인 복제본을 찾는 데는 뛰어났지만, 알레고리(allusions)(단어는 완전히 다르지만 의미가 유사한 미묘한 암시)를 찾는 데는 처참하게 실패했습니다.

• 문제: 만약 제롬이 베르길리우스의 느낌을 주면서도 완전히 다른 단어를 사용하여 문장을 썼다면, "단어 계산기"는 아무런 연결 고리도 발견하지 못합니다.
• 해결책: "깊은 사고가"(특히 XLM-R Large라는 모델)는 이러한 미묘하고 겹침이 적은 연결 고리를 포착하는 데 훨씬 뛰어났습니다. 이 모델은 "단어는 다르지만, 이 두 문장은 동일한 공포스러운 감정을 말하고 있다"는 것을 알아챌 수 있었습니다.

3. 승리 전략: "2단계 팀".
논문은 이 미스터리를 해결하는 최선의 방법이 단 하나의 모델을 선택하는 것이 아니라, 팀을 구성하는 것이라고 제안합니다.

• 1단계: "단어 계산기"를 사용하여 도서관 전체를 스캔하고 모든 쿼리에 대해 가장 가능성 높은 용의자 100명을 뽑아냅니다.
• 2단계: 그 명단을 "깊은 사고가"에게 전달하여 실제 참조인지 아니면 단순한 우연인지 결정하게 합니다.
• 결과: 이 팀 접근 방식은 실제 숨겨진 참조의 **63%**를 회복하는 동시에, 인간 학자가 읽어야 할 목록을 **97%**나 줄였습니다. 이는 백만 개의 바늘이 든 건더미를 1,900개의 바늘이 든 작은 바구니로 바꾸는 것과 같으며, 연구 작업을 훨씬 쉽게 만들어 줍니다.

이 논문이 배제하는 것들

저자들은 무엇이 효과적이지 않은지에 대해서도 매우 명확하게 밝히고 있습니다:

• 화려한 AI만 사용하는 것은 충분하지 않습니다. 만약 좋은 첫 번째 필터 없이 "깊은 사고가"에만 의존한다면, 많은 연결 고리를 놓치게 됩니다.
• 단순한 단어 매칭만 사용하는 것도 충분하지 않습니다. 단어만 본다면, 가장 흥미로운 부분인 미묘하고 영리한 참조들을 놓치게 됩니다.
• 이것은 "해결된" 문제가 아닙. 논문은 이러한 미묘한 연결을 찾는 것이 여전히 "도전적인 과제"라고 명시적으로 밝히고 있습니다. AI는 뛰어나지만, 특히 연결이 매우 짧거나 단어가 매우 다를 때 여전히 실수를 범합니다.

결론

이 논문은 AI가 고대 문학을 연구하는 강력한 새로운 도구이지만, 모든 것을 즉시 해결해 주는 마법 지팡이는 아니라고 시사합니다. 현재 가장 좋은 접근 방식은 하이브리드 방식입니다. 즉, 단순하고 빠른 도구를 사용하여 검색 범위를 좁힌 뒤, 스마트하고 깊이 있는 딥러닝 도구를 사용하여 최종 판단을 내리는 것입니다.

저자들은 자신들의 데이터셋이 완벽하지 않다는 점(세상에 존재하는 모든 연결을 담은 것은 아님)과, 무엇이 "참조"에 해당하는지 정의하는 것이 인간에게도 까다로울 수 있다는 점을 인정합니다. 하지만 1,490개의 전문가 검증 사례와 Loci Similes라는 새로운 벤치마크를 통해, 그들은 미래의 연구자들이 더 나은 도구를 구축할 수 있는 견고한 출발선을 제공했습니다. 고대 도서관의 미스터리는 여전히 풀리고 있는 중이지만, 이제 우리는 훨씬 더 좋은 손전등을 갖게 되었습니다.