우리가 살면서 시를 대할 때, 단순히 "이 시가 무슨 뜻이야?"라고 묻는 것보다 더 복잡한 상황이 많습니다.
상황: 친구가 "어, 저기 '이슬' 같은 눈물'이라고 했잖아?"라고 말하면, 우리는 바로 그다음 구절을 외워서 "아, '달빛' 같은 얼굴'이지!"라고 맞받아칩니다.
문제: 인공지능 (LLM) 이 시의 **뜻 (의미)**은 잘 이해하지만, 정작 **원문 그대로 (형식)**를 기억해 내는 데는 서툰 경우가 많습니다. 마치 노래 가사의 의미를 이해하면서도 정확한 가사를 외우지 못하는 것과 비슷하죠.
🔍 2. 새로운 시험지: '가잘 (Ghazal) 벤치마크'
연구진은 이 문제를 해결하기 위해 **'가잘벤치 (GhazalBench)'**라는 새로운 시험지를 만들었습니다.
대상: 페르시아의 시인 '하페즈'의 시 (가잘) 입니다. 하페즈는 페르시아 문화에서 마치 한국의 '김유정'이나 '이순신'처럼 일상 대화에서 자주 인용되는 거장입니다.
시험 방식: AI 에게 두 가지 종류의 문제를 냈습니다.
해석하기: 시를 읽고 "이 시는 무슨 뜻이야?"라고 물으면, 쉬운 말로 설명하게 합니다. (의미 이해)
완성하기: 시의 첫 구절만 주고 "다음 구절은 뭐야?"라고 물어서 정확히 맞추게 합니다. (기억력 테스트)
📊 3. 놀라운 결과: "의미는 천재, 기억은 초보"
시험 결과를 보니 AI 들의 모습이 매우 재미있게 드러났습니다.
의미 이해 (해석하기): AI 들은 하페즈의 시가 무슨 뜻인지 아주 잘 설명했습니다. "아, 이 시는 사랑이 어렵다는 뜻이구나"라고 정확히 파악했습니다.
기억력 (완성하기): 하지만 "첫 구절만 줬을 때 다음 구절을 정확히 외워내라"고 하면, AI 들은 엉뚱한 말을 하거나 틀린 구절을 만들어냈습니다.
비유: 마치 노래의 가사 의미를 완벽하게 이해하는 사람이 있지만, 노래를 틀어놓고 가사를 따라 부르는 건 엉망인 사람과 같습니다.
🧠 4. 왜 이런 일이 일어날까? (기억 vs 인식)
연구진은 이 차이를 **'기억 (Recall)'**과 **'인식 (Recognition)'**의 차이로 설명합니다.
기억 (Recall): 아무 힌트 없이 머릿속에서 시를 떠올려 말해내는 것. (AI 는 이게 매우 약함)
인식 (Recognition): 여러 가지 보기 중에서 정답을 고르는 것. (AI 는 이게 훨씬 잘함)
실험: AI 에게 "다음 구절이 A, B, C 중 하나야. 고르라"고 했을 때, AI 는 정답을 아주 잘 골랐습니다.
결론: AI 는 시를 '외워서' 말하는 게 아니라, 주어진 보기에서 가장 그럴듯한 답을 찾아내는 능력은 뛰어납니다.
🌍 5. 영어 시 (셰익스피어) 와 비교: 데이터의 힘
연구진은 "페르시아어라서 그런가?"를 확인하기 위해 영어 시 (셰익스피어) 로도 같은 실험을 했습니다.
결과: 영어 시에서는 AI 들이 훨씬 잘 외워냈습니다.
이유: AI 가 배운 데이터 (훈련 자료) 에 영어 시는 엄청나게 많지만, 페르시아 시는 상대적으로 적기 때문입니다.
비유: AI 는 영어를 공부한 학생은 시를 많이 읽어서 외우고 있지만, 페르시아어를 공부한 학생은 책이 부족해서 외우기 힘들어하는 상황입니다. AI 의 구조 (두뇌) 가 나쁜 게 아니라, 공부한 양 (데이터) 이 부족해서 생긴 문제입니다.
💡 6. 결론 및 시사점
이 연구는 우리에게 중요한 메시지를 줍니다.
AI 는 시를 '이해'하지만 '외우진' 못한다: AI 가 시의 의미를 잘 설명한다고 해서, 우리가 일상에서 시를 인용하거나 완성할 때 믿고 쓸 수는 없습니다.
문화적 맥락이 중요하다: 시는 단순히 글자 나열이 아니라, 문화와 기억이 담긴 것입니다. AI 가 문화를 제대로 이해하려면 '의미'뿐만 아니라 '정확한 형식'까지 학습해야 합니다.
새로운 평가 기준 필요: 앞으로 AI 를 평가할 때 "시 뜻 설명하기"만 보는 게 아니라, "정확한 원문 기억하기"도 함께 봐야 합니다.
한 줄 요약:
"AI 는 시의 뜻은 아주 잘 이해하지만, 원문을 외우는 건 아직 서툴러요. 특히 우리가 많이 배우지 않은 언어 (페르시아어) 일수록 더 그렇습니다. AI 가 시를 제대로 '즐길' 수 있게 하려면, 단순히 뜻만 아는 게 아니라 정확한 가사까지 기억하게 만들어야 합니다."
논문 요약: GhazalBench - 페르시아 가자 (Ghazal) 에 대한 LLM 의 사용 기반 평가
1. 문제 정의 (Problem)
대규모 언어 모델 (LLM) 이 다국어 및 다문화 환경에서 성공적으로 작동하기 위해서는 단순한 문법적 정확성이나 의미적 적절성을 넘어, 공유된 역사, 전통, 집단 기억에 뿌리내린 문화적으로 기반을 둔 언어 관행에 참여할 수 있어야 합니다. 특히 페르시아어권 사회에서 하페즈 (Hafez) 와 같은 고전 시인의 시구 (verses) 는 일상 대화와 사회적 의식에서 빈번히 인용, 재해석, 또는 부분적 단서로 완성되는 방식으로 사용됩니다.
기존의 시 평가 연구는 주로 창의적 생성 (creative generation) 이나 스타일 모방에 초점을 맞추었으며, 시가 공유된 문화적 자원으로 어떻게 기능하는지 (예: 단서 기반 인용, 부분적 암기) 를 평가하지 못했습니다. 또한, LLM 의 암기 (memorization) 연구는 주로 프라이버시 유출이나 과적합의 위험으로 간주되어 왔습니다. 따라서 실제 사용 시나리오 (usage-grounded conditions) 하에서 LLM 이 문화적으로 권위 있는 텍스트 (Canonical Texts) 에 접근하고 상호작용하는 능력을 평가하는 체계적인 프레임워크가 부재했습니다.
2. 방법론 (Methodology)
저자들은 하페즈의 가자 (Ghazal, 페르시아 시의 한 형태) 를 대상으로 한 새로운 벤치마크인 GhazalBench를 제안했습니다. 이 벤치마크는 시의 생성 능력이 아닌, 실제 화자들이 시를 사용하는 방식에 부합하는 두 가지 상호 보완적인 능력을 평가합니다.
데이터 구축:
하페즈의 디반 (Divan) 에서 처음 100 편의 가자 (총 438 개의 연, couplets) 를 추출했습니다.
각 연에 대한 전문적인 산문 해설 (prose explanation) 을 포함하며, 이는 전문가가 수동으로 검증했습니다.
실험을 위해 50 편의 가자를 샘플링하여 사용했습니다.
평가 시나리오:
시 - 산문 이해 (Poem-to-Prose Understanding):
모델이 특정 연을 자연스럽고 중립적인 페르시아어 산문으로 정확하게 요약 (Paraphrase) 하는 능력을 평가합니다.
평가자: Gemini 3 Pro 를 'LLM-as-Judge'로 활용하여 의미 충실도, 자연스러움, 명확성, 해석 배제, 중립적 어조, 길이 제어 등 6 가지 차원에서 점수를 매깁니다.
권위 있는 시구 회상 (Canonical Verse Retrieval):
모델이 첫 번째 연 (First Verse) 이나 다양한 단서를 바탕으로 두 번째 연 (Second Verse) 을 정확히 회상하거나 인식하는 능력을 평가합니다.
단서 유형:
완성 (Completion): 첫 연만 주어지고 두 번째 연을 직접 생성 (자유 회상).
인식 (Recognition): 여러 선택지 중 정답을 고르는 다지선다형.
단서 변형: 원본 산문 해설, 의미는 유지하되 어휘가 변경된 패러프레이즈된 산문, 두 번째 연의 핵심 단어 (Salient Words) 만 제공, 두 번째 연의 단어 순서가 뒤섞인 상태 (Shuffled) 제공 등 다양한 조건에서 테스트합니다.
교차 언어 비교:
페르시아어 가자 평가와 병행하여, 고전적이고 구조화된 영어 시인 셰익스피어 소네트 (Sonnets) 에 대해 동일한 실험을 수행하여 훈련 데이터의 밀도 (Training Signal Density) 가 성능에 미치는 영향을 분석했습니다.
3. 주요 기여 (Key Contributions)
GhazalBench 벤치마크 제안: 실제 사용 시나리오에 기반하여 LLM 이 문화적으로 권위 있는 페르시아 시와 상호작용하는 능력을 평가하는 최초의 벤치마크를 구축했습니다.
회상 - 인식 이론 기반 진단: 인지심리학의 '회상 (Recall)'과 '인식 (Recognition)' 구분을 적용하여, 모델이 시의 의미 (Semantic Understanding) 와 권위 있는 표면 형태 (Canonical Surface Form) 에 접근하는 능력을 분리하여 평가하는 진단 시나리오를 설계했습니다.
의미 이해와 형식 회상의 분리 현상 발견: 모델이 시의 의미를 잘 이해하고 산문으로 요약할 수는 있지만, 정확한 시구 (표면 형태) 를 회상하는 데에는 심각한 한계가 있음을 체계적으로 입증했습니다.
훈련 데이터 밀도의 영향 규명: 영어 소네트와 페르시아 가자 간의 성능 차이를 통해, 이러한 한계가 모델 아키텍처의 고유한 제약이 아니라 훈련 데이터의 노출 빈도 (Training Signal Density) 에 기인함을 증명했습니다.
4. 실험 결과 (Results)
시 - 산문 이해 (Poem-to-Prose):
모든 모델 (Claude Sonnet 4.5, DeepSeek V3.2, Gemma 3 등) 이 시의 의미를 산문으로 요약하는 데 있어 높은 성능을 보였습니다. 특히 Claude Sonnet 4.5 가 가장 우수한 성능을 보였습니다. 이는 모델들이 시의 심층적인 의미를 잘 이해하고 있음을 시사합니다.
완성 기반 회상 (Completion-based Recall):
성능 저하: 첫 연만 주어졌을 때 두 번째 연을 정확히 생성하는 능력은 모든 모델에서 매우 낮았습니다. (Claude 와 DeepSeek 도 10% 미만의 성공률, Gemma 는 거의 0% 에 가까움).
단서의 한계: 산문 해설이나 핵심 단어를 제공하는 것만으로는 완성도 있는 회상 성능을 크게 향상시키지 못했습니다.
단어 순서 민감도: 두 번째 연의 단어가 뒤섞인 상태 (Shuffled) 를 제공했을 때, 모델들은 단어의 집합은 알지만 순서를 맞추는 데 상대적으로 높은 성공률을 보였습니다. 이는 모델이 시구 자체를 암기하기보다는 단어의 존재 유무와 언어적 규칙성에 의존하고 있음을 보여줍니다.
인식 기반 태스크 (Recognition-based Tasks):
성능 격차 해소: 다지선다형 (Multiple-choice) 문제에서는 완성형 회상보다 성능이 압도적으로 높았습니다. 특히 Gemma 3 모델들도 Claude 나 DeepSeek 와 유사한 수준의 인식 능력을 보여주었습니다.
오류 패턴: 모델이 틀린 경우, 다른 가자 (Different Ghazal) 보다는 동일한 가자 내의 다른 연 (Same Ghazal) 을 선택하는 경향이 강했습니다. 이는 모델이 정확한 표면 형태보다는 시의 주제나 스타일적 유사성에 반응하고 있음을 의미합니다.
영어 소네트 비교:
영어 소네트 실험에서는 모든 모델이 페르시아어보다 훨씬 높은 회상 성능을 보였습니다. 이는 페르시아어 시에 대한 낮은 성능이 모델의 구조적 한계가 아니라, 페르시아어 문학 텍스트의 훈련 데이터 부족 때문임을 강력히 시사합니다.
5. 의의 및 결론 (Significance)
평가 패러다임의 전환: 기존의 시 평가가 생성 능력이나 미적 품질에 치중했다면, GhazalBench 는 문화적 상호작용의 실제성을 평가합니다. 모델이 시의 의미를 이해하더라도 정확한 인용이나 암기 기반 상호작용에는 실패할 수 있음을 보여줌으로써, 기존 벤치마크가 모델의 문화적 능력을 과대평가할 수 있음을 경고합니다.
회상 - 인식 격차 (Recall-Recognition Gap): LLM 이 문화적 텍스트를 처리할 때 '인식'은 용이하지만 '자유 회상'은 어렵다는 명확한 격차가 존재함을 밝혔습니다. 이는 모델이 텍스트를 단순히 '기억'하는 것이 아니라, 맥락에 따라 '재구성'하거나 '인식'하는 방식으로 작동함을 시사합니다.
다국어 LLM 의 한계와 방향성: 고전 문학이나 문화적 텍스트에 대한 LLM 의 능력은 해당 언어의 훈련 데이터 양에 크게 의존합니다. 따라서 다국어 모델의 진정한 역량을 평가하려면 의미적 이해뿐만 아니라 형식적 정확성 (Form-level Retrieval) 과 문화적 문맥 접근성을 함께 평가하는 프레임워크가 필수적입니다.
이 연구는 LLM 이 문화적으로 풍부한 텍스트와 상호작용할 때의 한계를 규명하고, 향후 모델 학습 및 평가 전략 수립에 중요한 통찰을 제공합니다.