기술 요약: LLM이 리듬을 탈 수 있을까? 그리스 시를 위한 하이브리드 음운론적 필터링

문제 제기

대규모 언어 모델(LLM)은 일반적인 NLP 작업에서는 능숙함을 보임에도 불구하고, 음운론에 기반한 현상, 특히 각운(rhyme) 탐지 및 생성 능력에서 상당한 결함을 보인다. 이러한 한계는 크레타 르네상스부터 현대 힙합에 이르는 시의 구조적 기둥인 각운이 중요한 저자원 언어인 현대 그리스어에서 더욱 두드러진다.

핵심 문제는 LLM의 토큰화(BPE 또는 WordPiece와 같은 통계적 공생 관계에 기반함)와 음운 단위(음절, 강세 패턴, 각운 영역) 사이의 불일치에서 기인한다. 그리스어의 경우, 역사적 철자법으로 인해 다대일 매핑(예: 소리 /i/를 여섯 가지 다른 방식으로 표기 가능)이 발생하며, 각운은 강세 위치(남성형, 여성형-2, 여성형-3)에 의해 엄격하게 정의된다. LLM은 음성적 동일성(phonetic identity)보다는 시각적 유사성("눈 각운", eye rhyme)에 의존하는 경며, 이로 인해 강세만 다른 최소 쌍(minimal pairs)을 구별하거나 유효한 각운 구조를 생성하는 데 실패한다. 제약 조건이 있는 시 작업에서 순수 LLM 생성은 파멸적인 실패를 보였으며, 유효율은 4% 미만이었다.

방법론: 하이브리드 신경-기호(Neuro-Symbolic) 아키텍처

저자들은 LLM의 생성 및 추론 능력과 결정론적인 규칙 기반 음운 알고리즘을 통합하는 하이브리드 시스템을 제안한다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있다.

1. 음운 엔진 (기호 검증기)

Topintzi 등(2019)의 이론적 프레임워크를 기반으로 하는 이 모듈은 결정론적 처리를 수행한다:

• 음절 분해(Syllabification): 그리스어 특유의 음소 배열 제약에 따라 음절 경계를 식별한다.
• 강세 탐지(Stress Detection): 그리스어 철자 악센트 표기를 활용하여 강세를 식별하고, 클리틱 확장(예: 약한 목적 대명사)을 처리한다.
• 각운 영역 추출(Rhyme Domain Extraction): 강세가 있는 모음부터 음운 구절의 끝까지 각운 영역을 정의하며, 이는 여러 단어에 걸쳐 나타날 수 있다(모자이크 각운).
• 음성 전사(Phonetic Transcription): 시각적 불일치를 우회하기 위해 철자를 음성 표현으로 변換한다.
• 분류(Classification): 강세 위치, 초성 일치(Rich rhymes), 전강세 모음(IDV) 및 불완전성을 기반으로 복합 레이블(예: F2-TR-S-IDV)을 할당한다.

2. LLM 통합 및 에이전트 파이프라인

시스템은 독점 모델(Claude 3.7/4.5, GPT-4o, Gemini 2.0)과 오픈 웨이트 모델(Llama 3.1/3.3, Mistral Large)을 대상으로 다양한 프롬프팅 전략(Zero-Shot, Chain-of-Thought, RAG-augmented)을 평가한다.

각운 생성을 위해, 저자들은 **에이전트 기반 생성-검증-정제 루프(Agentic Generate-Verify-Refine Loop)**를 구현한다:

1. 생성(Generate): LLM이 주제와 각운 제약에 따라 시 초안을 작성한다.
2. 검증(Verify): 음운 엔진이 모든 각운 쌍을 규칙에 따라 검사한다.
3. 정제(Refine): 오류가 감지되면 엔진은 구체적인 피드백(예: "강세 불일치: 기대값 F3, 발견값 F2")을 형식화하여 LLM이 재생성하도록 프롬프트를 업데이트한다.
   이 루프는 결과를 반환하거나 경고를 보내기 전까지 최대 15회까지 실행된다.

주요 기여

1. 데이터셋: Anemoskala 아카이브와 간기(Interwar) 시 데이터셋에서 수집하여 포괄적인 그리스 각운 분류 체계에 따라 표준화 및 주석을 달아 40,000개 이상의 각운을 큐레이션한 코퍼스.
2. 하이브리드 탐지 시스템: LLM 프롬프팅과 규칙 기반 검증을 결리한 시스템으로, 순수 LLM 방식의 최대 54%와 비교하여 100%의 검증 정확도를 달emat다.
3. 에이전트 생성 파이프라인: 엄격한 음운 제약을 강제함으로써 생성된 시의 유효성을 거의 0%에서 73.1%로 높였다.
4. 다중 모델 평가: 8개의 모델과 4개의 프롬프팅 구성을 포함한 종합적인 벤치마크를 통해 음운론적 작업에서의 "추론 격차(Reasoning Gap)"를 조명했다.

결과

각운 식별

• 추론 격차: 프롬프팅에 따라 모델 간의 성능 차이가 크게 나타났다. Claude 4.5는 CoT와 RAG를 사용했을 때 53.8%의 정확도를 기록했으나, CoT 없이 수행했을 때는 26.9%에 그쳤다. 순수 LLM 접근 방식은 일반적으로 어려움을 겪었으며, 오픈 웨이트 모델은 성능이 매우 낮았다(예: Llama 3.1 8B는 3.8~15.4%).
• 강세 민감도: 모든 모델은 여성형-3(proparoxytone) 각운에서 가장 큰 어려움을 겪었으며, 정확도는 종종 22% 미만이었다.
• 특징 탐지: 모자이크 각운(단어 경계를 가로지르는 각운)은 정량적 특징 매칭에서 어떤 모델도 탐지하지 못했다(정확도 0%). 다만, Claude 4.5의 CoT+RAG 조합은 질적 분석에서 질적 성공을 보였다.
• 모델 크기: Llama 3.1 70B와 같은 대형 모델이 작은 변체들보다 성능이 월등히 높았으며, 이는 그리스어 각운 탐지가 파라미터 수 증가의 이점을 얻음을 시사한다.

각운 생성

• 유효성 개선: 순수 LLM 생성은 0~4%의 유효한 시를 생성했다. 검증 루프를 포함함으로써 Claude 3.7은 73.1%, GPT-4o는 42.3%, Claude 4.5는 34.6%로 유효성이 향상되었다.
• 오류 수정: 루프는 강세 패턴 불일치(예: F3 대신 F2로 기본 설정됨)를 성공적으로 수정하고, 특징의 정밀도(Rich vs. Pure 각운 구분)를 정제하며, 각운이 맞지 않는 쌍을 제거했다.
• 창의성 vs. 환각: 검증 루프는 유능한 모델들(특히 Claude 4.5)이 표준 어휘가 실패할 때 무의미한 단어를 만드는 대신, 그럴듯한 신조어(예: "불의 색"을 뜻하는 pyrafí)를 생성하도록 유도했다. 이는 엄격한 제약이 창의적인 형태론적 발명을 이끌어내는 트레이드오프가 있음을 시사한다.

의의 및 주장

본 논문은 LLM이 특히 복잡한 철자-강세 관계를 가진 현대 그리스어와 같은 언어에서 엄격한 시적 작업을 수행하는 데 필요한 서브 토큰(sub-token) 음운 인지 능력이 근본적으로 부족하다고 주장한다. 저자들은 하이브리드 신경-기호 아키텍처가 이러한 구조적 뉘앙스를 마스터하는 데 필수적이라고 주장한다.

추론(LLM)과 음운 스코어링(기호 엔진)을 분리함으로써, 시스템은 LLM의 의미론적 풍부함과 창의성을 활용하는 동시에 정밀한 계산적 제약을 결정론적 모듈에 위임한다. 저자들은 LLM이 잠재적인 창의적 능력을 갖추고 있지만, 외부 검증 없이는 시의 엄격한 음운론적 제약을 독립적으로 충족할 수 없다고 결론짓는다. 공개된 코드베이스와 4만 개 이상의 각운 코퍼스는 음운 인지 NLP 및 저자원 언어 시 생성 연구를 위한 기초 자원으로 제시된다.

저자들은 자신의 코퍼스가 고자원 언어에 비해 작다는 점과 반복적인 검증 과정이 단일 패스 추론에 비해 계산 오버헤드를 발생시킨다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지한다. 향후 연구로는 이를 운율(metrical) 검증 및 음운론적 피드백을 통한 강화 학습(RLPF)으로 확장하는 것이 제안되었다.