Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

기술 요약: 페르시아 속담 조건부 이야기 생성을 통한 LLM의 제약된 의미론적 압축 해제(Constrained Semantic Decompression)

문제 정의
본 논문은 밀도 높고 추상적인 문화적 지식을 매력적인 서사로 변환하는 과제를 **제약된 의미론적 압축 해제 작업(constrained semantic decompression task)**으로 공식화한다. 구체적으로, 본 연구는 페르시아 속담을 조건으로 이야기를 생성하는 대규모 언어 모델(LLM)의 능력을 조사한다. 개방형 창의적 글쓰기와 달리, 이 작업은 모델이 속담에 인코딩된 근본적인 도덕적 논리와 인과 구조를 충실히 구현하는 동시에 서사의 일관성, 길이, 아동 적합성과 같은 제약 조건을 준수할 것을 요구한다. 저자들은 이것이 "추상화에서 실체화(abstraction-to-realization)" 능력을 평가하기 위한 엄격한 테스트베드 역할을 하며, 모델이 추상적인 문화적 지혜와 구체적인 서사 형식 사이의 간극을 메울 수 있는지 탐구한다고 상정한다.

방법론
이 문제를 연구하기 위해 저자들은 150개의 인스턴스로 구성된 큐레이션된 코퍼스인 **PAND(Proverb Aligned Narrative Dataset)**를 도입한다. 각 인스턴스는 페르시아 속담과 그 명시적인 도덕적 의미, 그리고 인간이 작성한 어린이용 단편 이야기를 쌍으로 구성한다. 데이터셋은 페르시아 문학 자원을 크롤링하여 구축되었으며, 합성 데이터 오염을 방방지하기 위해 모든 콘텐츠가 LLM 시대 이전의 것임을 수동으로 검증하였다.

본 연구는 세 가지 뚜렷한 프롬프팅 체계에 걸쳐 다양한 독점 모델(GPT-4.1) 및 오픈 웨이트 모델(Gemma 3 12B/27B, Mistral Small 3.2 24B)을 평가한다:

1. 순수(Pure): 모델은 속담과 단어 제한만을 사용하여 이야기를 생성하며, Zero-Shot, Persona, Moral Chain-of-Thought (CoT), Outline CoT와 같은 전략을 통해 내재적 추론 능력을 테스트한다.
2. 표면 보조(Surface-Assisted): 프롬프트에 인간 참조 이야기로부터 얻은 표면적 단서(예: 접두사 조건화 또는 키워드 포함)를 증강하여, 어휘적 신호에 대한 의존도와 의미론적 접지(semantic grounding)를 테스트한다.
3. 피드백 가이드(Feedback-Guided): 작가(초안 생성), 비평가(특정 기준에 따라 점수 부여 및 피드백 제공), 편집자(이야기 수정)라는 세 가지 페르소나를 포함하는 반복적 정교화 루프를 포함한다. 이 체계는 명시적 추론과 반복적 비판이 압축 해제 실패를 완화할 수 있는지 테스트한다.

평가는 다음을 결합한 하이브리드 프레임워크를 사용한다:

• 인간 교정 LLM-as-a-Judge: 교정된 Gemini 2.5 Pro 모델이 관련성(Relatedness), 창의성(Creativity), 유창성(Fluency), 아동 적합성(Suitability for Children), 전반적 품질(Overall quality)의 다섯 가지 주관적 지표를 평가한다.
• 구조적 지표: 서사 구조와 인간 베이스라인으로부터의 편차를 정량화하기 위해 어휘 및 의미론적 다양성(Lexical and Semantic Diversity), 참신성(Novelty), 놀라움(Surprise), 가독성(Flesch-Dayani)을 포함하는 객관적 척도를 사용한다.

주요 결과
실험 결과 지속적인 **압축 해제 격차(decompression gap)**가 발견되었다. 현재의 LLM은 표면적인 유창성과 아동 적합성 점수는 높게 달성하는 경우가 많지만, 속담의 더 깊은 도덕적 및 인과적 구조를 충실히 구현하는 데는 실패한다.

• 유창성 vs. 접지(Fluency vs. Grounding): 모델은 종종 문법적으로 정확하고 매력적인 텍스트를 생성하지만, 의도된 도덕적 정렬이 결여되어 있다. 규모가 작은 오픈 웨이트 모델들은 인간 벤치마크에 비해 특히 낮은 "관련성" 점수를 보인다.
• 프롬프팅의 영향: 의미론적 해석과 서사적 실체화를 명시적으로 분리하는 전략, 특히 Moral CoT는 일관되게 더 높은 관련성 및 전반적 점수를 산출한다. 반대로, 표면 보조 전략(예: 접두사 조건화)은 종종 의미론적 다양성을 제한하여 낮은 참신성과 놀라움을 초래한다.
• 반복적 정교화: 피드백 가이드 체계는 압축 해제 오류가 반드시 지식의 부족 때문이 아니라, 추상적 의미를 서사 형태로 번역하는 과정에서의 어려움 때문임을 보여준다. 특히 더 강력한 모델(Gemma 3 27B)을 비평가로 사용하고 더 약한 모델(Gemma 3 12B)을 작가로 사용하는 반복적 정교화는 의미론적 접지와 창의적 품질을 크게 향상시켜, 작은 모델이 단일 패스 방식의 독점 모델 베이스라인 성능에 도달할 수 있게 한다.
• 인간 검증: 블라인드 쌍체 선호도 연구 결과, 인간 주석가들이 초기 초안보다 정교화된 이야기를 65%의 경우에서 더 선호하는 것으로 나타나, 개선 사항에 대한 LLM 판사의 평가를 검증하였다.

의의 및 기여
본 논문은 네 가지 주요 기여를 한다:

1. 과제 공식화: 속담 조건부 이야기 생성을 제약된 의미론적 압축 해제 작업으로 정의하여, LLM의 추상화-실체화 평가를 위한 새로운 프레임링을 제공한다.
2. 데이터셋 구축: 속담과 명시적 의미, 인간이 작성한 이야기를 쌍으로 묶은 최초의 페르시아어 데이터셋인 PAND를 소개하여 문화적으로 접지된 서사 생성 평가를 가능하게 한다.
3. 경험적 발견: 표면적 유창성과 의미론적 접지 사이의 체계적인 디커플링(decoupling)을 식별하여, 생성 과정 중 도덕적 논리를 보존하는 데 있어 현재 모델들의 근본적인 한계를 강조한다.
4. 완화 전략: 명시적 추론(CoT)과 반복적 정교화가 이러한 실패를 부분적으로 복구할 수 있음을 입증하며, 이는 "압축 해제 격차"가 문화적 지식의 불가능한 결핍이 아니라 더 나은 프롬프팅과 정교화 정책을 통해 해결 가능한 도전 과제임을 시사한다.

저자들은 최첨단 모델들이 강력한 언어적 역량을 보여주지만, 압축된 문화적 지식을 접지된 서사로 변환하는 능력은 여전히 중요한 과제로 남아 있다고 결론짓는다. 저자들은 향후 연구가 이 프레임워크를 다른 형태의 압축된 지식(예: 우화, 법률 격언)으로 확장하고, 프롬프팅뿐만 아니라 학습을 통해 작가-비평가 역학을 내재화하는 방향을 탐구할 수 있다고 제안한다.