💬 NLP

Instruction-Guided Poetry Generation in Arabic and Its Dialects

본 논문은 스타일과 운율과 같은 특정 사용자 요구사항에 따라 대규모 언어 모델이 시를 통제 가능하게 생성, 수정 및 분석할 수 있도록 하는 현대 표준 아랍어 및 그 방언 기반 대규모 지시형 데이터셋을 소개합니다.

원저자: Abdelrahman Sadallah, Kareem Elozeiri, Mervat Abassy, Rania Elbadry, Mohamed Anwar, Abed Alhakim Freihat, Preslav Nakov, Fajri Koto

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdelrahman Sadallah, Kareem Elozeiri, Mervat Abassy, Rania Elbadry, Mohamed Anwar, Abed Alhakim Freihat, Preslav Nakov, Fajri Koto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

아랍어 시를 수백만 권의 아름다운 책으로 가득 찬 웅장하고 고대 도서관으로 상상해 보십시오. 수세기 동안 사람들은 리듬, 운율, 스타일에 관한 엄격한 규칙을 따라 이 도서관에서 시를 써 왔습니다. 이는 마치 특정 설계도대로 집을 짓는 것과 같습니다. 그러나 지금까지 컴퓨터 (특히 대규모 언어 모델 또는 LLM) 는 주로 책을 읽을 수 있거나, 페이지를 세거나, 누가 썼는지 추측할 수 있는 사서와 같은 역할만 해 왔습니다. 그들은 특히 특정 규칙을 따르거나 다양한 지역 방언 (사투리) 으로 시를 쓰도록 요청받을 때, 스스로 새로운 시를 쓰는 데는 그다지 능숙하지 않았습니다.

이 논문은 컴퓨터에게 스스로 시인이 되는 법을 가르치는 새로운 프로젝트인 InstructPoet을 소개합니다. 그들이 어떻게 했는지 간단히 설명해 드리겠습니다:

1. 레시피 책 (데이터셋)

컴퓨터에게 요리를 가르치려면 좋은 요리책이 필요합니다. 연구자들은 인터넷에서 고대부터 현대까지 아우르는 방대한 아랍어 시 모음을 수집했습니다.

정리: 그들은 이 지저분하게 쌓인 시들을 레고 블록을 정돈된 상자에 분류하듯 깔끔하고 통일된 형식으로 정리했습니다.
라벨링: 그들은 모든 시에 메타데이터 (라벨) 를 추가하여 "로맨스", "전쟁", "아바스 왕조 시대", "만湾 방언"과 같은 세부 사항으로 태그를 달았습니다.
번역: 그들은 표준 아랍어 (MSA) 만 사용하지 않았습니다. 표준 아랍어와 네 가지 주요 방언 (만湾, 레반트, 나일 계곡, 북아프리카) 을 포함한 다섯 가지 버전으로 지시를 만들었습니다. 이는 컴퓨터에게 공식 영어뿐만 아니라 텍사스, 스코틀랜드, 오스트레일리아 영어도 가르쳐서 누구와도 자연스럽게 대화할 수 있게 하는 것과 같습니다.

2. 네 가지 훈련 게임 (작업)

컴퓨터에게 단순히 "시를 써라"라고 요청하는 대신, 컴퓨터를 더 똑똑하게 만들기 위해 네 가지 구체적인 훈련 게임을 설정했습니다:

생성 (빈 페이지): "특정 리듬을 사용하여 바다에 대한 로맨틱한 시를 써라." 컴퓨터는 처음부터 무언가를 창조해야 합니다.
연속 (클리프행어): "시의 처음 세 줄입니다; 나머지를 이어 써 주세요." 컴퓨터는 흐름을 끊지 않고 이야기와 리듬을 이어가야 합니다.
수정 (편집자): "오타와 깨진 리듬이 있는 시가 있습니다; 고치세요." 컴퓨터는 교정자처럼 행동하여 시를 완벽한 상태로 복원합니다.
분석 (퀴즈): "이 시를 읽고 말해 보세요: 어떤 시대 작품인가요? 운율 패턴은 무엇인가요?" 컴퓨터는 시험을 치르는 비평가처럼 행동합니다.

3. 교실 (모델 훈련)

연구자들은 네 가지 다른 "학생" 컴퓨터 (기존 AI 모델) 를 가져와 이 새로운 데이터셋으로 가르쳤습니다.

학생들: 그들은 여러 언어에 능통한 두 모델 (LLaMA 와 Qwen) 과 아랍어에 특화된 두 모델 (ALLaM 과 Fanar) 을 사용했습니다.
교수 방식: 그들은 두 가지 방법을 시도했습니다. 하나는 연합 훈련 (모든 게임을 학생에게 한꺼번에 던지는 것) 이었고, 다른 하나는 커리큘럼 학습 (분석처럼 쉬운 것부터 가르치고, 처음부터 쓰는 것처럼 어려운 것은 나중에 남기는 것) 이었습니다.

4. 성적표 (결과)

훈련 후 그들은 두 가지 방식으로 학생들을 시험했습니다:

로봇 채점자: 그들은 문법, 흐름, 그리고 컴퓨터가 올바른 운율과 같은 규칙을 실제로 따랐는지 여부와 같은 요소들을 기준으로 시를 채점하는 또 다른 AI 를 사용했습니다.
인간 심사위원: 시를 사랑하는 원어민 아랍어 화자들을 고용하여 시를 읽고 1 점부터 5 점까지 점수를 매기게 했습니다.

주요 발견:

엄청난 개선: 훈련 전에는 컴퓨터가 규칙을 따르는 시를 쓰는 데 매우 형편없었습니다. 훈련 후 그들은 훨씬 더 나아졌습니다.
최고의 학생: 이미 아랍어를 위해 설계된 ALLaM 모델이 훈련 후 최고의 시인이 되었습니다. 유창성과 일관성에서 가장 높은 점수를 받았습니다.
가장 어려운 작업: 처음부터 시를 쓰는 것 (생성) 이 컴퓨터에게 가장 쉬웠습니다. 깨진 시를 고치는 것 (수정) 이 가장 어려웠는데, 이는 컴퓨터가 기술적 오류를 수정하면서도 시의 "영혼"을 이해해야 했기 때문입니다.
방언 작동: 컴퓨터는 공식 버전뿐만 아니라 다양한 아랍어 방언을 이해하고 쓰는 데 훨씬 더 능숙해졌습니다.

결론

이 논문은 컴퓨터가 인간 시인을 대체하거나 아직 완벽한 영감을 주는 걸작을 쓸 수 있다고 주장하지 않습니다. 대신, 이제 사람들이 시를 쓰는 것을 돕는 디지털 조력자를 구축할 수 있음을 보여줍니다. 특정 스타일, 특정 운율, 당신의 지역 방언으로 된 시를 원한다면, 이 새로운 시스템이 초안을 작성하거나 실수를 수정하거나 심지어 당신이 쓴 것을 분석하는 데 도움을 줄 수 있습니다. 이는 컴퓨터를 수동적인 독서에서 능동적이고 규칙을 준수하는 창의적인 파트너로 변화시킵니다.

"아랍어 및 그 방언을 위한 지시 기반 시 생성" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

아랍 문화와 언어에서 시가 차지하는 중심적인 역할에도 불구하고, 현재의 대규모 언어 모델 (LLM) 은 제어 가능한 아랍어 시 생성에 어려움을 겪고 있습니다. 기존 연구는 상대적으로 작은 데이터셋을 사용하여 분석적 작업 (예: 운율 감지, 시인 귀속, 주제 분류) 에 주로 초점을 맞추었습니다. 다음과 같은 중요한 격차가 존재합니다:

생성 능력: 엄격한 구조적 제약 (운율, 운) 과 스타일적 요구 사항을 준수하는 시를 생성할 수 있는 모델은 거의 없습니다.
방언 다양성: 대부분의 기존 작업은 현대 표준 아랍어 (MSA) 로 제한되어 있으며, 지역 방언 (걸프, 레반트, 북아프리카, 나일 계곡) 의 풍부한 다양성을 간과하고 있습니다.
지시 수행: 현재 모델들은 종종 제약 조건에 관한 복잡한 사용자 지시 (예: "바시트 운율로 아바스 왕조 스타일의 낭만적인 시를 작성하세요") 를 따르지 못합니다.

2. 방법론

저자들은 데이터셋 구축, 지시 미세 조정 (IFT), 그리고 엄격한 평가를 포함하는 포괄적인 프레임워크를 제안합니다.

A. 데이터셋 구축

팀은 공개 소스 (PoetsGate, Adab, Ashaar 등) 에서 방대한 코퍼스를 수집하고 다단계 파이프라인을 통해 처리했습니다:

통합 및 정제: 운문 구조를 표준화 (한 줄에 한 운문), 단일 운문 시를 제거하고 메타데이터 (시대, 장르, 운율) 를 정규화했습니다.
메타데이터 풍부화: Gemini 2.5 Pro를 사용하여 키워드(주제) 와 키구(구문 요약) 를 포함한 의미론적 메타데이터를 자동으로 생성했으며, 수동 평가에서 96% 의 품질을 달성했습니다.
중복 제거: 소스 내부 중복을 제거하고 훈련 및 테스트 세트 간의 데이터 유출이 없도록 보장했습니다 (특히 FannOrFlop 벤치마크를 훈련에서 제외).
지시 템플릿 생성:
- 작업: 생성(새로운 시 작곡), 연속(부분 시 완성), 수정(손상된 시 교정), 분석(메타데이터에 대한 객관식 질문) 의 네 가지 핵심 작업을 정의했습니다.
- 하위 작업: 운, 운율, 시대, 또는 방언과 같은 특정 제약 조건을 대상으로 하는 54 개의 하위 작업을 생성했습니다.
- 언어적 범위: **현대 표준 아랍어 (MSA)**와 네 가지 주요 방언(걸프, 레반트, 나일 계곡, 북아프리카) 으로 지시 템플릿을 설계했습니다.
- 규모: 최종 데이터셋에는 135 만 개의 훈련 쌍과 24,800 개의 테스트 쌍이 포함되어 있으며, 3,220 개의 고유한 지시 템플릿이 있습니다.

B. 모델 훈련

저자들은 **LoRA(저랭크 적응)**를 사용하여 네 가지 다른 LLM 을 미세 조정했습니다:

모델: 두 개의 아랍어 중심 모델 (ALLaM-7B, Fanar-1-9B) 과 두 개의 다국어 모델 (LLaMA-3-8B, Qwen3-8B).
훈련 체계:
1. 연합 훈련: 모든 작업을 섞어서 함께 최적화했습니다.
2. 커리큘럼 학습: 분석 $\to$ 연속 $\to$ 생성 $\to$ 수정의 순서로 난이도가 증가하는 방식으로 작업을 제시했습니다.

C. 평가 프레임워크

다면적 평가 전략이 채택되었습니다:

LLM-as-a-Judge: Gemini 2.5 Flash를 사용하여 1~5 점 척도로 준수성, 유창성, 일관성 및 시적 품질을 평가했습니다.
자동 지표: 객관식 질문 정확도를 위해 lm-eval-harness를 사용했고, 생성 작업에는 표준 지표 (BERTScore, ROUGE-L, 운 준수) 를 사용했습니다.
인간 평가: 두 명의 원어민 아랍어 문학 전문가가 네 가지 기준에 따라 400 개의 생성된 샘플을 맹검 평가했습니다.

3. 주요 기여

InstructPoet-Ar 데이터셋: MSA 와 네 가지 주요 방언을 포괄하며 생성, 연속, 수정, 분석을 지원하는 최초의 대규모 지시 기반 아랍어 시 데이터셋입니다.
포괄적 작업 프레임워크: 창의적 생성과 분석적 이해를 연결하는 54 개의 하위 작업을 처리하는 통합 시스템입니다.
방언 견고성: 지시 미세 조정이 MSA 뿐만 아니라 다양한 아랍어 방언 전반에서 모델 성능을 크게 향상시킨다는 것을 입증했습니다.
커리큘럼 대 연합 훈련: 훈련 체계가 시적 구조 학습에 미치는 영향에 대한 경험적 증거를 제공하여, 구조화된 노출 (커리큘럼) 이 종종 특정 기술을 돕는다는 것을 보여주었습니다.

4. 결과

자동 및 LLM-as-a-Judge 평가

작업 난이도: 성능은 예상된 난이도 경사를 따랐습니다: 생성(가장 쉬움) > 연속 > 수정(가장 어려움).
방언: 미세 조정은 모든 방언의 성능을 향상시켰으며, 어떤 단일 방언도 일관되게 "가장 쉽거나" "가장 어렵지" 않았습니다.
모델 성능:
- ALLaM-7B(아랍어 중심) 는 일관되게 다른 모델들을 능가하여 유창성과 일관성에서 최고 점수를 달성했습니다.
- Qwen3-8B는 미세 조정 후 가장 큰 상대적 개선 (+63%) 을 보였으며, 이는 약한 아랍어 기반에도 불구하고 강력한 적응력을 시사합니다.
- 커리큘럼 학습: 특히 구조화된 작업에서 무작위 섞기보다 일반적으로 약간의 개선을 보였습니다.

인간 평가

중대한 향상: 미세 조정된 모델은 기본 모델보다 크게 우월했습니다.
- ALLaM-7B(FT): 3.99/5.0점 (3.02 에서 상승).
- Qwen3-8B(FT): 3.66/5.0점 (2.24 에서 상승).
강점: 유창성과 일관성이 가장 강력한 영역이었으며, 종종 인간 수준의 품질에 근접했습니다.
약점: 시적 품질(예술적 깊이, 은유) 은 여전히 가장 낮은 점수를 받은 차원 (최대 3.82/5.0) 으로, 모델이 구조를 모방할 수는 있지만 진정한 예술적 뉘앙스를 포착하는 것은 여전히 어렵다는 것을 나타냅니다.
통계적 유의성: 모든 개선은 통계적으로 유의미했습니다 ( $p < 0.0001$ ).

5. 의의 및 향후 작업

격차 해소: 이 작업은 아랍어 NLP 에서 수동적 분석에서 능동적이고 제어 가능한 창작으로 초점을 이동시켜, 작가와 교육자를 위한 실용적인 도구를 가능하게 합니다.
문화 보존: 방언과 역사적 시대를 지원함으로써 이 프레임워크는 다양한 형태의 아랍어 문학 유산을 보존하고 생성하는 데 기여합니다.
한계:
- 전체 미세 조정 대신 LoRA 에 의존하는 것은 복잡한 스타일적 뉘앙스를 포착하는 데 제한을 가질 수 있습니다.
- 데이터셋은 역사적/고전 시에 치우쳐 있으며, 현대 시와 자유시는 과소 대표되어 있습니다.
향후 방향: 저자들은 예술적 깊이와 방언 범위를 더욱 향상시키기 위해 현대 시, 자유시, 그리고 더 큰 모델의 전체 미세 조정으로 확장할 계획입니다.

결론적으로, InstructPoet-Ar은 아랍어 시 생성의 새로운 벤치마크를 확립하여, 지시 미세 조정된 LLM 이 아랍어 시의 복잡한 구조적, 리듬적, 방언적 제약을 효과적으로 처리할 수 있음을 입증했습니다. 다만 예술적 창의성 측면에서는 여전히 상당한 개선의 여지가 남아 있습니다.