Instruction-Guided Poetry Generation in Arabic and Its Dialects

1. Declaração do Problema

Apesar do papel central da poesia na cultura e na língua árabes, os atuais Modelos de Linguagem de Grande Escala (LLMs) lutam com a geração de poesia árabe controlável. A pesquisa existente concentrou-se predominantemente em tarefas analíticas (por exemplo, detecção de métrica, atribuição de autor, classificação de temas) usando conjuntos de dados relativamente pequenos. Existe uma lacuna significativa em:

• Capacidades Generativas: Poucos modelos conseguem gerar poesia que adira a restrições estruturais estritas (métrica, rima) e requisitos estilísticos.
• Diversidade Dialetal: A maior parte do trabalho existente limita-se ao Árabe Padrão Moderno (MSA), negligenciando a rica diversidade de dialetos regionais (Golfo, Levante, Norte da África, Vale do Nilo).
• Seguimento de Instruções: Modelos atuais frequentemente falham em seguir instruções complexas do usuário sobre restrições (por exemplo, "Escreva um poema romântico no estilo abássida usando a métrica Basīṭ").

2. Metodologia

Os autores propõem uma estrutura abrangente envolvendo construção de conjunto de dados, ajuste fino por instruções (IFT) e avaliação rigorosa.

A. Construção do Conjunto de Dados

A equipe agregou um corpus massivo de fontes públicas (PoetsGate, Adab, Ashaar, etc.) e processou-o através de um pipeline de múltiplos passos:

1. Unificação e Limpeza: Padronização de estruturas de versos (um verso por linha), remoção de poemas de verso único e normalização de metadados (era, gênero, métrica).
2. Enriquecimento de Metadados: Utilização do Gemini 2.5 Pro para gerar automaticamente metadados semânticos, incluindo palavras-chave (temas) e frases-chave (resumos sintáticos), alcançando 96% de qualidade na avaliação manual.
3. Deduplicação: Remoção de duplicatas intra-fonte e garantia de que não houvesse vazamento de dados entre os conjuntos de treinamento e teste (excluindo especificamente o benchmark FannOrFlop do treinamento).
4. Criação de Modelos de Instrução:
   • Tarefas: Definidas quatro tarefas principais: Geração (compor novos poemas), Continuação (completar poemas parciais), Revisão (corrigir poemas corrompidos/danificados) e Análise (Perguntas de Múltipla Escolha sobre metadados).
   • Subtarefas: Criadas 54 subtarefas visando restrições específicas (por exemplo, condicionadas a rima, métrica, era ou dialeto).
   • Cobertura Linguística: Modelos de instrução projetados em Árabe Padrão Moderno (MSA) e quatro dialetos principais (Golfo, Levante, Vale do Nilo, Norte da África).
   • Escala: O conjunto de dados final contém 1,35 milhão de pares de treinamento e 24,8 mil pares de teste, com 3.220 modelos de instrução únicos.

B. Treinamento do Modelo

Os autores ajustaram finamente quatro LLMs distintos usando LoRA (Adaptação de Baixa Riqueza):

• Modelos: Dois modelos centrados em árabe (ALLaM-7B, Fanar-1-9B) e dois modelos multilíngues (LLaMA-3-8B, Qwen3-8B).
• Regimes de Treinamento:
  1. Treinamento Conjunto: Todas as tarefas embaralhadas e otimizadas juntas.
  2. Aprendizado de Currículo: Tarefas apresentadas em ordem crescente de dificuldade (Análise $\to$ Continuação $\to$ Geração $\to$ Revisão).

C. Estrutura de Avaliação

Foi empregada uma estratégia de avaliação multifacetada:

1. LLM como Juiz: Utilização do Gemini 2.5 Flash para avaliar conformidade, fluência, coerência e qualidade poética em uma escala de 1 a 5.
2. Métricas Automatizadas: Uso do lm-eval-harness para precisão de MCQ e métricas padrão (BERTScore, ROUGE-L, Adesão à Rima) para tarefas de geração.
3. Avaliação Humana: Dois especialistas literários nativos falantes de árabe avaliaram 400 amostras geradas cegamente nos quatro critérios.

3. Contribuições Principais

• Conjunto de Dados InstructPoet-Ar: O primeiro conjunto de dados em grande escala baseado em instruções para poesia árabe cobrindo MSA e quatro dialetos principais, suportando geração, continuação, revisão e análise.
• Estrutura de Tarefas Abrangente: Um sistema unificado que lida com 54 subtarefas, conectando geração criativa e compreensão analítica.
• Robustez Dialetal: Demonstrou que o ajuste fino por instruções melhora significativamente o desempenho do modelo em diversos dialetos árabes, não apenas no MSA.
• Currículo vs. Treinamento Conjunto: Fornecimento de evidências empíricas sobre como regimes de treinamento afetam a aprendizagem de estrutura poética, mostrando que a exposição estruturada (currículo) frequentemente auxilia habilidades específicas.

4. Resultados

Avaliação Automática e LLM como Juiz

• Dificuldade da Tarefa: O desempenho seguiu o gradiente de dificuldade esperado: Geração (mais fácil) > Continuação > Revisão (mais difícil).
• Dialetos: O ajuste fino melhorou o desempenho em todos os dialetos, sem que um único dialeto fosse consistentemente "mais fácil" ou "mais difícil".
• Desempenho do Modelo:
  • ALLaM-7B (centrado em árabe) superou consistentemente os outros, alcançando as pontuações mais altas em fluência e coerência.
  • Qwen3-8B mostrou a maior melhoria relativa (+63%) após o ajuste fino, sugerindo forte adaptabilidade apesar de uma base árabe mais fraca.
  • Aprendizado de Currículo: Geralmente produziu pequenas melhorias sobre o embaralhamento aleatório, particularmente em tarefas estruturadas.

Avaliação Humana

• Ganhos Significativos: Modelos ajustados finamente superaram significativamente seus pares base.
  • ALLaM-7B (FT): Pontuou 3,99/5,0 (subindo de 3,02).
  • Qwen3-8B (FT): Pontuou 3,66/5,0 (subindo de 2,24).
• Pontos Fortes: Fluência e Coerência foram as áreas mais fortes, frequentemente aproximando-se da qualidade humana.
• Pontos Fracos: Qualidade Poética (profundidade artística, metáfora) permaneceu a dimensão com menor pontuação (máximo 3,82/5,0), indicando que, embora os modelos possam imitar a estrutura, capturar nuances artísticas verdadeiras ainda é desafiador.
• Significância Estatística: Todas as melhorias foram estatisticamente significativas ($p < 0,0001$).

5. Significado e Trabalho Futuro

• Preenchendo a Lacuna: Este trabalho desloca o foco da análise passiva para a criação ativa e controlável no PLN árabe, permitindo ferramentas práticas para escritores e educadores.
• Preservação Cultural: Ao apoiar dialetos e eras históricas, a estrutura auxilia na preservação e geração de formas diversas do patrimônio literário árabe.
• Limitações:
  • A dependência do LoRA em vez do ajuste fino completo pode limitar a captura de nuances estilísticas complexas.
  • O conjunto de dados é fortemente enviesado para poesia histórica/clássica; a poesia contemporânea e verso livre estão sub-representadas.
• Direções Futuras: Os autores planejam expandir para poesia contemporânea, verso livre e ajuste fino completo de modelos maiores para aprimorar ainda mais a profundidade artística e a cobertura dialetal.

Em conclusão, o InstructPoet-Ar estabelece um novo marco para a geração de poesia árabe, provando que LLMs ajustados por instruções podem lidar efetivamente com as complexas restrições estruturais, rítmicas e dialetais da poesia árabe, embora permaneça espaço significativo para melhoria na criatividade artística.