Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

Resumo Técnico: Descompressão Semântica Restrita em LLMs através da Geração de Histórias Condicionada por Provérbios Persas

Definição do Problema
O artigo formaliza o desafio de transformar conhecimento cultural denso e abstrato em narrativas envolventes como uma tarefa de descompressão semântica restrita. Especificamente, investiga a capacidade de Grandes Modelos de Linguagem (LLMs) de gerar histórias condicionadas a provérbios persas. Diferente da escrita criativa aberta, esta tarefa exige que os modelos instanciem fielmente a lógica moral subjacente e a estrutura causal codificadas em um provérbio, aderindo a restrições como coerência narrativa, extensão e adequação etária para crianças. Os autores postulam que isso serve como um banco de testes rigoroso para avaliar as capacidades de "abstração-para-realização", sondando se os modelos conseguem transpor a lacuna entre a sabedoria cultural abstrata e a forma narrativa concreta.

Metodologia
Para estudar este problema, os autores introduzem o Proverb Aligned Narrative Dataset (PAND), um corpus curado de 150 instâncias. Cada instância emparelha um provérbio persa com seu significado moral explícito e uma história curta escrita por humanos para crianças. O conjunto de dados foi construído através da raspagem de recursos literários persas e da verificação manual de que todo o conteúdo é anterior à era dos LLMs para evitar contaminação sintética.

O estudo avalia uma gama de modelos proprietários (GPT-4.1) e de pesos abertos (Gemma 3 12B/27B, Mistral Small 3.2 24B) através de três regimes de prompting distintos:

1. Puro (Pure): Os modelos geram histórias usando apenas o provérbio e limites de palavras, testando o raciocínio intrínseco via estratégias como Zero-Shot, Persona, Moral Chain-of-Thought (CoT) e Outline CoT.
2. Assistido por Superfície (Surface-Assisted): Os prompts são aumentados com pistas de nível superficial de histórias de referência humanas (ex: condicionamento de prefixo ou inclusão de palavras-chave) para testar a dependência de sinais lexicais versus ancoragem semântica.
3. Guiado por Feedback (Feedback-Guided): Um loop de refinamento iterativo envolvendo três personas: um Escritor (gera um rascunho), um Crítico (pontua e fornece feedback baseado em critérios específicos) e um Editor (revisa a história). Este regime testa se o raciocínio explícito e a crítica iterativa podem mitigar falhas de decomposição.

A avaliação emprega um framework híbrido combinando:

• LLM-como-Juiz Calibrado por Humanos: Um modelo Gemini 2.5 Pro calibrado avalia cinco métricas subjetivas: Relacionabilidade, Criatividade, Fluência, Adequação para Crianças e Qualidade Geral.
• Métricas Estruturais: Medidas objetivas incluindo Diversidade Léxica e Semântica, Novidade, Surpresa e Legibilidade (Flesch-Dayani) para quantificar a estrutura narrativa e o desvio em relação aos benchmarks humanos.

Principais Resultados
Os experimentos revelam um gap de descompressão persistente: os LLMs atuais frequentemente alcançam pontuações altas de fluência superficial e adequação infantil, mas falham em instanciar fielmente as estruturas morais e causais mais profundas dos provérbios.

• Fluência vs. Ancoragem: Os modelos frequentemente geram textos gramaticalmente corretos e envolventes que carecem do alinhamento moral pretendido. Modelos menores de pesos abertos exibem pontuações de "Relacionabilidade" particularmente baixas em comparação aos benchmarks humanos.
• Impacto do Prompting: Estratégias que separam explicitamente a interpretação semântica da realização narrativa, particularmente o Moral CoT, produzem consistentemente maiores pontuações de Relacionabilidade e Qualidade Geral. Por outro lado, estratégias assistidas por superfície (ex: Prefix-Conditioned) frequentemente restringem a diversidade semântica, levando a menor novidade e surpresa.
• Refinamento Iterativo: O regime Guiado por Feedback demonstra que os erros de decomposição não se devem necessariamente à falta de conhecimento, mas sim a dificuldades em traduzir o significado abstrato em forma narrativa. O refinamento iterativo, especialmente ao usar um modelo mais forte (Gemma 3 27B) como crítico para um escritor mais fraco (Gemma 3 12B), melhora significativamente a ancoragem semântica e a qualidade criativa, permitindo que modelos menores se aproximem do desempenho das bases proprietárias de passagem única.
• Validação Humana: Um estudo de preferência pareada cego confirmou que os anotadores humanos preferiram as histórias refinadas em relação aos rascunhos iniciais em 65% dos casos, validando a avaliação do juiz LLM sobre a melhoria.

Significância e Contribuições
O artigo apresenta quatro contribuições primárias:

1. Formalização da Tarefa: Define a geração de histórias condicionada por provérbios como uma tarefa de descompressão semântica restrita, oferecendo um novo framework para avaliar a abstração-para-realização em LLMs.
2. Criação de Dataset: Introduz o PAND, o primeiro dataset persa que emparelha provérbios com significados explícitos e histórias escritas por humanos para avaliar a geração narrativa culturalmente ancorada.
3. Descobertas Empíricas: Identifica um desacoplamento sistemático entre a fluência superficial e a ancoragem semântica, destacando uma limitação fundamental na capacidade dos modelos atuais de preservar a lógica moral durante a geração.
4. Estratégias de Mitigação: Demonstra que o raciocínio explícito (CoT) e o refinamento iterativo podem reparar parcialmente essas falhas, sugerindo que o "gap de descompressão" é um desafio solucionável através de melhores políticas de prompting e refinamento, em vez de uma falta insuperável de conhecimento cultural.

Os autores concluem que, embora os modelos de última geração mostrem forte competência linguística, sua capacidade de transformar o conhecimento cultural comprimido em narrativas ancoradas continua sendo um desafio significativo. Eles sugerem que trabalhos futuros poderiam estender este framework para outras formas de conhecimento comprimido (ex: fábulas, máximas jurídicas) e explorar a internalização da dinâmica escritor-crítico através de treinamento, em vez de apenas via prompting.