💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

O artigo apresenta o POLARIS, uma receita de treinamento GRPO de baixo custo computacional que combina recompensas de LLM-como-juiz com injeção de referência humana para permitir que modelos pequenos como o Qwen3.5-9B gerem histórias de formato longo e alta qualidade que rivalizam com modelos muito maiores, mantendo simultaneamente forte adesão ao comprimento e generalização.

Autores originais: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Pequenos Escritores se Cansam

Imagine que você tem um robô escritor muito inteligente, mas pequeno (um "modelo pequeno"). Se você pedir para ele escrever um conto curto, ele é ótimo. Mas, se você pedir para ele escrever um romance longo, duas coisas ruins acontecem:

Ele desiste: Ele para de escrever muito antes da história terminar.
Ele perde o juízo: A história fica bagunçada, repetitiva ou entediante à medida que se torna mais longa.

Supercomputadores caros e grandiosos (como os "modelos de fronteira") conseguem escrever histórias longas bem, mas são caros demais para a maioria das pessoas usarem. Os autores deste artigo perguntaram: "Podemos ensinar um robô pequeno e barato a escrever histórias longas e de alta qualidade sem precisar de um supercomputador?"

A Solução: POLARIS

Eles criaram uma receita de treinamento chamada POLARIS. Pense nisso como um método especial de treinamento para o robô. Em vez de apenas deixar o robô praticar sozinho, eles adicionaram dois ingredientes secretos ao seu acampamento de treinamento.

Ingrediente 1: O "Editor Rigoroso" (O Juiz LLM)

Normalmente, ao treinar uma IA, usa-se uma "folha de pontuação" simples que apenas diz "Bom" ou "Ruim". Isso é como um professor dando uma nota "C" a um aluno sem dizer o porquê.

O POLARIS utiliza um Juiz LLM de Fronteira (uma IA muito avançada) atuando como um Editor Rigoroso.

Como funciona: Em vez de apenas dar uma nota, este Editor lê a história e preenche uma Rubrica detalhada (um checklist).
O Checklist: Ele observa 16 coisas diferentes, como "O personagem teve uma voz clara?" (Bom) ou "A história ficou repetitiva?" (Ruim).
A Analogia: Imagine um workshop de escrita onde um autor famoso lê sua história e dá notas específicas: "Seu diálogo está muito rígido" ou "O final parece apressado". O robô aprende com essas notas específicas, não apenas com uma nota genérica.

Ingrediente 2: A "Âncora Humana" (Injeção de Referência Humana)

Esta é a parte mais única. Em um grupo de treinamento típico, o robô gera 5 histórias diferentes, e o computador escolhe a melhor delas para aprender. Mas, às vezes, todas as 5 histórias são medíocres, e o robô fica preso em um ciclo de escrever histórias "ok", mas não "ótimas".

O POLARIS adiciona uma Âncora Humana a cada grupo.

Como funciona: Para cada comando (prompt), o sistema força o robô a olhar para uma história real escrita por um humano ao lado de suas próprias tentativas.
A Analogia: Imagine um grupo de alunos tentando resolver um problema de matemática. Normalmente, eles apenas comparam suas respostas entre si. Mas, nesta classe, o professor coloca um exemplo perfeitamente resolvido no quadro. Os alunos não estão apenas adivinhando; eles têm uma "Estrela do Norte" para seguir. Mesmo que o robô não copie a história humana, ver esse exemplo de alta qualidade mantém a "ambição" do robô alta e evita que ele se acomode com uma escrita de baixa qualidade.

Os Resultados: O Modelo "Pequeno" que Joga de Igual para Igual

Os autores pegaram um modelo padrão de 9 bilhões de parâmetros (Qwen3.5-9B) e o treinaram usando este método em cerca de 1.400 contos.

A Surpresa: Embora o robô tenha sido treinado apenas em histórias de até 4.000 palavras, ele aprendeu a escrever histórias de até 12.000 palavras (3 vezes mais longas!) sem perder a qualidade.
A Comparação:
- Vs. Modelo Base: É muito melhor do que a versão não treinada.
- Vs. Modelos Gigantes: Desempenha quase tão bem quanto modelos que são 3 vezes maiores (27 bilhões de parâmetros) e muito mais caros.
- O "Teste de Estresse": A maioria dos modelos pequenos entra em colapso quando solicitada a escrever histórias longas. O POLARIS é o único modelo pequeno que se manteve forte, mantendo a história coerente e realmente terminando o comprimento solicitado.

Por que Isso Importa

O artigo argumenta que a "Generalização de Comprimento" (a capacidade de escrever textos mais longos do que o limite de treinamento) é um excelente teste de estresse.

A Metáfora: Se você treina um corredor para uma corrida de 1 milha, ele pode se cansar aos 2 quilômetros. Se ele consegue correr 3 milhas sem parar, isso prova que ele tem resistência real, não apenas um surto de velocidade.
O POLARIS provou que, com o "treinamento" certo (o Editor Rigoroso e a Âncora Humana), um modelo pequeno pode ter a resistência de um gigante.

Resumo

O POLARIS é um método de treinamento inteligente e de baixo custo que ensina modelos de IA pequenos a escrever histórias longas e criativas através de:

Fornecer feedback detalhado e específico de um editor de IA inteligente.
Mostrar exemplos humanos de alta qualidade para manter o foco em alto nível.

O resultado é uma IA pequena e acessível que escreve histórias longas tão bem quanto as gigantes e caras, sem precisar de um supercomputador para rodar.

Resumo Técnico: POLARIS – Guiando Pequenos Modelos para Escrever Histórias Longas

Declaração do Problema

Pequenos modelos de linguagem de pesos abertos (ex: 9B parâmetros) apresentam dificuldades significativas na escrita criativa de longa duração. Quando incumbidos de gerar histórias de extensão substancial, esses modelos tipicamente exibem um de dois modos de falha: ou ficam muito aquém do comprimento solicitado, ou a qualidade de sua saída degrada precipitamente à medida que a geração se estende. Isso contrasta com modelos de fronteira, que mantêm coerência e consistência estilística ao longo de milhares de tokens. As abordagens de aprendizado por reforço (RL) existentes para geração de longa duração frequentemente dependem de infraestrutura dispendiosa, incluindo grandes modelos base, pré-treinamento contínuo, modelos de recompensa treinados customizados ou conjuntos de dados massivos. O artigo questiona se um pequeno modelo aberto pode tornar-se competitivo neste domínio sem tal escala.

Metodologia

Os autores apresentam o POLARIS (Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting), uma receita de GRPO (Group Relative Policy Optimization) de baixo custo computacional projetada especificamente para escrita criativa de longa duração. O método é aplicado a um modelo base Qwen3.5-9B usando um conjunto de dados de aproximadamente 1.388 pares de prompt–história derivados de 100 antologias de contos compradas comercialmente.

A receita baseia-se em duas inovações técnicas primárias:

1. Recompensa Estruturada de LLM-como-Juiz (LLM-as-a-Judge)

Em vez de treinar um modelo de recompensa escalar separado, o POLARIS emprega um LLM de fronteira (Gemini 3 Flash) como um juiz online durante cada etapa de GRPO. Este juiz utiliza uma rubrica de Qualidade de História estruturada composta por 16 dimensões:

Dimensões Positivas (6): Cumprimento do prompt, arco narrativo, profundidade de personagem, voz, realização de cena e riqueza temática.
Dimensões Negativas (10): Violações de prompt, quebras de coerência, linguagem genérica, excesso de resumo, excesso de explicação, deriva estrutural, problemas de diálogo, erros mecânicos, previsibilidade e prosa exagerada.
Catch-alls (Gerais): Termos de bônus e penalidade para excelência ou falhas não modeladas.

A pontuação bruta é normalizada e combinada com penalidades auxiliares para repetição, incompatibilidade de comprimento e saídas em branco. Crucialmente, a função de recompensa inclui um fator de escala de comprimento sublinear para evitar a inflação de recompensa em saídas curtas e um mecanismo de clipping para estabilizar o treinamento.

2. Injeção de Referência Humana (HRI)

Para abordar o problema de estagnação no RL de código aberto — onde os rollouts da política podem convergir para pontuações de recompensa semelhantes, interrompendo o aprendizado — os autores introduzem a HRI.

Mecanismo: Para cada grupo GRPO, uma história escrita por humanos (forçada pelo professor através da política atual) é inserida como o $(k+1)$ -ésimo membro.
Função: Esta referência humana atua como uma âncora de alta recompensa, mantendo a variância da recompensa dentro do grupo e fornecendo uma pressão de gradiente estável em direção a uma escrita mais forte.
Implementação: A referência é pontuada pela mesma função de recompensa que os rollouts da política, mas é excluída do cálculo da média e do desvio padrão do grupo. Sua vantagem é escalonada por um cronograma de warmup para suavizar a contribuição do gradiente da trajetória de demonstração, garantindo que a atualização permança como um passo de GRPO aumentado por demonstração não enviesado, em vez de um estimador on-policy não enviesado.

Principais Contribuições

Uma Receita de Baixo Custo Computacional: Os autores demonstram que um modelo de 9B pode ser treinado por aproximadamente 48 horas em 4 GPUs A100 (custo total de ~$500) para alcançar um desempenho competitivo em escrita de longa duração.
Rubrica Estruturada sobre Recompensas Escalares: Ao substituir modelos de recompensa treinados por um juiz LLM multidimensional e estruturado, o método evita a necessidade de pipelines de treinamento de modelos de recompensa separados e fornece feedback granular sobre qualidades narrativas específicas.
Injeção de Referência Humana: A introdução da HRI como um mecanismo para prevenir a estagnação do aprendizado em tarefas de código aberto, oferecendo uma maneira simples e eficaz de ancorar atualizações de política sem exigir trajetórias especialistas completas para cada etapa.
Generalização de Comprimento: Os dados de treinamento consistem inteiramente em histórias de até 4.000 palavras. Apesar disso, o modelo resultante, POLARIS–9B, demonstra um desempenho robusto em prompts que solicitam histórias de até 12.000 palavras (3× o comprimento de treinamento).

Resultados

A avaliação abrange cinco benchmarks cobrindo prompts e rubricas in-distribution (ID) e out-of-distribution (OOD), envolvendo mais de 160.000 julgamentos pareados.

Desempenho vs. Modelos Maiores: O POLARIS–9B é competitivo com modelos de pesos abertos três vezes maiores (ex: Qwen3.5-27B, Gemma 4 31B). No EQ-Bench Creative, ele ocupa o 3º lugar entre 15 modelos, atrás apenas de modelos de fronteira (GPT-5.4, Claude Opus 4.6) e referências humanas.
Aderência ao Comprimento: Diferente de muitos modelos de pesos abertos maiores que ou degradam a qualidade ou entregam comprimentos menores do que o solicitado em 8–12k palavras, o POLARIS–9B mantém tanto a qualidade da rubrica quanto a aderência ao comprimento. Ele alcança uma razão de aderência de comprimento de 0.72 em 8–12k palavras enquanto preserva a qualidade da história, enquanto baselines como o Gemma 4 31B frequentemente escrevem histórias significativamente mais curtas para manter a qualidade.
Avaliação Humana: Em uma avaliação humana cega de 60 pares de prompt–história, os anotadores preferiram o POLARIS–9B ao Qwen3.5-9B base (taxa de vitória de 67,5%). A comparação com o Qwen3.5-27B foi estatisticamente indistinguível (taxa de vitória de 51,2%), com comentários humanos destacando a atmosfera, voz e realização de cena mais fortes do POLARIS–9B.
Modos de Falha: O artigo observa que, embora o POLARIS–9B evite a "colapso de qualidade" e o "descontrole de comprimento" vistos em outros modelos, ele ainda pode sofrer de sobrecarga estilística (uso excessivo de jargão ou prosa pesada) e falhas de coerência local (contradição de detalhes).

Significância e Alegações

O artigo alega que a generalização de comprimento serve como um teste de estresse significativo para modelos de escrita criativa. Um modelo que meramente aprende padrões superficiais degradará conforme as histórias exigirem coerência narrativa sustentada e conclusão de arco ao longo de milhares de tokens. A capacidade do POLARIS–9B de reter pontuações de rubrica fortes em 8–12k palavras, apesar de ter sido treinado apenas em dados de até 4k palavras, sugere que a receita GRPO proposta com HRI e julgamento estruturado é um caminho eficaz para alinhar pequenos modelos em tarefas de código aberto com recompensas suaves.

Os autores posicionam este trabalho como uma alternativa prática à abordagem de "escala primeiro", mostrando que, com a receita de treinamento correta, pequenos modelos de pesos abertos podem rivalizar com seus equivalentes muito maiores em escrita de longa duração sem a necessidade de infraestrutura de computação massiva ou dados proprietários. Os resultados sugerem que distinguir modelos próximos neste domínio requer avaliar não apenas a qualidade agregada, mas especificamente como a qualidade e a aderência ao comprimento se mantêm sob condições de transferência distante.