💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

El artículo presenta POLARIS, una receta de entrenamiento GRPO de bajo cómputo que combina recompensas de LLM como juez con la inyección de referencias humanas para permitir que modelos pequeños como Qwen3.5-9B generen historias de formato largo y alta calidad que rivalicen con modelos mucho más grandes, manteniendo al mismo tiempo una fuerte adherencia a la longitud y generalización.

Autores originales: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: Los escritores pequeños se cansan

Imagina que tienes un robot escritor muy inteligente pero pequeño (un "modelo pequeño"). Si le pides que escriba una historia corta, lo hace muy bien. Pero si le pides que escriba una novela larga, suceden dos cosas malas:

Se rinde: Deja de escribir mucho antes de que la historia termine.
Pierde la cabeza: La historia se vuelve desordenada, repetitiva o aburrida a medida que avanza.

Las supercomputadoras grandes y costosas (como los "modelos de frontera") pueden escribir historias largas bien, pero son demasiado caras para que la mayoría de la gente las use. Los autores de este artículo se preguntaron: "¿Podemos enseñar a un robot pequeño y barato a escribir historias largas y de alta calidad sin necesidad de una supercomputadora?"

La solución: POLARIS

Crearon una receta de entrenamiento llamada POLARIS. Piensa en esto como un método de entrenamiento especial para el robot. En lugar de simplemente dejar que el robot practique solo, añadieron dos ingredientes secretos a su campamento de entrenamiento.

Ingrediente 1: El "Editor Estricto" (El Juez LLM)

Normalmente, cuando se entrena una IA, se utiliza una "tarjeta de puntuación" simple que solo dice "Bueno" o "Malo". Eso es como un profesor que le da a un estudiante una nota de "C" sin decirle por qué.

POLARIS utiliza un Juez LLM de Frontera (una IA muy avanzada) que actúa como un Editor Estricto.

Cómo funciona: En lugar de solo dar una puntuación, este Editor lee la historia y completa una Rúbrica detallada (una lista de verificación).
La Lista de Verificación: Observa 16 aspectos diferentes, como "¿Tuvo el personaje una voz clara?" (Bien) o "¿Se volvió repetitiva la historia?" (Mal).
La Analogía: Imagina un taller de escritura donde un autor famoso lee tu historia y te da notas específicas: "Tu diálogo es demasiado rígido" o "El final se siente apresurado". El robot aprende de estas notas específicas, no solo de una calificación genérica.

Ingrediente 2: El "Ancla Humana" (Inyección de Referencia Humana)

Esta es la parte más única. En un grupo de entrenamiento típico, el robot genera 5 historias diferentes y la computadora elige la mejor para aprender de ella. Pero a veces, las 5 historias son mediocres y el robot se queda atrapado en un bucle de escribir historias "aceptables" pero no "grandes".

POLARIS añade un Ancla Humana a cada grupo.

Cómo funciona: Para cada instrucción (prompt), el sistema obliga al robot a mirar una historia escrita por un humano real junto a sus propios intentos.
La Analogía: Imagina un grupo de estudiantes tratando de resolver un problema de matemáticas. Normalmente, solo comparan sus respuestas entre sí. Pero en esta clase, el profesor pone un ejemplo perfectamente resuelto en la pizarra. Los estudiantes no solo están adivinando; tienen una "Estrella Polar" hacia la cual apuntar. Incluso si el robot no copia la historia humana, ver ese ejemplo de alta calidad mantiene alta su "ambición" y evita que se conforme con una escritura de baja calidad.

Los Resultados: El modelo "Pequeño" que golpea por encima de su peso

Los autores tomaron un modelo estándar de 9 mil millones de parámetros (Qwen3.5-9B) y lo entrenaron usando este método en unos 1,400 relatos cortos.

La Sorpresa: Aunque el robot fue entrenado solo con historias de hasta 4,000 palabras, aprendió a escribir historias de hasta 12,000 palabras (¡3 veces más largas!) sin perder la calidad.
La Comparación:
- Vs. Modelo Base: Es mucho mejor que la versión no entrenada.
- Vs. Modelos Gigantes: Rinde casi tan bien como modelos que son 3 veces más grandes (27 mil millones de parámetros) y mucho más caros.
- La "Prueba de Estrés": La mayoría de los modelos pequeños colapsan cuando se les pide escribir historias largas. POLARIS es el único modelo pequeño que se mantuvo fuerte, manteniendo la coherencia de la historia y terminando realmente la longitud solicitada.

Por qué esto importa

El artículo argumenta que la "Generalización de Longitud" (la capacidad de escribir más largo de lo que fuiste entrenado) es una excelente prueba de estrés.

La Metáfora: Si entrenas a un corredor para correr una carrera de 1 milla, puede que se canse a las 2 millas. Si puede correr 3 millas sin detenerse, demuestra que tiene verdadera resistencia, no solo un estallido de velocidad corto.
POLARIS demostró que con el "entrenamiento" adecuado (el Editor Estricto y el Ancla Humana), un modelo pequeño puede tener la resistencia de uno gigante.

Resumen

POLARIS es un método de entrenamiento inteligente y de bajo costo que enseña a los modelos de IA pequeños a escribir historias largas y creativas mediante:

Darles comentarios detallados y específicos de un editor de IA inteligente.
Mostrarles ejemplos humanos de alta calidad para mantener su ambición alta.

El resultado es una IA pequeña y asequible que escribe historias largas tan bien como las masivas y costosas, sin necesidad de una supercomputadora para ejecutarse.

Resumen Técnico: POLARIS – Guiando a modelos pequeños para escribir historias largas

Declaración del Problema

Los modelos de lenguaje de pequeño tamaño y pesos abiertos (por ejemplo, de 9B de parámetros) presentan dificultades significativas en la escritura creativa de formato largo. Cuando se les solicita la generación de historias de longitud sustancial, estos modelos suelen exhibir uno de dos modos de fallo: o bien no alcanzan la longitud solicitada, o su calidad de salida se degrada precipitadamente a medida que la generación se extiende. Esto contrasta con los modelos de frontera, que mantienen la coherencia y la consistencia estilística a lo largo de miles de tokens. Los enfoques de aprendizaje por refuerzo (RL) existentes para la generación de formato largo suelen depender de una infraestructura costosa, que incluye modelos base grandes, preentrenamiento continuo, modelos de recompensa entrenados de forma personalizada o conjuntos de datos masivos. El artículo plantea si un modelo pequeño de pesos abiertos puede volverse competitivo en este dominio sin tal escala.

Metodología

Los autores presentan POLARIS (Optimización de Política con recompensas de LLM como juez y la Inyección de Referencia Anclada para la Escritura de Historias), una receta de GRPO (Optimización de Política Relativa de Grupo) de bajo cómputo diseñada específicamente para la escritura creativa de formato largo. El método se aplica a un modelo base Qwen3.5-9B utilizando un conjunto de datos de aproximadamente 1,388 pares de consigna-historia derivados de 100 antologías de cuentos cortos adquiridas comercialmente.

La receta se basa en dos innovaciones técnicas primarias:

1. Recompensa Estructurada de LLM-como-Juez

En lugar de entrenar un modelo de recompensa escalar separado, POLARIS emplea un LLM de frontera (Gemini 3 Flash) como un juez en línea durante cada paso de GRPO. Este juez utiliza una rúbrica de Calidad de la Historia estructurada que consta de 16 dimensiones:

Dimensiones Positivas (6): Cumplimiento de la consigna, arco narrativo, profundidad de los personajes, voz, realización de escenas y riqueza temática.
Dimensiones Negativas (10): Violaciones de la consigna, rupturas de coherencia, lenguaje genérico, exceso de resumen, exceso de explicación, deriva estructural, problemas de diálogo, errores mecánicos, previsibilidad y prosa excesiva.
Conceptos Generales: Términos de bonificación y penalización para la excelencia o el fallo no modelados.

La puntuación bruta se normaliza y se combina con penalizaciones auxiliares por repetición, desajuste de longitud y salidas en blanco. Crucialmente, la función de recompensa incluye un factor de escalado de longitud sublineal para evitar la inflación de la recompensa en salidas cortas y un mecanismo de recorte para estabilizar el entrenamiento.

2. Inyección de Referencia Humana (HRI)

Para abordar el problema del estancamiento en el RL de código abierto —donía las ejecuciones de la política pueden converger a puntuaciones de recompensa similares, deteniendo el aprendizaje— los autores introducen la HRI.

Mecanismo: Para cada grupo de GRPO, una historia escrita por un humano (forzada por el profesor a través de la política actual) se inserta como el miembro $(k+1)$ .
Función: Esta referencia humana actúa como un ancla de alta recompensa, manteniendo la varianza de la recompensa dentro del grupo y proporcionando una presión de gradiente estable hacia una escritura más fuerte.
Implementación: La referencia es calificada por la misma función de recompensa que las ejecuciones de la política, pero se excluye del cálculo de la media y la desviación estándar del grupo. Su ventaja se escala mediante un esquema de calentamiento para amortiguar la contribución del gradiente de la trayectoria de demostración, asegurando que la actualización siga siendo un paso de GRPO aumentado por demostración sesgado en lugar de un estimador de política en línea imparcial.

Contribuciones Clave

Una Receta de Bajo Cómputo: Los autores demuestran que un modelo de 9B puede ser entrenado durante aproximadamente 48 horas en 4 GPUs A100 (costo total de ~$500) para lograr un rendimiento competitivo en la escritura de formato largo.
Rúbrica Estructurada sobre Recompensas Escalares: Al reemplazar los modelos de recompensa entrenados con un LLM-como-juez multidimensional y estructurado, el método evita la necesidad de canalizaciones de entrenamiento de modelos de recompensa separados y proporciona retroalimentación granular sobre cualidades narrativas específicas.
Inyección de Referencia Humana: La introducción de la HRI como un mecanismo para prevenir el estancamiento del aprendizaje en tareas de código abierto, ofreciendo una forma simple pero efectiva de anclar las actualizaciones de la política sin requerir trayectorias expertas completas para cada paso.
Generalización de Longitud: Los datos de entrenamiento consisten enteramente en historias de hasta 4,000 palabras. A pesar de esto, el modelo resultante, POLARIS–9B, demuestra un rendimiento robusto en consignas que solicitan historias de hasta 12,000 palabras (3× la longitud de entrenamiento).

Resultados

La evaluación abarca cinco bancos de pruebas que cubren consignas y rúbricas tanto de distribución interna (ID) como de distribución externa (OOD), involucrando más de 160,000 juicios de pares.

Rendimiento frente a Modelos más Grandes: POLARIS–9B es competitivo con modelos de pesos abiertos tres veces más grandes (por ejemplo, Qwen3.5-27B, Gemma 4 31B). En EQ-Bench Creative, ocupa el 3er lugar entre 15 modelos, situándose solo detrás de los modelos de frontera (GPT-5.4, Claude Opus 4.6) y las referencias humanas.
Adherencia a la Longitud: A diferencia de muchos modelos de pesos abiertos más grandes que degradan su calidad o no alcanzan las longitudes solicitadas a las 8–12k palabras, POLARIS–9B mantiene tanto la calidad de la rúbrica como la adherencia a la longitud. Logra una ratio de adherencia a la longitud de 0.72 a las 8–12k palabras mientras preserva la calidad de la historia, mientras que los modelos base como Gemma 4 31B a menudo escriben historias significativamente más cortas para mantener la calidad.
Evaluación Humana: En una evaluación humana ciega de 60 pares de consigna-historia, los anotadores prefirieron POLARIS–9B sobre el modelo base Qwen3.5-9B (tasa de victoria del 67.5%). La comparación con Qwen3.5-27B fue estadísticamente indistinguible (tasa de victoria del 51.2%), con comentarios humanos destacando la atmósfera, la voz y la realización de escenas más fuertes de POLARIS–9B.
Modos de Fallo: El artículo señala que, aunque POLARIS–9B evita el "colapso de calidad" y la "huida de la longitud" vistos en otros modelos, aún puede sufrir de sobrecarga estilística (uso excesivo de jerga o prosa pesada) y fallos de coherencia local (contradicciones en detalles).

Significado y Reivindicaciones

El artículo sostiene que la generalización de longitud sirve como una prueba de estrés significativa para los modelos de escritura creativa. Un modelo que simplemente aprende patrones superficiales se degradará a medida que las historias requieran una coherencia narrativa sostenida y la completación de arcos a lo largo de miles de tokens. La capacidad de POLARIS–9B para retener puntuaciones de rúbrica sólidas a las 8–12k palabras, a pesar de haber sido entrenado solo con datos de hasta 4k palabras, sugiere que la receta de GRPO propuesta con HRI y juicio estructurado es un camino efectivo para alinear modelos pequeños en tareas de código abierto con recompensas suaves.

Los autores posicionan este trabajo como una alternativa práctica al enfoque de "primero la escala", mostrando que, con la receta de entrenamiento adecuada, los modelos pequeños de pesos abiertos pueden rivalizar con sus contrapartes mucho más grandes sin la necesidad de una infraestructura de cómputo masiva o datos propietarios. Los resultados sugieren que distinguir los modelos cercanos en este dominio requiere evaluar no solo la calidad agregada, sino específicamente cómo la calidad y la adherencia a la longitud se mantienen bajo condiciones de transferencia lejana.