Resumen Técnico: Jugando con Palabras, Mejorando con Recompensas

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) se enfrentan cada vez más a la tarea de resolver problemas complejos que requieren creatividad, definida como la capacidad de navegar vastos espacios de soluciones y generar soluciones no convencionales pero efectivas. Sin embargo, el entrenamiento de LLMs para la creatividad se ve obstaculizado por la naturaleza subjetiva del concepto; el juicio humano sobre lo que constituye un trabajo "creativo" es inconsistente, lo que dificulta la escalabilidad y genera ruido en el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) estándar. El desafío central es cómo entrenar explícitamente a los LLMs para que sean genuinamente creativos sin depender de la costosa y subjetiva anotación de preferencias humanas.

Metodología

Los autores proponen un marco que reformula la creatividad como un juego con resultados objetivamente verificables, evitando la necesidad de juicio humano.

1. Entorno de Entrenamiento: Codenames
El estudio utiliza Codenames, un juego de asociación de palabras, como entorno de entrenamiento. El juego ejerce inherentemente los dos ejes centrales de la cognición creativa:

• Pensamiento Divergente: Generar asociaciones remotas que abarcan múltiples conceptos.
• Pensamiento Convergente: Seleccionar la única mejor asociación que identifica de manera única los objetivos mientras evita los no objetivos.

La configuración de entrenamiento simplifica el juego completo en un Proceso de Decisión de Markov (MDP) que consta de dos tareas de un solo turno:

• Generación de Pistas: Dado un conjunto de palabras objetivo ($T$) y palabras no objetivo ($N$), el modelo genera una única palabra pista ($w_{clue}$) que se conecta con tantas objetivos como sea posible, evitando asociaciones con las no objetivo.
• Generación de Adivinanzas: Dado un tablero de palabras ($B = T \cup N$) y una pista precalculada, el modelo adivina a qué palabras se refiere la pista.

2. Síntesis de Datos y Currículo
Para garantizar la manejabilidad y la variedad, los autores generaron un conjunto de datos de 3.680 ejemplos de entrenamiento. Crearon un grupo de 1.000 temas diversos y palabras asociadas (estratificados por frecuencia en comunes y raras). Los datos de entrenamiento siguen un currículo de dificultad creciente:

• Simple: Objetivos extraídos de palabras comunes.
• Moderado/Avanzado: Proporción creciente de palabras raras.
• Experto: Objetivos extraídos de palabras raras mezcladas con distractores del tema no objetivo.

3. Aprendizaje por Refuerzo con Recompensas Verificables (RLVR)
En lugar de retroalimentación humana, los modelos se entrenan utilizando RLVR. Una política "juez" congelada (Google Gemini Flash-2.5) evalúa la salida del modelo.

• Función de Recompensa: La recompensa se calcula basándose en la precisión del bucle de generación de adivinanzas. Premia los aciertos correctos en los objetivos y penaliza los aciertos en no objetivos o las adivinanzas fuera del tablero. La recompensa está acotada en $[-2, 1]$.
• Algoritmo: Los autores emplean el objetivo DAPO (Optimización de Política Adaptativa de Deepseek) con el estimador de ventaja GRPO. Ajustaron finamente tres modelos Qwen3 (1.7B, 4B y 8B) utilizando ajuste fino de parámetros completos durante 2 épocas (230 pasos de actualización). No se utilizó regularización de divergencia KL.

Contribuciones Clave

1. Entrenamiento de Creatividad mediante Recompensas Verificables: El artículo demuestra que la creatividad puede entrenarse eficazmente utilizando un entorno de juego estructurado con recompensas objetivas, eliminando la necesidad de anotación de preferencias humanas.
2. Compensación Precisión-Diversidad Dependiente de la Escala: El estudio revela un hallazgo crítico: el efecto del entrenamiento asociativo en las capacidades del modelo depende de la escala del modelo.
   • Modelos Pequeños (1.7B, 4B): Obtienen mejoras sustanciales en la precisión del razonamiento (tareas de matemáticas y ciencias), pero a menudo experimentan un colapso en la diversidad creativa (tamaño del vocabulario y diversidad semántica).
   • Modelo Grande (8B): Obtiene mejoras consistentes en las métricas de creatividad (pensamiento divergente, generación narrativa) con solo una degradación menor en la precisión del razonamiento.
3. Solución Escalable: El enfoque proporciona una palanca práctica para fortalecer a los LLMs de diferentes tamaños, ofreciendo ganancias de razonamiento para modelos más pequeños y ganancias de creatividad para modelos más grandes, utilizando una única receta de entrenamiento unificada.

Resultados

Los modelos se evaluaron en 10 puntos de referencia de creatividad (que abarcan pensamiento divergente/convergente, humor, metáfora y escritura creativa) y 4 puntos de referencia de razonamiento (aritmética, matemáticas competitivas, ciencias de posgrado).

• Ganancias en Creatividad: El modelo de 8B mostró ganancias modestas pero consistentes en 8 de los 10 puntos de referencia de creatividad. Fue el único modelo que mejoró en la diversidad divergente (DAT DSI y tamaño del vocabulario). Sin embargo, retrocedió en NYT Connections, atribuido a una tendencia de "sobreanalizar" donde el modelo violó las restricciones de la tarea debido a trazas de razonamiento extendidas.
• Ganancias en Razonamiento: Los modelos más pequeños (1.7B y 4B) mostraron mejoras sustanciales en tareas de razonamiento. El modelo de 1.7B mejoró en los cuatro puntos de referencia de razonamiento (por ejemplo, la precisión en AIME24 aumentó de 0.43 a 0.57). El modelo de 4B mejoró en tres. Por el contrario, el modelo de 8B vio disminuciones en el rendimiento de razonamiento (por ejemplo, AIME24 bajó de 0.80 a 0.67).
• Mecanismo: Los autores atribuyen esta división a la interacción entre el aprendizaje asociativo y el RLVR. Los modelos más pequeños, que anteriormente luchaban con problemas difíciles, aprenden a resolver los problemas "más fáciles" al alcance con alta precisión. Los modelos más grandes, ya capaces de resolver estos, son impulsados por la señal de recompensa a explorar asociaciones diversas y más difíciles, mejorando así la creatividad a costa de la precisión estricta.

Significado y Afirmaciones

El artículo afirma presentar una solución escalable y efectiva para entrenar LLMs para la creatividad sin juicio humano. Al plantear la creatividad como un juego de recompensas verificables, los autores demuestran que un único paradigma de entrenamiento puede producir resultados distintos y beneficiosos dependiendo de la escala del modelo:

• Para modelos más pequeños, el método actúa como un motor de precisión, agudizando las capacidades de razonamiento.
• Para modelos más grandes, el método actúa como un motor de diversidad, ampliando las asociaciones creativas.

Los autores concluyen que esta compensación dependiente de la escala es una propiedad clave del entrenamiento RLVR asociativo. Destacan que su enfoque reduce la barrera de recursos para la investigación en creatividad al depender de datos sintéticos y recompensas verificables en lugar de costosa anotación humana, haciéndolo accesible para modelos tan pequeños como 1.7B de parámetros. El estudio advierte que, aunque la diversidad creativa mejora, la precisión puede verse comprometida, sugiriendo que estos modelos no deben utilizarse en contextos que requieren una precisión factual estricta (por ejemplo, asesoramiento médico o legal).