Resumen Técnico: Asignación de Crédito de Tokens Contrastivos de Guía para Optimización de Políticas Discretas

Enunciado del Problema

Los avances recientes en aprendizaje por refuerzo (RL) para modelos generativos, particularmente la Optimización de Políticas Relativas por Grupo (GRPO) y sus variantes como DAPO, han demostrado un rendimiento sólido en dominios que van desde el razonamiento matemático hasta la síntesis de texto a imagen. Sin embargo, estos métodos dependen de recompensas a nivel de muestra, que se difunden uniformemente a través de todos los tokens en una secuencia generada. Esta asignación de crédito uniforme falla en capturar contribuciones a nivel de token finas y detalladas.

En realidad, no todos los tokens son igualmente importantes. En el razonamiento de cadena de pensamiento (CoT), tokens específicos (por ejemplo, derivaciones matemáticas) impulsan la corrección de la respuesta, mientras que otros (por ejemplo, puntuación, verbos de enlace) son relleno. De manera similar, en la generación de texto a imagen, ciertas regiones de la imagen están directamente asociadas con el prompt de texto, mientras que otras (fondos) son menos relevantes. Los métodos existentes de asignación de crédito de tokens a menudo dependen de heurísticas como la confianza del token, los gradientes o la entropía, pero carecen de un mecanismo unificado para identificar regiones semánticamente críticas a través de modalidades visuales y textuales.

Metodología: Optimización de Políticas Contrastivas de Guía (GCPO)

Los autores proponen la Optimización de Políticas Contrastivas de Guía (GCPO), un algoritmo novedoso que asigna ventajas por token contrastando las predicciones del modelo bajo prompts positivos y negativos. El método está inspirado en la Guía sin Clasificador (CFG), una técnica de inferencia estándar en modelos de difusión de texto a imagen.

1. Mecanismo de Guía Contrastiva

GCPO calcula un peso de importancia por token ($\eta$) midiendo la divergencia entre la predicción del modelo dada un prompt positivo ($x$) y un prompt negativo ($x^-$).

• Para Texto a Imagen: El prompt positivo es la entrada del usuario, y el prompt negativo es típicamente una cadena vacía (generación incondicional).
• Para Razonamiento Multimodal (VLMs): Dado que los modelos ajustados por instrucciones no admiten nativamente prompts vacíos, los autores construyen un prompt negativo adjuntando el sufijo de instrucción "genera la respuesta incorrecta" a la pregunta original. Esto crea un contraste entre la creencia implícita del modelo en una respuesta correcta versus una incorrecta.

El peso de importancia se calcula utilizando la divergencia de Kullback-Leibler (KL) entre las distribuciones de tokens bajo estas dos condiciones:
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
Los tokens con valores altos de $\eta$ indican regiones donde la predicción del modelo es altamente sensible al prompt, lo que significa importancia semántica.

2. Normalización Basada en Rangos

Los valores brutos de divergencia KL pueden variar enormemente en escala entre diferentes tareas, prompts y longitudes de secuencia. Las técnicas de normalización estándar como softmax o min-max son propensas a concentrar la masa de probabilidad en valores atípicos (por ejemplo, el primer token). Para abordar esto, GCPO emplea la equalización de histogramas (normalización basada en rangos).

• Los valores $\eta$ no normalizados se convierten a valores de función de distribución acumulada (CDF) dentro de la secuencia.
• Esto asegura que la distribución de pesos normalizados sea consistente entre muestras, independientemente de la escala absoluta de la divergencia, facilitando un entrenamiento estable sin ajuste de hiperparámetros específico de la tarea.

3. Objetivo de Optimización de la Política

Los pesos normalizados ($\eta_{normalizado}$) se utilizan para escalar la ventaja por muestra ($\hat{A}_i$) para obtener una ventaja por token ($\hat{A}^{GCPO}_{i,t}$):
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalizado, i,t} \cdot \hat{A}_i$$
Esta ventaja por token reemplaza la ventaja uniforme en el objetivo estándar de GRPO, permitiendo que la actualización de la política se enfoque más pesadamente en tokens semánticamente críticos.

Contribuciones Clave

1. Asignación de Crédito de Token Novel: GCPO introduce un método para derivar pesos de importancia por token contrastando prompts positivos y negativos, identificando efectivamente pasos clave de razonamiento o regiones visuales sin requerir recompensas explícitas a nivel de token.
2. Extensión a Dominios de Lenguaje y Multimodales: Mientras que CFG es estándar en la generación de imágenes, el artículo extiende exitosamente este concepto a la generación de lenguaje discreto y al razonamiento multimodal diseñando una estrategia específica de prompt negativo ("genera la respuesta incorrecta") que revela las creencias implícitas de corrección del modelo.
3. Normalización Robusta: La propuesta de normalización basada en rangos (equalización de histogramas) resuelve los problemas de inestabilidad asociados con métricas de divergencia brutas en el entrenamiento de RL, asegurando una optimización fluida a través de diversas tareas.
4. Generalizabilidad: Se demuestra que el método es efectivo tanto en generación de texto a imagen como en tareas complejas de razonamiento multimodal, superando las líneas base existentes.

Resultados Experimentales

Los autores evaluaron GCPO en dos benchmarks principales:

Generación de Texto a Imagen

• Benchmark: GenEval.
• Modelo Base: Janus-Pro-7B.
• Resultados: GCPO logró una puntuación general de 0.89, superando al modelo base (+0.09), al método RL anterior Janus-Pro-R1 y a la línea base GRPO (0.85). Igualó el rendimiento de modelos significativamente más grandes (por ejemplo, Qwen-Image-2507, BAGEL).
• Observación: Las ganancias más significativas fueron en las tareas de "Conteo" y "Atribución de Color", donde la alineación precisa a nivel de token con el prompt es crítica.

Razonamiento Multimodal

• Benchmarks: MathVerse, MathVision, MM12K, LogicVista y MMMU-Pro.
• Modelos Base: Qwen2.5-VL-7B y Qwen3-VL-8B.
• Comparación: GCPO se comparó contra GRPO, DAPO y VPPO (un trabajo anterior centrado en tokens dependientes visualmente).
• Resultados: GCPO superó consistentemente a todas las líneas base. Por ejemplo, en el modelo Qwen3-VL-8B, GCPO alcanzó 55.3% en MMMU-Pro, superando a VPPO (52.4%) y DAPO (50.5%).
• Ablación: El estudio confirmó que la divergencia KL es la métrica más efectiva en comparación con la Ganancia de Información o la diferencia absoluta, y que el prompt negativo "genera la respuesta incorrecta" supera a otras estrategias como imágenes en blanco o prompts genéricos.

Significado y Afirmaciones

El artículo afirma que GCPO es una estrategia de optimización simple, general y escalable para el aprendizaje de políticas discretas. Su significado radica en:

• Refinar Señales de Aprendizaje: Al pasar de recompensas uniformes a nivel de muestra a ventajas a nivel de token finas y detalladas, GCPO permite que los modelos se enfoquen en la "sustancia" de los rastros de razonamiento y las regiones visuales relevantes, en lugar de tratar todos los tokens por igual.
• Conectar Inferencia y Entrenamiento: Adapta exitosamente una técnica de tiempo de inferencia (CFG) en un mecanismo de conformación de recompensas de tiempo de entrenamiento, demostrando que las señales contrastivas pueden guiar la optimización de políticas incluso en dominios donde CFG no se utiliza explícitamente durante el muestreo.
• Superioridad sobre Heurísticas: A diferencia de los métodos anteriores de asignación de crédito de tokens que dependen de heurísticas estáticas (confianza, gradientes), GCPO deriva pesos dinámicamente basados en la propia sensibilidad del modelo a las condiciones del prompt, proporcionando una señal más fundamentada semánticamente.

Los autores notan limitaciones, específicamente que el método requiere que el modelo tenga capacidades iniciales para diferenciar respuestas correctas de incorrectas (para responder al prompt negativo) y es estrictamente aplicable a tareas de RL dependientes de prompts. Sin embargo, afirman que GCPO allana el camino para avances futuros en la optimización de políticas discretas al proporcionar un mecanismo robusto para la asignación de crédito a nivel de token.