💬 NLP

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

El artículo presenta Octopus, un marco de aprendizaje por refuerzo que mejora la eficiencia de muestreo y estabiliza el entrenamiento para modelos de visión y lenguaje mediante la síntesis de ejemplos densos de autocorrección a través de la recombinación de trayectorias y una estrategia de enmascaramiento de respuestas, lo que resulta en el modelo de vanguardia Octopus-8B.

Autores originales: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante muy inteligente (un Modelo de Lenguaje-Visión) a resolver acertijos complejos que involucran imágenes y palabras. El estudiante es bueno, pero a veces comete errores en su razonamiento. El objetivo de este artículo es enseñarle al estudiante un superpoder: la Autocorrección. Esta es la capacidad de darse cuenta de: "Espera, arruiné ese paso", y arreglarlo inmediatamente dentro de la misma respuesta, en lugar de simplemente volver a intentar adivinar desde cero.

Aquí es donde los autores, Yi Ding y su equipo, resolvieron el problema de enseñar esta habilidad, explicado de forma sencilla.

El Problema: La "Aguja en un Pajar"

Normalmente, cuando entrenamos estos modelos de IA utilizando un método llamado Aprendizaje por Refuerzo (RL), les damos una recompensa solo al final: "Correcto" o "Incorrecto".

El Problema: El modelo rara vez descubre por sí solo cómo corregir sus propios errores. Es como intentar enseñarle a alguien a editar su ensayo diciéndole únicamente "A" o "F" al final. Podría estar adivinando, pero no aprenderá la habilidad específica de detectar y corregir errores.
La Realidad: En una sesión de entrenamiento estándar, los momentos efectivos de "¡uy, lo arreglé!" son increíblemente raros. El artículo encontró que, menos del 1% de las veces, el modelo se corrige a sí mismo de forma natural. Intentar aprender de eventos tan raros es como intentar aprender a nadar esperando a que aparezca un tiburón una vez al año.

La Solución: "Octopus" (El Truco de la Aumentación)

Los autores se dieron cuenta de que, aunque el modelo rara vez corrige sus propios errores, a menudo genera tanto una respuesta incorrecta como una correcta durante la misma sesión de entrenamiento. Llaman a su solución Octopus.

Piensa en el proceso de entrenamiento como un chef haciendo sopa.

RL Estándar: El chef prueba la sopa al final. Si está mala, la tira y comienza de nuevo.
Octopus: El chef se da cuenta de que, mientras cocinaba, accidentalmente hizo dos versiones de la sopa: una salada (incorrecta) y una perfecta (correcta). En lugar de tirar la salada, Octopus dice: "¡Oye, emparejemos estas dos!".
La Magia: Al tomar el camino "incorrecto" y el camino "correcto" de los mismos intentos y obligarlos a sentarse uno al lado del otro, el modelo ve un ejemplo claro de: "Aquí está el error, y aquí está la corrección".
El Resultado: Convierten un raro momento de "¡ajá!" en docenas de lecciones claras y explícitas. Lo llaman Aumentación de Rollout. Es como tomar una foto de un error y una foto de la corrección, y luego fotocopiarlas 100 veces para que el estudiante pueda estudiarlas repetidamente sin necesidad de cocinar 100 sopas nuevas.

La Estrategia: Entrenamiento de Dos Etapas (El Truco del "Enmascaramiento")

Enseñar al modelo a corregir errores es complicado porque podría confundirse. Podría pensar: "¿Debería intentar dar la respuesta bien a la primera, o debería equivocarme a propósito para poder arreglarlo después?". Esto se llama un "conflicto".

Para resolver esto, los autores utilizan un enfoque de Entrenamiento de Dos Etapas con una técnica especial de "enmascaramiento" (cubrir partes de la respuesta):

Etapa 1: La Clase de "Arreglarlo".
- Se le dice al modelo que ignore la primera parte de su respuesta (el error).
- Solo se le permite aprender de la segunda parte (la corrección).
- Analogía: Imagina a un profesor cubriendo la primera mitad de un problema matemático y calificando al estudiante únicamente por cómo arregló el error en la segunda mitad. Esto asegura que el estudiante aprenda la habilidad de corregir sin distraerse intentando que la primera parte sea perfecta de inmediato.
Etapa 2: La Clase de "Maestro".
- Una vez que el estudiante es bueno corrigiendo errores, el profesor descubre la primera parte.
- Ahora, el modelo aprende a hacer ambas cosas: dar la respuesta bien a la primera y corregirla si se equivoca.
- Analogía: Ahora el estudiante toma el examen completo. Debido a que practicó tanto la corrección de errores en la Etapa 1, es menos probable que entre en pánico cuando cometa un error, y puede recuperarse más rápido.

Los Resultados: Más Rápido y Más Inteligente

El artículo presenta un modelo llamado Octopus-8B.

Rendimiento: Se convirtió en el mejor modelo de código abierto de su tamaño, superando a otros modelos top (como Qwen3-VL-Thinking) en 7 pruebas que involucran matemáticas, diagramas y conocimiento general.
Eficiencia: Debido a que Octopus recicla los datos de entrenamiento (reutilizando los pares de "error" y "acierto"), aprende mucho más rápido. Logró mejores resultados utilizando solo el 72% del tiempo de entrenamiento requerido por los mejores métodos anteriores.

Resumen

El artículo argumenta que, para hacer a la IA más inteligente, no debemos limitarnos a esperar que accidentalmente aprenda cómo corregir sus errores. En su lugar, debemos fabricar esos momentos de aprendizaje emparejando sus errores con sus éxitos. Al hacer esto, y al enseñar la habilidad de "corregir" por separado de la habilidad de "responder", la IA se convierte en un pensador más robusto y capaz de autocorregirse.

Conclusión Clave: No necesitas más datos; necesitas reorganizar los datos que ya tienes para que las lecciones sean más claras.

Resumen Técnico: Aprendizaje de la Autocorrección en Modelos de Visión-Lenguaje mediante la Aumentación de Rollouts

Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLM) con capacidades de razonamiento han mostrado un rendimiento impresionante en tareas complejas, exhibiendo a menudo comportamientos emergentes de "autocorrección" (por ejemplo, "momentos aha") donde el modelo revisa su razonamiento dentro de una misma respuesta. Sin embargo, los paradigmas actuales de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) tienen dificultades para enseñar o controlar explícitamente esta capacidad.

El desafío central es la extrema escasez de señales de autocorrección efectivas. En el entrenamiento de RL estándar, los comportamientos de autocorrección (específicamente las transiciones de un razonamiento incorrecto a uno correcto, o incorrecto → correcto) emergen solo raramente e implícitamente. Los métodos existentes que intentan fomentar la reflexión mediante el uso de prompts o el modelado de recompensas (reward shaping) siguen dependiendo de estos comportamientos emergentes esporádicos y no controlados. Además, los intentos de optimizar conjuntamente el razonamiento directo y la autocorrección utilizando recompensas binarias estándar suelen conducir al hackeo de recompensas (donde el modelo genera deliberadamente respuestas iniciales incorrectas para activar una corrección trivial) y al colapso de modo, lo que desestabiliza el entrenamiento.

Metodología: Marco de Trabajo Octopus

Para abordar estos desafíos, los autores proponen Octopus, un marco de aumentación de rollouts diseñado para sintetizar ejemplos de autocorrección densos y explícitos a partir de rollouts de RL estándar sin sobrecarga computacional adicional. La metodología consta de tres componentes principales:

1. Aumentación de Rollouts Específica para la Corrección

Los autores observan que dentro de un grupo de rollout de RL estándar (un conjunto de $n$ respuestas generadas para una sola entrada), a menudo coexisten trayectorias correctas e incorrectas. En lugar de esperar a que el modelo genere espontáneamente una secuencia de incorrecto → correcto, Octopus construye explícitamente estos pares recombinando los rollouts existentes.

Mecanismo: Dados $n$ rollouts, el sistema empareja la respuesta previa a la corrección ( $o_1$ ) de un rollout con la respuesta posterior a la corrección ( $o_2$ ) de otro. Este emparejamiento combinatorio genera $n^2$ muestras potenciales.
Categorización: Estos pares se dividen en cuatro categorías: incorrecto → correcto (positivo), correcto → correcto (positivo), correcto → incorrecto (negativo) y incorrecto → incorrecto (negativo).
Estrategia de Muestreo: Para garantizar la estabilidad del entrenamiento, el marco selecciona una mezcla equilibrada de muestras positivas y negativas de este grupo aumentado (por ejemplo, seleccionando 16 muestras equilibradas de 64 pares generados cuando $n=8$ ). Esto aumenta simultáneamente la eficiencia de la muestra mediante la reutilización de los rollouts y estabiliza la optimización al equilibrar la distribución de la ventaja (advantage distribution).

2. Estrategia de Enmascaramiento de Respuesta (Entrenamiento en Dos Etapas)

Para resolver el conflicto entre el aprendizaje del razonamiento directo y la autocorrección, los autores introducen un flujo de entrenamiento de dos etapas con una estrategia de enmascaramiento de respuesta:

Etapa I (Aprendizaje Únicamente de la Autocorrección): El modelo se entrena para mejorar la respuesta posterior a la corrección ( $o_2$ ) mientras trata la respuesta previa a la corrección ( $o_1$ ) como un contexto fijo. La pérdida se enmascara para todos los tokens en $o_1$ , y se aplica una restricción de divergencia KL para mantener $o_1$ cerca del modelo de referencia. Esto aisla la señal de aprendizaje para la autocorrección, evitando que el modelo realice un "hackeo de recompensa" al degradar $o_1$ para aumentar artificialmente la señal de corrección.
Etapa II (Co-evolución del Razonamiento y la Corrección): El modelo optimiza conjuntamente ambas capacidades. Crucialmente, los autores aplican un desenmascaramiento selectivo: $o_1$ solo se desenmascara (y, por tanto, se actualiza) para las muestras donde la corrección permanece consistente antes y después del token de corrección (es decir, correcto → correcto o incorrecto → incorrecto). Para las muestras que exhiben una autocorrección efectiva (incorrecto → correcto), $oya_1$ permanece enmascarado para evitar que el gradiente refuerce el error inicial.

3. Construcción de Datos de Arranque en Frío (Cold-Start)

Antes del entrenamiento de RL, se emplea una etapa de ajuste fino supervisado (SFT) de arranque en frío para enseñar al modelo el formato de salida específico ( $o_1 \oplus \langle sc \rangle \oplus o_2$ ). Los autores encuentran que el muestreo mixto —donde $o_1$ se muestrea del modelo de política y $o_2$ se muestrea de un modelo profesor más fuerte— es superior al muestreo dentro de la distribución, ya que evita el colapso de entropía y proporciona ejemplos de corrección de mayor calidad para la inicialización.

Contribuciones Clave

Identificación de la Escasez: El artículo identifica que las señales de autocorrección efectivas son extremadamente escasas en los rollouts de RL estándar (a menudo <1% de las muestras) y demuestra que estas señales pueden densificarse emparejando trayectorias correctas e incorrectas existentes.
Aumentación Octopus: Un nuevo marco que sintetiza ejemplos densos de autocorrección mediante la recombinación de rollouts, mejorando la eficiencia de la muestra y la estabilidad del entrenamiento sin costes de generación adicionales.
Optimización Desacoplada: Una estrategia de enmascaramiento de respuesta que logra desacoplar el aprendizaje de la autocorrección del razonamiento directo, evitando el hackeo de recompensas y la inestabilidad asociados con la optimación conjunta.
Modelo Octopus-8B: Un VLM de razonamiento que alcanza el rendimiento de estado del arte (SoTA) entre los modelos de código abierto de tamaño comparable.

Resultados

El modelo propuesto Octopus-8B fue evaluado en 7 benchmarks (incluyendo MathVista, MathVerse, WeMath, HallusionBench, MMStar, MMMU y CharXiv).

Rendimiento: Octopus-8B logra una precisión promedio del 71.7%, superando al Qwen3-VL-8B-Instruct base por 9.5 puntos y a la variante de razonamiento mejorado oficial (Qwen3-VL-8B-Thinking) por 1.2 puntos. Supera al mejor baseline de RLVR (GSPO) por 1.0 punto.
Eficiencia: A pesar de utilizar 16 rollouts por paso (vía aumentación), Octopus requiere solo 0.72× el tiempo de entrenamiento por paso en comparación con el mejor baseline de RLVR (GSPO con 16 rollouts), ya que reutiliza la generación de solo 8 rollouts.
Estudios de Ablación: Eliminar la aumentación causa una caída significativa en el rendimiento (4.3 puntos), confirmando que las ganancias provienen de señales de autocorrección enriquecidas y no solo de un mayor tamaño de muestra. Eliminar la Etapa I provoca una caída de 1.9 puntos, validando la necesidad del aprendizaje desacoplado.
Escalado en Tiempo de Prueba (Test-Time Scaling): El modelo demuestra una autocorrección controlable; añadir tokens <sc> adicionales durante la inferencia mejora aún más la precisión y la eficiencia de los tokens, lo que indica que la capacidad es generalizable y escalable.
Generalización: El modelo entrenado con datos de visión-lenguaje también mejora el rendimiento en benchmarks exclusivamente de texto (AIME2024, MMLU-Pro), lo que sugiere que la autocorrección es una estrategia agnóstica a la modalidad.

Significado y Reivindicaciones

El artículo afirma que la autocorrección es una capacidad crucial para un razonamiento robusto en VLM, pero ha sido difícil de aprender explícitamente mediante RL debido a la escasez de señales y los conflictos de optimización. Al proponer Octopus, los autores demuestran que:

Sintetizar supervisión estructurada a partir de muestras de la política (rollouts) es una dirección prometedora para mejorar el rendimiento y reducir los costes de entrenamiento.
Aprender explícitamente la autocorrección conduce a modelos que no solo son más precisos, sino también más eficientes en el entrenamiento y capaces de escalar en el tiempo de prueba.
La estrategia de enmascaramiento de respuesta propuesta ofrece una solución al problema común de los objetivos de aprendizaje entrelazados en un RL de un solo paso, permitiendo la co-evolución del razonamiento directo y la corrección sin colapso de modo.

Este trabajo establece un nuevo estado del arte para los VLM de código abierto, mostrando que la autocorrección controlable puede aprenderse de manera efectiva y eficiente, yendo más allá de la dependencia de los comportamientos emergentes.