💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

Este artículo demuestra que desacoplar el postentrenamiento de los modelos visión-lenguaje en etapas distintas para la percepción visual, el razonamiento visual y el razonamiento textual, priorizando específicamente la optimización de la percepción mediante aprendizaje por refuerzo, mejora significativamente tanto la precisión de la percepción como la del razonamiento, al tiempo que reduce la necesidad de trazas de razonamiento excesivas.

Autores originales: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un problema matemático complejo, pero el problema está escrito en un papel con una mancha sobre un número crucial.

Si intentas "pensar" más intensamente en las matemáticas, solo obtendrás una respuesta más segura, pero completamente incorrecta. Podrías escribir un ensayo largo y detallado explicando por qué la respuesta es 50, cuando el número manchado en realidad significaba que la respuesta debería ser 5.

Esto es exactamente lo que el artículo "From Seeing to Thinking" argumenta que está ocurriendo con los modelos de IA actuales que miran imágenes e intentan razonar sobre ellas (Modelos Visuales-Lingüísticos).

Aquí tienes el desglose de su descubrimiento y solución, utilizando analogías simples:

El Problema: La IA "Segura pero Incorrecta"

El artículo descubre que cuando estos modelos de IA fallan en tareas visuales (como geometría o leer un gráfico), rara vez es porque no puedan hacer las matemáticas o la lógica. Es porque no pueden "ver" correctamente desde el principio.

La Analogía: Imagina a un detective intentando resolver un crimen. Si el detective identifica mal el tamaño del zapato del sospechoso (Error de Percepción), ninguna cantidad de trabajo detectivesco brillante (Razonamiento) resolverá el caso. De hecho, cuanto más el detective "piensa" sobre el tamaño de zapato incorrecto, más escribirá un informe largo y confuso que lleve a la conclusión equivocada.
El Hallazgo: Los autores analizaron muchos intentos fallidos de IA y descubrieron que el 87% de los errores comenzaba con un simple error visual (como malinterpretar un número o confundir una forma). Una vez que la IA cometía ese error, "pensar más tiempo" no lo solucionaba; solo hacía que la IA se aferrara más al error.

La Solución: Un Campo de Entrenamiento de Tres Etapas

Actualmente, la mayoría de los entrenamientos de IA mezclan todo: enseñan al modelo a ver, leer y pensar todo a la vez. Los autores dicen que esto es como intentar enseñar a alguien a conducir un coche, reparar el motor y navegar un mapa todo en la misma lección. Es demasiado desordenado.

En su lugar, proponen un enfoque de "Entrenamiento Escalonado", dividiendo el proceso de aprendizaje en tres fases distintas:

Etapa 1: Los Ojos (Percepción Visual)
- Objetivo: Enseñar a la IA a describir con precisión lo que hay en la imagen sin intentar resolver un problema todavía.
- El Método: Utilizaron un tipo especial de entrenamiento llamado RL (Aprendizaje por Refuerzo). Piensa en esto como un entrenador estricto que le da a la IA un "pulgar arriba" solo si identifica correctamente un detalle (como "hay 7 farolas") y un "pulgar abajo" si adivina o alucina. Descubrieron que esto era mucho mejor que el antiguo método de simplemente mostrarle a la IA imágenes con subtítulos (SFT), lo cual es como leer un libro de cuentos sin ser examinado sobre los detalles.
Etapa 2: El Cerebro (Razonamiento Textual)
- Objetivo: Enseñar a la IA a pensar lógicamente usando palabras, pero sin ninguna imagen.
- La Analogía: Esto es como enseñar a un estudiante problemas matemáticos en una pizarra antes de darle un diagrama.
Etapa 3: La Integración (Razonamiento Visual)
- Objetivo: Ahora que la IA tiene "buenos ojos" y un "cerebro entrenado", enséñale a combinarlos para resolver acertijos visuales.

Por Qué Este Orden Importa

El artículo descubrió que el orden del entrenamiento es crítico.

La Forma Correcta: Construir primero los ojos, luego el cerebro y luego combinarlos.
La Forma Incorrecta: Si intentas enseñar a la IA a resolver acertijos visuales complejos antes de que haya aprendido a ver claramente, se confunde. Es como intentar enseñarle a un niño a jugar al ajedrez antes de que sepa cómo se mueven las piezas. El artículo mostró que invertir este orden en realidad hacía que la IA fuera peor tanto en ver como en pensar.

Los Resultados: Más Inteligente y Más Rápido

Cuando los autores entrenaron sus modelos utilizando este nuevo método "Escalonado", los resultados fueron impresionantes:

Mejor Precisión: Los modelos mejoraron significativamente en matemáticas visuales y pruebas de percepción del mundo real.
Menos Pensamiento: Esta es la parte más sorprendente. Debido a que los modelos tenían "buenos ojos", no necesitaban "pensar" tanto tiempo para obtener la respuesta correcta.
- La Analogía: Un modelo con mala vista sigue releyendo el problema, revisando la imagen y reescribiendo sus pensamientos porque está inseguro. Un modelo con buena vista ve la respuesta inmediatamente y escribe una solución corta y clara.
- Los Datos: Sus modelos lograron una precisión un 1.5% mayor mientras utilizaban un 20% menos de "tiempo de pensamiento" (respuestas de texto más cortas) en comparación con los modelos entrenados de la antigua manera mezclada.

El Panorama General: Una Nueva Forma de Aprender

Los autores también introducen un nuevo concepto llamado "Currículo de Capacidades".

Antigua Forma: Entrenar a la IA en problemas fáciles, luego medios, luego difíciles (Basado en Dificultad).
Nueva Forma: Entrenar a la IA en habilidades específicas en un orden específico (Percepción $\to$ Lógica $\to$ Razonamiento).
La Magia: Descubrieron que estos dos métodos funcionan mejor cuando se combinan. Es como una escuela que organiza las clases por materia (Matemáticas, luego Ciencias) y ordena las lecciones de fácil a difícil dentro de esas materias. Hacer ambas cosas dio a la IA los mejores resultados de todos.

En resumen: Para hacer que la IA sea mejor "pensando" sobre imágenes, primero necesitamos asegurarnos de que realmente pueda "verlas" correctamente. Al separar estas habilidades y entrenarlas en el orden correcto, obtenemos modelos que no solo son más inteligentes, sino también más eficientes, evitando la trampa de sobre-pensar errores visuales simples.

Resumen Técnico: De Ver a Pensar: Desacoplar la Percepción y el Razonamiento Mejora el Entrenamiento Posterior de Modelos Visuales-Lingüísticos

1. Declaración del Problema

Los avances recientes en Modelos Visuales-Lingüísticos (VLM) han enfatizado fuertemente el razonamiento de cadena de pensamiento (CoT) largo, a menudo impulsado por técnicas de aprendizaje por refuerzo (RL). Sin embargo, este trabajo identifica un cuello de botella crítico: el rendimiento en tareas visuales complejas (por ejemplo, matemáticas visuales, geometría, comprensión de diagramas) está frecuentemente limitado no por las capacidades de razonamiento, sino por la percepción visual.

Los autores observan que, cuando un VLM comete un error inicial al percibir detalles visuales (por ejemplo, identificar incorrectamente un ángulo geométrico o la cantidad de objetos), los pasos de razonamiento subsiguientes rara vez corrigen este error. En su lugar, el modelo complica el error basándose en suposiciones perceptuales incorrectas, lo que lleva a trazas de razonamiento largas y enredadas que no alcanzan la conclusión correcta. Por el contrario, cuando la percepción es precisa, el razonamiento tiende a ser conciso y converge rápidamente. El artículo argumenta que los paradigmas actuales de entrenamiento posterior, que a menudo fusionan datos de percepción y razonamiento o priorizan el razonamiento, no abordan este déficit fundamental.

2. Metodología

La solución propuesta es un marco de entrenamiento posterior por etapas que desacopla las capacidades del VLM en tres etapas distintas y secuenciales, cada una utilizando conjuntos de datos especializados y estrategias de entrenamiento:

2.1. Descomposición de Capacidades

La tubería de entrenamiento se divide en tres etapas:

Percepción Visual: Se centra en reconocer detalles visuales de grano fino y relaciones espaciales sin requerir razonamiento de múltiples pasos.
Razonamiento Textual: Se centra en la inferencia lógica utilizando únicamente entradas de texto.
Razonamiento Visual: Se centra en tareas multimodales complejas que requieren tanto percepción precisa como razonamiento de múltiples pasos.

2.2. Síntesis y Curaduría de Datos

Datos de Percepción ( $D_{perc}$ ): Sintetizados a partir del conjunto de datos DOCCI (descripciones de imágenes de grano fino). Un LLM genera preguntas centradas en la percepción basadas en las descripciones. Un mecanismo de filtrado retiene solo las muestras donde el VLM base falla al responder correctamente usando solo la imagen, pero tiene éxito cuando se le proporciona la descripción. Esto aísla las muestras donde la limitación es puramente perceptual.
Datos de Razonamiento Textual ( $D_{text}$ ): Procedentes de ORZ-Math-13k, que contiene problemas matemáticos desafiantes resolubles sin entradas visuales.
Datos de Razonamiento Visual ( $D_{vis}$ ): Curados a partir de múltiples fuentes de código abierto (CLEVR-Math, GeoQA170K, Math PUMA, etc.), que requieren tanto percepción como razonamiento.

2.3. Estrategias de Entrenamiento

Entrenamiento por Etapas: El modelo se entrena secuencialmente ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) utilizando Optimización de Política Relativa de Grupo (GRPO).
- Etapa 1 (Percepción): Los autores comparan el Ajuste Fino Supervisado (SFT) contra el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Descubren que RLVR es significativamente más efectivo para la percepción, ya que penaliza las interpretaciones alucinatorias de manera más robusta que el SFT a nivel de token.
- Etapa 2 y 3: Utilizan GRPO para refinar las capacidades de razonamiento.
Manejo del Codificador de Visión: En la etapa de percepción, el codificador de visión está activo. En etapas posteriores, las estrategias varían (por ejemplo, congelar el codificador en las etapas de razonamiento textual), pero el principal impulsor del éxito es el orden secuencial de los datos.
Integración del Currículo: Los autores demuestran que esta secuenciación basada en capacidades es ortogonal a los currículos tradicionales basados en la dificultad. Combinar ambos (ordenar los datos por dificultad dentro de cada etapa de capacidad) produce ganancias aditivas.

3. Contribuciones Clave

Desacoplar Percepción y Razonamiento: El artículo establece que la percepción visual es una capacidad distinta y fundamental que debe solidificarse antes de refinar el razonamiento visual. Tratarlas como una tarea fusionada conduce a un rendimiento subóptimo.
Paradigma de Entrenamiento por Etapas: Los autores proponen un orden de entrenamiento específico (Percepción $\rightarrow$ Razonamiento Textual $\rightarrow$ Razonamiento Visual) que supera consistentemente al entrenamiento fusionado. Invertir este orden (entrenar el razonamiento antes que la percepción) degrada el rendimiento.
RLVR para Percepción: El trabajo demuestra que RLVR es superior al SFT basado en descripciones para entrenar la percepción visual, proporcionando una señal de entrenamiento más fuerte que reduce las alucinaciones.
Ganancias de Eficiencia: Los modelos entrenados con este enfoque logran una mayor precisión con trazas de razonamiento significativamente más cortas (20.8% más cortas), lo que indica que una percepción precisa reduce la necesidad de un "pensamiento" excesivo para corregir errores iniciales.
Nueva Dimensión del Currículo: El artículo introduce el "aprendizaje de currículos basado en dimensiones de capacidad" como un enfoque complementario a los currículos basados en la dificultad, mostrando que combinar ambas dimensiones produce mejoras adicionales.

4. Resultados Experimentales

Los experimentos se realizaron sobre las arquitecturas base Qwen2.5-VL-7B y Qwen3-VL-8B, comparando el entrenamiento por etapas frente al entrenamiento fusionado y varias líneas base de pesos abiertos (por ejemplo, OneThinker, GThinker).

Ganancias de Rendimiento:
- Matemáticas Visuales: El entrenamiento por etapas mejoró la precisión en WeMath en un 5.2% (Qwen2.5-VL-7B) y un 1.5% (Qwen3-VL-8B) sobre el entrenamiento fusionado. En MathVista, el Qwen3-VL-8B por etapas alcanzó un 75.9%.
- Percepción: El enfoque mejoró la precisión en RealWorldQA en un 3.7% (Qwen3-VL-8B) y mantuvo un alto rendimiento en A-OKVQA y POPE, evitando el "impuesto perceptual" a menudo observado en el entrenamiento exclusivo de razonamiento.
- General: El Qwen3-VL-8B por etapas alcanzó un promedio general récord de 65.8%, superando al modelo base y al OneThinker-8B especializado en razonamiento.
Eficiencia: Los modelos por etapas produjeron trazas de razonamiento 20.8% más cortas que los modelos fusionados mientras lograban una mayor precisión.
Análisis de Errores: Utilizando un juez externo (Claude-Haiku-4.5), los autores encontraron que el entrenamiento por etapas redujo la tasa de errores de percepción en las trazas de razonamiento de 857 a 781 (de 3044 muestras) en comparación con el entrenamiento fusionado.
Generalización: Los beneficios del entrenamiento por etapas se confirmaron en diferentes arquitecturas, incluyendo InternVL3-8B e InternVL3.5-8B.

5. Significado y Afirmaciones

El artículo afirma que el factor limitante dominante para el razonamiento visual en los VLM actuales es la percepción visual, no la capacidad de razonamiento en sí misma. En consecuencia, "pensar más tiempo" no puede compensar una percepción incorrecta.

El significado de este trabajo radica en:

Cambio de Paradigma: Alejarse del entrenamiento fusionado hacia un enfoque por etapas desacoplado por capacidades.
Insight Metodológico: Demostrar que el orden del entrenamiento importa; la percepción debe ser el andamio para el razonamiento.
Eficiencia de Entrenamiento: Demostrar que una mejor percepción conduce a un razonamiento más eficiente (trazas más cortas), reduciendo los costos computacionales.
Diseño de Currículo: Establecer la secuenciación basada en capacidades como una nueva dimensión ortogonal a los currículos basados en la dificultad que puede combinarse para obtener ganancias aditivas.

Los autores concluyen que integrar datos especializados de percepción con un paradigma de entrenamiento por etapas es esencial para desarrollar VLM avanzados y de propósito general que puedan resolver de manera confiable tareas visuales complejas.