💬 NLP

v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

El artículo presenta v1, una extensión ligera para modelos de lenguaje multimodales que permite la referencia visual activa mediante un mecanismo semántico de señalar y copiar, permitiendo que el modelo recupere y vuelva a fundamentar dinámicamente parches de imagen relevantes durante el razonamiento para superar las limitaciones de la codificación visual estática.

Autores originales: Jiwan Chung, Junhyeok Kim, Siyeol Kim, Jaeyoung Lee, Min Soo Kim, Youngjae Yu

Publicado 2026-08-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiwan Chung, Junhyeok Kim, Siyeol Kim, Jaeyoung Lee, Min Soo Kim, Youngjae Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas difícil, pero las piezas están ocultas dentro de una imagen gigante y compleja. En el mundo de la inteligencia artificial, existen cerebros "multimodales" especiales que pueden mirar imágenes y leer texto al mismo tiempo. Usualmente, cuando estos modelos de IA intentan resolver un problema matemático que involucra un diagrama, echan un vistazo rápido a la imagen, memorizan la sensación general y luego intentan resolver el resto del problema usando solo palabras. Es como mirar un mapa durante cinco segundos, cerrar los ojos y luego intentar conducir hacia una nueva ciudad sin volver a mirar nunca el mapa. El problema es que, a medida que las instrucciones de conducción se vuelsen más largas y complicadas, la IA comienza a olvidar exactamente dónde están los giros o cómo se ven los puntos de referencia. Pierde su "anclaje" (grounding), lo que significa que se aleja de la evidencia visual que necesita para estar en lo cierto.

Este artículo presenta una nueva forma de hacer pensar a estos cerebros de IA, llamada v1. En lugar de solo dar un vistazo y luego adivinar, v1 le enseña al modelo a señalar activamente las partes específicas de la imagen que necesita recordar, copiar esa información y pegarla de nuevo en su proceso de pensamiento cada vez que se queda atascado. Es como tener un estudiante superinteligente que, mientras resuelve un problema matemático largo, sigue extendiendo la mano para tocar el diagrama con un dedo, diciendo: "Espera, déjame revisar este ángulo otra vez", y luego trae ese detalle visual específico directamente de vuelta a sus notas para ayudarle a terminar el cálculo. Los investigadores descubrieron que este truco simple de "señalar y copiar" ayuda a la IA a mantenerse enfocada en las partes correctas de la imagen, lo que conduce a mejores respuestas en exámenes matemáticos visuales difíciles.

El Probleo: La trampa del "un solo vistazo"

La mayoría de los modelos de IA actuales que pueden ver y leer son como estudiantes a los que se les dice que estudien un diagrama por una fracción de segundo y luego cierren los ojos. Codifican la imagen en su memoria una sola vez y luego intentan razonar a través del problema usando solo texto. Los investigadores notaron una falla en este enfoque: a medida que el razonamiento se vuelve más largo y complejo, el modelo comienza a perder el enfoque. Es como si los ojos del estudiante se nublaran; dejan de prestar atención a los detalles importantes de la imagen. El artículo muestra que, a medida que la IA escribe más pasos para resolver un problema, su atención a la imagen real se desvanece, y comienza a cometer errores porque ya no está "mirando" la evidencia que necesita.

La Solución: Señalar y Copiar

Para solucionar esto, el equipo creó v1, una actualización ligera para estos modelos de IA. Piensa en v1 como darle a la IA un puntero mágico y una fotocopiadora. Cuando la IA está pensando en un problema y se da cuenta de que necesita verificar una parte específica de la imagen —como un ángulo en un triángulo o una barra en un gráfico— no solo adivina. En su lugar, utiliza un mecanismo de "señalamiento" para seleccionar ese parche exacto de la imagen.

Una vez que señala, "copia" la información visual de ese lugar y la pega directamente de nuevo en su flujo de pensamiento. Esto significa que la IA puede volver a la evidencia visual tantas veces como sea necesario, manteniendo la imagen fresca en su mente mientras realiza las matemáticas. Crucialmente, esto no se trata de generar nuevas imágenes o dibujar nuevos cuadros; se trata de reaccecer a los datos de la imagen original con precisión quirúrgica. El modelo aprende a decir: "Necesito mirar la barra roja otra vez", señala hacia ella, copia sus datos y luego continúa su razonamiento con ese contexto visual fresco.

Cómo enseñaron a la IA

No puedes simplemente decirle a una IA "mira más fuerte"; necesita ser entrenada sobre cómo hacerlo. Los investigadores construyeron un conjunto de datos masivo llamado v1g, que contiene 300,000 ejemplos de problemas matemáticos donde los pasos de razonamiento están vinculados explícitamente a partes específicas de la imagen. Utilizaron un proceso inteligente y automatizado para crear estos datos:

Tomaron rutas de razonamiento existentes de otros modelos de IA.
Utilizaron un modelo de lenguaje potente para desglosar esas rutas, identificando dónde debería haber mirado la IA a la imagen.
Añadieron anotaciones de "anclaje" (grounding), que son como notas adhesivas digitales que dicen: "Cuando menciones este ángulo, debes mirar esta región específica de la imagen".

Este conjunto de datos enseñó al modelo v1 que, cuando se queda atascado o necesita verificar un paso, debe estirarse, señalar el lugar correcto y copiar la información.

Los Resultados: Razonamiento más inteligente y enfocado

El equipo probó v1 en varios desafíos matemáticos exigentes, incluyendo MathVista, MathVision y MathVerse. Estas pruebas están llenas de diagramas, tablas y formas geométricas que requieren una inspección visual cuidadosa.

Los resultados fueron impresionantes. A pesar de que v1 es un modelo relativamente pequeño (7 mil millones de parámetros), superó a muchos modelos más grandes y a otros modelos de razonamiento especializados.

En el benchmark MathVision, el modelo base sin la función de señalamiento obtuvo una puntuación de 23.6.
Cuando se añadió la función de señalamiento durante el entrenamiento pero no se utilizó durante la prueba, la puntuación subió ligeramente a 25.3.
Pero cuando se permitió al modelo usar la función de señalar y copiar durante la prueba, la puntuación saltó a 34.5.

Esto demuestra que la capacidad de revisar activamente la imagen es la clave del éxito. El modelo no solo mejoró en matemáticas; mejoró en mirar mientras hace matemáticas. En un ejemplo, mientras otros modelos identificaban erróneamente la barra más alta en un gráfico, v1 señaló correctamente la barra específica, copió sus datos y calculó el porcentaje correcto. En otra tarea que involucraba un rompecabezas de búsqueda de rutas con hexágonos, v1 señaló con éxito las formas correctas para verificar la ruta, mientras que otros se perdieron.

Lo que esto significa

El artículo sugiere que el futuro del razonamiento multimodal no se trata solo de hacer los modelos más grandes o más inteligentes en la generación de texto. Se trata de darles la capacidad de acceder dinámicamente a la información visual cuando la necesitan. Al permitir que el modelo "señale y copie", los investigadores encontraron una forma de mantener la evidencia visual alineada con los pasos de razonamiento, evitando que el modelo se aleje de la verdad.

Los investigadores advierten cuidadosamente que esto no es una varita mágica que lo soluciona todo. A veces, el modelo todavía señala el área incorrecta, o podría señalar demasiadas veces, o podría tener dificultades con conceptos muy abstractos que no encajan perfectamente en una caja. Sin embargo, el hallazgo central es claro: el referente visual activo ayuda. Convierte a la IA de un estudiante que mira el mapa una vez y espera lo mejor, en un navegante que consulta constantemente el mapa, asegurándose de que cada giro sea correcto.

Resumen Técnico: v1 - Aprendiendo a señalar tokens visuales para el razonamiento multimodal fundamentado

Planteamiento del problema
Los modelos de lenguaje de gran tamaño multimodales (MLLM) actuales suelen codificar una imagen una sola vez al inicio de la inferencia, almacenando la información visual en un caché de clave-valor congelado. El razonamiento posterior ocurre puramente en el espacio de texto. Los autores identifican una limitación crítica en esta arquitectura: la degradación del anclaje visual (visual grounding decay). A medida que las cadenas de razonamiento se alargan, los modelos pierden progresivamente el enfoque en las regiones visuales relevantes. El análisis empírico (Sección 3) demuestra que, conforme aumentan los pasos de generación, la atención acumulada a todos los tokens de la imagen disminuye, y la atención relativa a las regiones semánticamente importantes se reduce. Esto dificulta que los modelos vuelvan a fundamentar los pasos de razonamiento intermedios en la evidencia visual original, lo que conduce a errores en tareas complejas como la resolución de problemas matemáticos donde se deben revisar pistas localizadas (por ejemplo, ángulos específicos o barras de un gráfico).

Metodología
El artículo presenta v1, una extensión ligera para los MLLM autorregresivos diseñada para permitir la referencia visual activa durante la inferencia. El mecanismo central es señalar y copiar (point-and-copy):

Arquitectura: v1 aumenta el vocabulario estándar con "tokens de puntero". En cada paso de decodificación, el modelo computa dos distribuciones simultáneamente:
- Una distribución de generación sobre el vocabulario estándar ( $P_{gen}$ ).
- Una distribución de señalización sobre los embeddings continuos de los parches de la imagen de entrada ( $P_{ptr}$ ).
- Los logits de salida son una concatenación de estos dos espacios. Si el modelo selecciona un índice de puntero, no genera un nuevo token de texto; en su lugar, copia el embedding del parche de imagen correspondiente e lo inyecta como el siguiente token de entrada.
Mecanismo: Esto permite al modelo recuperar y reutilizar dinámicamente evidencia visual específica. A diferencia de los métodos que generan nuevos tokens visuales (que requieren un preentrenamiento pesado), v1 reutiliza los embeddings de entrada existentes. El mecanismo de señalización utiliza una proyección lineal aprendida para atender a las posiciones de los parches de la imagen, permitiendo efectivamente que el modelo "señale" una región y "copie" su representación de vuelta al flujo de razonamiento.
Datos de entrenamiento (v1g): Para entrenar este comportamiento, los autores construyeron v1g, un conjunto de datos de 300,000 trazas de razonamiento matemático multimodal. El proceso de creación del conjunto de datos implica:
- Sobremuestreo de trazas de razonamiento de un MLLM preentrenado (QvQ).
- Uso de un LLM (Gemini-2.0-flash) para descomponer el razonamiento puramente textual en consultas visuales discretas y pasos de recuperación.
- Anclaje de estas referencias a regiones de la imagen específicas utilizando un mecanismo de atención relativa dentro de Qwen2.5-VL para generar cajas delimitadoras (bounding boxes) de elementos abstractos o simbólicos (por ejemplo, ángulos, barras de gráficos).

Contribuciones clave

Modelo v1: Una extensión ligera de MLLM que mitiga la degradación del anclaje visual mediante un mecanismo de señalar y copiar, permitiendo la referencia visual dinámica sin modificar la arquitectura central ni requerir herramientas externas.
Dataset v1g: Un conjunto de entrenamiento a gran escala que contiene 300K trazas de razonamiento con anotaciones de anclaje visual intercaladas y de grano fino.
Hallazgos empíricos: Experimentos extensos que demuestran que el acceso visual dinámico durante la inferencia mejora significativamente las capacidades de razonamiento matemático multimodal.

Resultados
Los autores evaluaron v1 en tres benchmarks establecidos: MathVista, MathVision y MathVerse.

Rendimiento: El modelo v1 de escala 7B superó consistentemente a las líneas base comparables, incluyendo MLLM de propósito general (Qwen2-VL, InternVL2.5) y modelos especializados en razonamiento (LLaVA-CoT, TVC, Mulberry).
Comparación: Notablemente, v1-7B redujo la brecha de rendimiento con modelos mucho más grandes de escala 72B, particularmente en MathVision, que exige un anclaje visual preciso.
Ablación: Eliminar la capacidad de señalización durante la inferencia redujo significamente el rendimiento (de 34.5 a 25.3 en MathVision-mini), confirmando que las ganancias son impulsadas por el mecanismo de re-acceso activo y no solo por los datos de entrenamiento.
Eficiencia: El método incurre en una sobrecarga computacional mínima. Aunque los tokens copiados aumentan la longitud de la secuencia, la sobrecarga de tiempo de ejecución es modesta (~7% en comparación con las líneas base de solo texto), y el modelo solo añade dos cabezales lineales ligeros.

Significancia y Reivindicaciones
El artículo afirma que v1 demuestra la eficacia del acceso visual dinámico como un componente central del razonamiento multimodal. Al permitir que los modelos revisen activamente las imágenes de entrada mediante un simple mecanismo de señalar y copiar, el enfoque aborda la limitación inherente de la codificación visual de "un solo paso" (one-shot). Los autores enfatizan que este método proporciona una alternativa ligera e interpretable para generar nuevos tokens visuales o depender de herramientas de anclaje externas. Los resultados sugieren que permitir que los modelos vuelvan a fundamentar explícitamente los pasos de razonamiento intermedio en la evidencia visual conduce a un rendimiento más preciso y robusto en tareas que requieren un razonamiento visual de largo alcance y múltiples pasos. Los autores liberan el código, el modelo y los datos para facilitar la exploración posterior de esta dirección.

El Probleo: La trampa del "un solo vistazo"

La Solución: Señalar y Copiar

Cómo enseñaron a la IA

Los Resultados: Razonamiento más inteligente y enfocado

Lo que esto significa

Más como este