🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

Este artículo introduce la Semántica de Tareas Visualizada (VTS) para revelar una brecha de rendimiento significativa en los modelos multimodales cuando las instrucciones se integran como píxeles en lugar de texto, y propone un método de fundamentación de regiones de prompts que cierra eficazmente esta brecha de canal semántico sin requerir OCR ni metadatos de región durante la inferencia.

Autores originales: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot superinteligente a resolver acertijos. Este robot, conocido como un Modelo de Lenguaje Grande Multimodal (MLLM), es un poco como un estudiante genio que puede leer texto y mirar imágenes al mismo tiempo. Normalmente, le das al robot una imagen de un problema matemático y un mensaje de texto separado que dice: "¡Resuelve esto!". El robot lee la instrucción de texto, mira la imagen y da la respuesta. Pero, ¿qué pasaría si no le dieras la instrucción como un mensaje de texto? ¿Qué pasaría si escribieras la instrucción dentro de la propia imagen, como un letrero pintado en una pared?

Los científicos se han estado preguntando si este robot seguiría funcionando igual de bien. ¿Importa si la instrucción es un "token de texto" (una palabra digital) o un "píxel" (un pequeño punto de color en una pantalla)? En el mundo de la inteligencia artificial, existe la sospecha de que los robots pueden ser excelentes leyendo texto pero pésimos "leyendo" instrucciones que forman parte de la imagen. Pueden copiar las palabras perfectamente (como una fotocopiadora), pero pueden fallar al comprender realmente que esas palabras son la jefa que les dice qué hacer. Este artículo profundiza en ese misterio para ver si el robot se confunde cuando las reglas están escritas en la imagen en lugar de en el cuadro de chat.

El misterio de la pregunta "pixelada"

Los investigadores, un equipo de universidades y empresas tecnológicas, decidieron probar esta idea con un experimento ingenioso que llaman Semántica de Tarea Visualizada (VTS). Imagina que tienes un examen de matemáticas estándar. Normalmente, la pregunta aparece escrita arriba de la imagen. Para su experimento, tomaron exactamente la misma pregunta, borraron el texto escrito y pintaron la pregunta directamente sobre la imagen, justo encima del problema. Incluso reemplazaron la instrucción original escrita con una nota pequeña y aburrida que solo decía: "Ayúdame a resolver el problema".

Realizaron esta prueba en seis modelos de IA diferentes utilizando cuatro tipos diferentes de evaluaciones complicadas (como tablas matemáticas y diagramas complejos). El resultado fue una caída masiva en el rendimiento. En promedio, los modelos fueron 17.8 puntos menos precisos cuando la pregunta estaba pintada en la imagen en comparación a cuando estaba escrita en texto. En algunos casos, la caída fue de hasta 28.0 puntos.

No era solo que los robots no pudieran leer las letras. Los investigadores lo comprobaron, y los modelos podían transcribir las palabras pintadas correctamente la mayor parte del tiempo. El problema era más profundo: los modelos estaban fallando al usar esas palabras como instrucciones. Es como si el robot viera el letrero en la pared, pudiera deletrear las palabras, pero no se diera cuenta de: "¡Ah, este letrero me está diciendo qué hacer!". Los investigadores llaman a esto una "brecha de canal semántico". El camino que toma la información (texto vs. imagen) cambia la forma en que el robot piensa, incluso si las palabras son idénticas.

La solución: Enseñar al robot a "anclar" el letrero

Para solucionar esto, el equipo desarrolló un nuevo método de entrenamiento llamado Anclaje de Región de Prompt (Prompt-Region Grounding). Piensa en esto como enseñar a un niño a señalar un letrero y decir: "¡Esta es la regla!".

Utilizaron dos trucos especiales durante el entrenamiento:

PVRD-SG (La "Coincidencia de Significado"): Le mostraron al robot la imagen con la pregunta pintada y una versión de texto limpia y separada de esa misma pregunta. Obligaron al robot a darse cuenta de que el parche específico de píxeles que contiene la pregunta significa lo mismo que el texto escrito. Es como conectar el letrero físico en la pared con el concepto de la regla en el cerebro del robot.
PRMLP (La "Prueba del Punto Ciego"): Tomaron la imagen con la pregunta pintada y cubrieron partes del texto con una caja negra (enmascaramiento). Luego, le pidieron al robot que adivinara qué significaba el texto oculto basándose en el resto de la imagen. Esto obligó al robot a aprender la esencia de la instrucción, no solo a memorizar los píxeles exactos.

¿La mejor parte? Este entrenamiento no requirió que el robot utilizara ninguna herramienta especial como OCR (Reconocimiento Óptico de Caracteres) o que supiera exactamente dónde estaba el cuadro de texto cuando estaba realizando el examen. Durante el examen final, el robot simplemente ve la imagen con la pregunta pintada y responde directamente, tal como antes.

Los resultados: Cerrando la brecha

Los resultados fueron prometedores. Después de este nuevo entrenamiento, la precisión de los modelos en las pruebas de "pregunta pintada" saltó del 58.0% al 66.3%. Es una mejora significativa, reduciendo la brecha entre las instrucciones de texto y las instrucciones de imagen. Los modelos también mejoraron ligeramente en las pruebas originales basadas en texto (pasando del 69.1% al 70.3%), demostrando que no perdieron sus habilidades anteriores.

Los investigadores probaron esto en más de 1,000 imágenes del mundo real que no habían visto antes, como fotos de hojas de trabajo, formularios y capturas de pantalla. El nuevo método mejoró la precisión en 7.9 puntos en estas páginas del mundo real.

Qué significa esto

El artículo concluye que leer texto en una imagen y usar ese texto como una instrucción son dos habilidades diferentes. Solo porque un robot pueda leer las palabras no significa que sepa escucharlas cuando forman parte de una imagen. Al enseñar al robot a "anclar" la pregunta visual a su significado, ayudaron a cerrar la brecha.

Los autores advierten cuidadosamente que, aunque mejoraron la situación, no la resolvieron por completo. Todamente queda una pequeña brecha, y el método funciona mejor cuando el texto es claramente visible y tiene un formato estándar. Sin embargo, este estudio demuestra que la forma en que hablamos con la IA importa. Si queremos que los robots sean verdaderamente inteligentes, necesitamos enseñarles que una pregunta escrita en píxeles es tan importante como una pregunta escrita en un chat.

Resumen Técnico: Cuando los Prompts se Convierten en Píxeles: Anclaje de Región de Prompt para el Razonamiento Multimodal

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) procesan cada vez más capturas de pantalla y documentos donde las propias instrucciones de la tarea se renderizan como texto dentro de la imagen (píxeles). Aunque los modelos de alta resolución pueden leer dicho texto con gran precisión, no está claro si utilizan estas instrucciones visuales con la misma eficacia que los prompts basados en texto.

Trabajos previos han observado caídas en el rendimiento cuando las instrucciones se visualizan, pero estas brechas suelen confundir múltiples factores: la expansión del lienzo, el redimensionamiento de la imagen, los artefactos del renderizador y el cambio semántico de los tokens de texto a los píxeles. Crucialmente, los benchmarks existentes no distinguen entre el fallo de un modelo al leer el texto visual (fallo de OCR) y su fallo al usar el texto visual como instrucción de razonamiento (brecha del canal semántico). Este artículo postula que leer texto que contiene tareas y anclarlo como una instrucción son capacidades distintas, y que los MLLM actuales exhiben una "brecha de canal semántico" sistemática donde las instrucciones visuales son menos efectivas que las escritas, incluso cuando el texto se transcribe correctamente.

2. Metodología

2.1 Semántica de Tarea Visualizada (VTS)

Para aislar la brecha del canal semántico, los autores introducen la Semántica de Tarea Visualizada (VTS), una intervención controlada.

Vista Original: La pregunta $q$ se proporciona como tokens de texto, y la imagen $x$ contiene evidencia visual.
Vista VTS: La pregunta $q$ se renderiza como píxeles de texto dentro de un panel blanco sobre la imagen $x$ . El prompt de texto nativo se reemplaza con una señal fija (por ejemplo, "Ayúdame a resolver el problema").
Controles: El estudio emplea controles para la geometría del lienzo, la duplicación de prompts (pregunta tanto en el canal de texto como en el de imagen) y entradas de solo imagen para descartar causas no semánticas de la caída de rendimiento.

2.2 Anclaje de Región de Prompt (Prompt-Region Grounding)

Para cerrar la brecha, los autores proponen un marco de entrenamiento de Anclaje de Región de Prompt, que alinea explícitamente la representación visual de la región del prompt con su semántica escrita. Este método opera durante el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (GSPO) sin alterar la interfaz de inferencia (no requiere OCR ni metadatos de región en el tiempo de prueba).

El marco introduce dos objetivos a nivel de región aplicados a VTS y ejemplos de prompts visuales del mundo real:

Destilación de Representación Visual de Prompt con Anclaje Semántico (PVRD-SG):
- Objetivo: Alinear la representación visual de la región del prompt con la representación semántica congelada de la pregunta escrita.
- Mecanismo: El modelo agrupa tokens visuales de la caja de la región del prompt conocida $b_i$ en la imagen renderizada. Esta representación $z_i^{vis}$ se optimiza para maximizar la similitud de coseno con un embedding de texto congelado y almacenado en caché $t_i$ , derivado de la pregunta escrita.
- Restricción: El objetivo de texto está congelado y tiene el gradiente detenido (stop-gradient), asegurando que el modelo aprenda a recuperar la semántica de la tarea a partir de la región visual sin ser forzado a transcribir el texto.
Predicción de Latencia Enmascarada de la Región de Prompt (PRMLP):
- Objetivo: Asegurar que la representación visual de la región del prompt permanezca estable y recuperable incluso cuando partes del texto renderizado están ocluidas o son difíciles de observar.
- Mecanismo: Se enmascara una fracción de la región del prompt en la imagen compuesta. El modelo debe predecir la representación del recorte limpio correspondiente (la región del prompt no enmascarada) a partir de la entrada enmascarada.
- Restricción: Este es un objetivo de consistencia latente, no de reconstrucción de píxeles. Fuerza al modelo a mantener una representación interna robusta de la región de la instrucción.

2.3 Pipeline de Entrenamiento

Replay Balanceado: El modelo se entrena en un conjunto de datos emparejado que contiene tanto las vistas Original como VTS del mismo problema, compartiendo el mismo objetivo de respuesta.
Ajuste Fino Supervisado (SFT): El modelo minimiza una pérdida combinada: pérdida autoregresiva estándar de siguiente token ( $L_{sft}$ ) más las pérdidas a nivel de región ( $L_{sg}$ y $L_{prmlp}$ ).
Aprendizaje por Refuerzo (GSPO): El checkpoint supervisado se refina mediante la Optimización de Política de Secuencia de Grupo (GSPO) con recompensas por corrección de formato y precisión de la respuesta.

3. Principales Contribuciones

Cuantificación de la Brecha del Canal Semántico: El estudio demuestra que mover una pregunta de tokens de texto a píxeles de imagen causa una caída sistemática en la precisión en seis MLLM y cuatro benchmarks. La caída promedio es de 17.8 puntos, con algunos pares cayendo hasta 28.0 puntos.
Desacoplamiento de Lectura y Razonamiento: Las pruebas diagnósticas revelan que los modelos a menudo transcriben preguntas visuales correctamente (87.6% de coincidencia exacta) pero fallan al usarlas eficazmente (48.4% de precisión). Reinsertar el texto transcrito en el canal de texto recupera una precisión significativa, probando que la brecha no es meramente un fallo de OCR, sino un fallo de anclaje del texto visual como instrucción.
Método de Anclaje de Región de Prompt: Los autores introducen una receta de entrenamiento que cierra esta brecha. Al alinear la región visual del prompt con la semántica escrita y forzar la consistencia latente, el método mejora significamente la precisión de VTS sin requerir OCR o detección de regiones durante la inferencia.
Generalización: El método mejora el rendimiento en páginas del mundo real (interfaces de usuario, hojas de trabajo, formularios) y benchmarks independientes (VISTA-Bench, OCRBench v2), lo que sugiere que la capacidad de anclaje aprendida se transfiere más allá del renderizado específico de VTS.

4. Resultados Experimentales

Los experimentos se realizaron principalmente en Qwen3-VL-4B y Qwen3-VL-8B, con resultados de transferencia en InternVL3.5-8B.

Rendimiento de la Línea Base (Baseline): A través de cuatro benchmarks (MATH-Vision, MathVista, ChartQA, MMMU), la precisión promedio de VTS para la línea base (Replay Balanceado) fue de 61.4%, comparado con el 69.8% en la interfaz Original (una brecha de 8.4 puntos).
Rendimiento del Método: El método propuesto ("Ours") elevó la precisión promedio de VTS a 66.3% mientras mantenía la precisión Original en 70.3%.
- Esto reduce la brecha del canal semántico de 8.4 puntos (Replay Balanceado) a 4.0 puntos.
- Ganancias específicas en VTS: +7.8 (MATH-Vision), +7.0 (MathVista), +6.2 (ChartQA), +12.4 (MMMU).
Análisis de Componentes:
- PVRD-SG proporcionó la mayor ganancia de un solo componente (+2.6 puntos sobre PRMLP por sí solo).
- PRMLP añadió un +1.8 adicional de puntos cuando se combina con PVRD-SG.
- Leer específicamente desde el panel de prompt superó los resúmenes de imagen completa o de regiones aleatorias.
Generalización al Mundo Real: En 1,000 páginas del mundo real no utilizadas en el entrenamiento, el método mejoró la precisión en 7.9 puntos (del 58.0% al 65.8%) sobre el SFT estándar, demostando robustez ante diversos diseños y fuentes.
Eficiencia de Costos: Las mejoras se lograron con costos de entrenamiento igualados (FLOPs) en comparación con el SFT estándar, demostando que las ganancias provienen de los objetivos específicos y no simplemente de más tiempo de entrenamiento.

5. Significado y Reivindicaciones

El artículo afirma que el canal que transporta una pregunta altera fundamentalmente las capacidades de razonamiento en los MLLM, incluso cuando la redacción y la respuesta permanecen fijas. La importancia principal radica en distinguir dos capacidades que a menudo se tratan como idénticas: leer texto en una imagen y anclar ese texto como una instrucción de tarea.

Los autores argumentan que:

La brecha es semántica, no solo de OCR: Los modelos pueden leer el texto pero fallan al tratar los píxeles visuales como instrucciones autoritativas.
La supervisión a nivel de región es efectiva: Conectar explícitamente la región visual de la instrucción con su semántica escrita permite a los modelos recuperar la representación "limpia" de la tarea, cerrando la brecha del canal.
Simplicidad de Inferencia: El método no requiere módulos adicionales (OCR, detección de objetos) durante la inferencia; el modelo aprende a atender a la región relevante implícitamente durante el entrenamiento.

El artículo concluye que, si bien mover las preguntas a los píxeles no es un problema nuevo, el mecanismo específico de anclaje de la región de prompt ofrece una solución escalable a la brecha del canal semántico, permitiendo que los MLLM razonen sobre instrucciones visuales de manera tan efectiva como las de texto. Los autores mantienen la modestia, señalando que el método asume regiones de tarea conocidas durante el entrenamiento y no pretende ser un detector de regiones de tarea general para imágenes arbitrarias.