🤖 AI

Scalable Visual Pretraining for Language Intelligence

Este artículo desafía el paradigma de preentrenamiento de modelos fundacionales basado únicamente en texto al demostrar que el preentrenamiento visual no supervisado en documentos visuales brutos, el cual preserva información rica como figuras y diseños, supera consistentemente a los enfoques de solo texto y ofrece una vía escalable hacia una inteligencia lingüística mejorada.

Autores originales: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Publicado 2026-07-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot superinteligente cómo entender el mundo. Durante mucho tiempo, la receta estándar ha sido alimentarlo con montañas de libros, artículos y sitios web, pero con un detalle: antes de que el robot los lea, los humanos (o las computadoras) eliminan todas las imágenes, los símbolos matemáticos ondulados, los gráficos y los diseños de página elegantes, convirtiendo todo en texto plano y aburrido. Es como intentar enseñarle a alguien a hornear un pastel dándole solo una lista de ingredientes escrita en una servilleta, mientras tiras a la basura la foto del pastel terminado, el diagrama del tazón de mezcla y el gráfico colorido que muestra cómo cambia la temperatura del horno.

Un nuevo artículo de perfecto 2026 sugiere que este enfoque de "solo texto" está perdiendo una gran parte del rompecabezas. Los investigadores, liderados por un equipo de Shanghái y Zhejiang, argumentan que al desechar las partes visuales de los documentos, estamos desechando las pistas mismas que el robot necesita para volverse verdaderamente inteligente. Llaman a su nuevo método Preentrenamiento Visual (VP), y es como enseñarle al robot a leer las páginas reales de un libro de texto, con todos sus diagramas y ecuaciones, en lugar de solo la descripción textual de ellos.

El Gran Descubrimiento: Ver es Creer (y Aprender)
El equipo probó esta idea en algunos de los modelos de IA más inteligentes disponibles (como Qwen y Llama). Tomaron exactamente el mismo montón de documentos científicos —piensa en artículos de física, libros de texto de matemáticas e informes técnicos— y los dividieron en dos grupos.

Grupo A (La vieja forma): Convirtieron las páginas en texto plano, eliminando todos los elementos visuales.
Grupo B (La nueva forma - VP): Alimentaron al modelo directamente con las imágenes originales de las páginas, permitiéndole "ver" las figuras, tablas y diseños sin tener que convertirlos primero en palabras.

El resultado fue que el robot entrenado en las imágenes originales (Grupo B) superó consistentemente al entrenado con texto plano (Grupo A). De hecho, en evaluaciones científicas y matemáticas complicadas, el aprendiz visual obtuvo una puntuación más alta. Por ejemplo, en un difícil examen de matemáticas llamado AIME, el modelo visual mejoró su puntuación significativamente más que el modelo de texto. El artículo sugiere que el proceso "con pérdida" de convertir una página compleja con un diagrama en una cadena de palabras en realidad elimina la información necesaria para resolver problemas difíciles.

El Truco de la Eficiencia: Hacer Más con Menos
Aquí está la parte realmente genial: el método visual no solo fue mejor, sino que también fue mucho más eficiente. El modelo basado en texto tuvo que procesar alrededor de 80 mil millones de tokens de texto para aprender de estos documentos. El modelo visual, sin embargo, solo necesitó unos 20 mil millones de tokens visuales para obtener los mismos (o mejores) resultados. ¡Eso es usar solo el 25% del presupuesto de datos!

Piénsalo de esta manera: Si el modelo de texto intenta describir una ciudad enumerando cada nombre de calle y dirección de edificio, le toma una eternidad. El modelo visual, por el contrario, simplemente mira un mapa. Capta toda la imagen al instante. Los investigadores descubrieron que cuanto más "contenido visual" (como diagramas complejos y ecuaciones) tenía una página, mayor era la ventaja del modelo visual. En páginas llenas de gráficos y fórmulas, la ventaja del modelo visual crecía enormemente, mientras que en páginas de texto plano, eran similares.

Sin Trucos, Solo Visión Pura
Podrías preguntarte: "¿Acaso hicieron trampa mostrándole al robot las imágenes y también las respuestas?". No. No utilizaron ninguna etiqueta especial de "imagen a texto" ni hojas de trucos. Al robot simplemente se le dijo que mirara el siguiente parche de la imagen y adivinara cómo se vería, de forma similar a como adivina la siguiente palabra en una oración.

Sorprendentemente, este entrenamiento de "solo mirar" hizo que el robot fuera mejor en todo, no solo en mirar. También mejoró su comprensión del texto e incluso mejoró su capacidad para conectar imágenes con palabras cuando se le evaluó después. Los investigadores midieron esto verificando qué tan bien el "cerebro" del robot alineaba las imágenes con las palabras, y encontraron que el entrenamiento visual hacía que ambos conceptos encajaran mucho más estrechamente, como si el robot finalmente entendiera que la imagen de un gato y la palabra "gato" son en realidad lo mismo.

Lo Que Esto Significa (Y Lo Que No)
Los autores advierten cuidadosamente que esto no es una varita mágica que reemplaza la lectura de texto. El texto sigue siendo excelente para aprender hechos que ya están escritos claramente. Pero para documentos científicos, donde el diseño, la forma de la ecuación y la posición del diagrama conllevan un significado crucial, el enfoque visual sugiere un camino nuevo y escalable.

Admiten que aún no han resuelto todo. Por ejemplo, no están seguros de si esto funciona igual de bien para fotos aleatorias de la naturaleza o videos, ya que sus pruebas se centraron principalmente en PDFs científicos de alta densidad. Pero para el caso específico de aprender de documentos complejos, el artículo sugiere que dejar que la IA vea el mundo tal como es —visual, desordenado y lleno de diagramas— podría ser la clave para desbloquear su verdadera inteligencia. Es un cambio de "leer la descripción del mapa" a "realmente mirar el mapa".

Resumen Técnico: Preentrenamiento Visual Escalable para la Inteligencia del Lenguaje

Declaración del Problema

Los modelos fundacionales actuales dependen predominantemente del preentrenamiento con masivos corpora de texto. Este paradigma opera bajo el supuesto implícito de que todo el conocimiento aprendible puede codificarse sin pérdidas como una secuencia lineal de tokens de texto. Sin embargo, este enfoque descarta inherentemente la rica información visual presente en documentos científicos, tales como figuras, ecuaciones tipografiadas, tablas y la disposición espacial a nivel de página. La conversión de estas fuentes visuales en texto plano mediante el parseo (por ejemplo, extracción de HTML/LaTeX o OCR) es un proceso con pérdida que elimina las restricciones geométricas, las topologías simbólicas y las correspondencias estructurales esenciales para el razonamiento científico. Los modelos multimodales existentes a menudo tratan las entradas visuales meramente como un contexto de condicionamiento para la predicción de texto, en lugar de integrarlas profundamente en el objetivo de aprendizaje predictivo.

Metodología: Preentrenamiento Visual (VP)

Los autores proponen el Preentrenamiento Visual (VP), un marco donde un modelo fundacional aprende directamente de documentos visuales brutos sin extracción de texto ni supervisión de emparejamiento imagen-texto.

Arquitectura Central y Entrenamiento

Representación de Entrada: Las páginas de documentos científicos brutos se renderizan como imágenes. Una torre de visión congelada codifica estas imágenes en características visuales.
Extracción de Primer Plano Dispersa (Sparse Foreground Extraction): Para mejorar la eficiencia, las regiones de fondo en blanco (márgenes, espacios en blanco) se filtran utilizando estadísticas de parches (varianza de píxeles, luminancia). Los parches de primer plano restantes se ordenan en orden de escaneo rasterizado para formar una secuencia visual dispersa.
Proyección y Predicción: Las características visuales dispersas se proyectan en el espacio oculto del LLM mediante una proyección lineal aprendible. El modelo se entrena utilizando un objetivo de predicción de siguiente latente visual autoregresivo.
- A diferencia de la predicación de siguiente token estándar que apunta a tokens de texto discretos, el VP apunta a latentes visuales continuos.
- La función de pérdida utiliza una pérdida contrastiva dentro del lote (InfoNCE) para predecir el siguiente latente visual de primer plano $z_{t+1}$ dado el estado actual, distinguiéndolo de otros parches en el lote.
Entrenamiento Conjunto: El objetivo final combina la predicción de siguiente token de texto estándar ( $\mathcal{L}_{CE}$ ) con la pérdida de predicción de latente visual ( $\mathcal{L}_{VP}$ ), intercaladas según una ratio fija. El codificador visual permanece congelado; solo se actualizan el LLM, el módulo de proyección visual y la cabeza de predicción.

Configuración Experimental

El estudio emplea una comparación estrictamente controlada entre VP y el Preentrenamiento de Texto (TP):

Corpus: Ambos métodos utilizan exactamente el mismo corpus de PDF subyacente.
Diferencia de Representación:
- TP: Los PDFs se parsean en texto plano (usando MinerU2.5), resultando en ~80B de tokens de texto.
- VP: Los PDFs se renderizan como imágenes y se convierten en tokens visuales dispersos, resultando en ~20B de tokens visuales.
Backbones: Los experimentos se realizan en múltiples arquitecturas, incluyendo Qwen3.5, Qwen3, Llama 3.2 Vision y Llama 3.1.
Evaluación: Todos los checkpoints pasan por un Ajuste Fino Supervisado (SFT) idéntico antes de la evaluación en razonamiento científico y benchmarks multimodales.

Contribuciones Clave

Demostración de la Pérdida de Información en el Preentrenamiento Solo de Texto: El artículo proporciona evidencia empírica de que reducir documentos visuales a texto plano incurre en una pérdida sustancial de información, y que el preentrenamiento visual recupera esta información descartada.
Marco de Preentrenamiento Visual Autoregresivo: Los autores introducen un método para entrenar modelos fundacionales para predecir parches de documentos en el espacio latente, integrando profundamente los latentes visuales en el proceso predictivo sin requerir datos emparejados de imagen-texto.
Alternativa Escalable al Preentrenamiento Solo de Texto: A través de estudios empíricos unificados en diversas arquitecturas y benchmarks, el trabajo establece el VP como una alternativa efectiva, eficiente y escalable al preentrenamiento tradicional de solo texto.

Resultados

1. Efectividad en el Razonamiento Científico

El VP supera consistentemente al TP en benchmarks de razonamiento científico (MMLU-Pro, GPQA, AIME-25, HLE) tanto en modelos multimodales nativos como en modelos de solo lenguaje.

Ganancias de Rendimiento: En el backbone Qwen 3.5, el VP mejoró las puntuaciones de GPQA Diamond de 76.24 a 79.29 (+3.05) y de MMLU-Pro de 83.91 a 85.09.
Agnóstico a la Arquitectura: Se observaron mejoras en todos los backbones probados, lo que indica que el beneficio no está ligado a una arquitectura específica.
Razonamiento vs. Conocimiento: Las ganancias son más pronunciadas en benchmarks que requieren conocimiento de figuras geométricas y esquemas (GPQA, MMLU-Pro), mientras que las mejoras en HLE (enfocado en razonamiento de múltiples pasos difíciles) fueron marginales, sugiriendo que el VP recupera específicamente el conocimiento visual-estructural.

2. Escalabilidad y Eficiencia

Eficiencia de Tokens: El VP logra un rendimiento downstream superior consumiendo solo el 25% del presupuesto de tokens en comparación con el TP (20B tokens visuales vs. 80B tokens de texto para el mismo corpus).
Leyes de Escalamiento: A medida que el entrenamiento progresa, el VP muestra ganancias normalizadas que aumentan constantemente sobre el TP (por ejemplo, 2.88× en AIME-25).
Densidad de Estructura: La ventaja del VP se correlaciona fuertemente con la densidad de la estructura visual. En páginas ricas en figuras, ecuaciones y tablas, el VP supera significativamente al TP, mientras que en páginas dominadas por texto, el rendimiento es comparable.

3. Alineación y Transferencia Cross-Modal

A pesar de ser entrenado en documentos brutos no etiquetados sin emparejamiento explícito imagen-texto:

Alineación: El VP mejora significativamente la alineación cross-modal. La separación de centroides entre los embeddings visuales y de texto cae de 1.665 a 0.661, y la similitud de coseno aumenta de 0.631 a 0.907.
Benchmarks Multimodales: Los modelos VP superan tanto a los modelos base como a los modelos TP en benchmarks multimodales (MMMU-Pro, ChartQAPro, MathVista). Notablemente, el TP a veces retrocede en benchmarks visualmente pesados (ej. ChartQAPro), mientras que el VP genera ganancias sustanciales (ej. +5.4 en ChartQAPro).
Mecanismo: El análisis de los mapas de atención revela que el razonamiento visual en VP atiende a la misma evidencia semántica (restricciones, pasos de computación) que el razonamiento de texto, sugiriendo que el modelo aprende a extraer pistas visuales relevantes para el razonamiento.

Significancia y Reivindicaciones

El artículo afirma que el Preentrenamiento Visual es una vía escalable para aprender tanto la inteligencia lingüística como la visual. Desafía la suposición por defecto de que los modelos de lenguaje deben ser entrenados con representaciones de solo texto.

Complementario, No un Reemplazo: Los autores posicionan el VP no como un reemplero del preentrenamiento de texto, sino como un objetivo complementario que permite a los modelos retener la exposición al texto mientras aprenden de la forma visual nativa de los documentos científicos.
Eficiencia: El marco demuestra que los modelos fundacionales pueden entrenarse en corpora visuales altamente comprimidos (25% del conteo de tokens) para alcanzar o superar el rendimiento de los modelos preentrenados solo con texto.
Direcciones Futuras: El trabajo sugiere que la predicción de latentes visuales podría servir como un objetivo de preentrenamiento efectivo para corpora visuales de alta densidad (gráficos, fórmulas, layouts) y abre un camino hacia el entrenamiento de modelos fundacionales principalmente en flujos visuales a gran escala con un alineamiento de texto ligero.

Los autores mantienen la modestia, señalando que su enfoque está basado en el preentrenamiento de texto y que las ganancias deben verse como evidencia de que el preentrenamiento visual complementa y extiende las capacidades de los modelos fundacionales, en lugar de operar como un régimen de preentrenamiento visual totalmente independiente. También reconocen que la transferibilidad a corpora visuales más amplios (ej. imágenes naturales o video) sigue siendo una pregunta abierta.