💻 computer science

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

Este artículo presenta GAS, un marco de entrenamiento que mejora la comprensión visual con sobrecarga de inferencia cero en Modelos de Lenguaje de Gran Escala Multimodales mediante el uso de una rama de generación desacoplada con Predicción del Siguiente Embedding como supervisión auxiliar para refinar las representaciones visuales compartidas sin comprometer la arquitectura de inferencia final.

Autores originales: Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un estudiante brillante cómo entender una pintura compleja. Tradicionalmente, le mostrarías el arte y le pedirías que escribiera una descripción de él. Así aprende a hablar sobre la pintura, pero nunca tiene que dibujarla. Así es como funcionan la mayoría de los "Modelos de Lenguaje Grandes Multimodales" (MLLM) actuales: son fantásticos describiendo imágenes, responiendo preguntas sobre ellas e incluso resolviendo acertijos basados en lo que ven. Sin embargo, debido a que solo se entrenan para hablar sobre la imagen, a veces pasan por alto los detalles diminutos y precisos —como exactamente dónde está un objeto específico, o cuántos artículos están ocultos en una multitud. Captan la "idea general", pero podrían fallar en la letra pequeña.

Ahora, imagina un enfoque diferente: ¿qué pasaría si, para ayudarles a entender mejor, también les pidieras que recrearan la pintura? Parece mucho trabajo extra, y podrías temer que intentar dibujar los distrajera de aprender a describir. Pero, ¿y si pudieras usar el acto de dibujar puramente como un ejercicio secreto de entrenamiento? Podrías obligar a su cerebro a prestar atención a cada píxel y relación espacial para lograr que el dibujo sea correcto, pero luego, una vez terminado el entrenamiento, podrías desechar las herramientas de dibujo por completo. El estudiante se quedaría con una capacidad superpotenciada para entender la imagen, habiendo aprendido de la práctica del dibujo, pero sin necesidad de volver a dibujar nunca más. Esta es la idea central detrás de un nuevo método llamado GAS (Generación como Supervisión Auxiliar).

El Problema: Hablar vs. Ver

Los modelos de IA actuales son como críticos de arte que nunca han sostenido un pincel. Están entrenados para predecir la siguiente palabra en una oración sobre una imagen. Si bien esto los hace excelentes conversadores, deja un vacío en su visión. No tienen una "memoria muscular" directa para detalles visuales como formas exactas, límites o relaciones espaciales. El artículo argumenta que, al entrenarlos solo para hablar, estamos perdiendo un enorme reservorio de aprendizaje visual. Los intentos previos de solucionar esto mediante modelos que tanto hablan como dibujan (Modelos Unificados) a menudo fallaron porque la parte de "dibujar" era demasiado pesada, ralentizando el modelo, o porque la forma en que dibujaban (usando diferentes tipos de "píxeles" digitales) no coincidía con su forma de pensar, causando confusión en lugar de mejora.

La Solución: La Clase de Dibujo "Fantasma"

Los investigadores detrás de GAS idearon un truco ingenioso. Construyeron un marco de entrenamiento especial donde la IA aprende a "dibujar" (o más precisamente, a predecir la siguiente parte de la representación digital de una imagen) junto con su trabajo normal de comprensión.

Así es como lo hicieron, usando la metáfora de una casa de dos pisos:

El Fundamento Compartido (El Tronco): Tanto la IA de "Comprensión" como la IA de "Dibujo" comparten los mismos pisos inferiores. Aquí es donde se procesa la información visual bruta.
La División (La Arquitectura MoT): A medida que la información sube las escaleras, la casa se divide. Un camino conduce a la habitación de "Comprensión" (donde la IA responde preguntas), y un camino paralelo conduce a la habitación de "Dibujo".
El Arma Secreta (NEP): En la habitación de Dibujo, la IA no intenta crear una imagen bonita para una galería. En su lugar, utiliza una técnica llamada Predicción del Siguiente Embedding (NEP). Piensa en esto como la IA intentando adivinar la siguiente "pieza de Lego digital" que compone la imagen, basándose en las instrucciones que recibió. No intenta ser una artista; intenta ser una arquitecta precisa de datos visuales.
La Transferencia Mágica: El acto de intentar predecir estos bloques visuales precisos obliga al fundamento compartido (los pisos inferiores) a volverse increíblemente detallado y nítido. Aprende a retener la información visual mucho mejor que antes.
El Giro de Cero Sobrecarga: Esta es la mejor parte. Una vez finalizado el entrenamiento, toda la habitación de "Dibujo" es demolida. La IA conserva el fundamento supernítido que aprendió, pero ya no tiene la habitación extra ni las herramientas para dibujar. Cuando le haces una pregunta más tarde, responde con la misma rapidez que antes, pero con una visión mucho mejor. El artículo confirma que esto añade cero sobrecarga de inferencia, lo que significa que no hace que la IA sea más lenta o pesada de usar.

Lo Que Encontraron

El equipo probó esto en modelos con 2 mil millones y 4 mil millones de parámetros. No solo conjeturaron; realizaron experimentos extensos para ver si este "entrenamiento de dibujo" realmente ayudaba a las habilidades de "comprensión".

Mejores en los Detalles: Los modelos entrenados con GAS fueron significativamente mejores en tareas que requieren una visión precisa, como contar objetos, determinar relaciones espaciales (por ejemplo, "¿está la lámpara más cerca que la TV?") y comprender diagramas complejos. Por ejemplo, en una prueba de conteo, el modelo de 2B saltó de 87.7 a 90.1, y el de 4B alcanzó 90.8.
Funciona en Cualquier Etapa: Probaron esto en modelos de IA que eran completamente nuevos, modelos que ya habían sido pre-entrenados y modelos que ya habían sido ajustados (fine-tuned). En todos los casos, la "práctica de dibujo" ayudó. Fue más útil para los modelos nuevos, pero incluso los modelos que ya eran fuertes y listos recibieron un impulso.
No Todo el Dibujo es Igual: Descubrieron que el tipo de tarea de dibujo importaba. Simplemente pedirle a la IA que "dibuje un gato" no ayudó mucho. Pero pedirle que dibujara basándose en instrucciones complejas —como "segmenta esta parte específica de la imagen" o "edita este objeto basándote en una razón lógica"— la obligó a pensar profundamente. Estas tareas de dibujo "cognitivas" fueron las que realmente supercargaron la comprensión.
La Rama "Fantasma" es Clave: Demostraron que si no separaban el camino de dibujo del camino de comprensión (usando su diseño especial de "Mezcla de Transformers"), la IA en realidad se volvía peor en la comprensión. La tarea de dibujo confundía a la IA. La separación fue crucial para permitir que el aprendizaje visual se "impregnara" en el fundamento sin arruinar el proceso de pensamiento.

Por Qué Importa

El artículo sugiere que no necesitamos construir sistemas de IA masivos y lentos que puedan tanto hablar como dibujar para obtener una mejor visión. En su lugar, podemos usar el proceso de generación como una herramienta secreta de entrenamiento. Al forzar a la IA a predecir detalles visuales de una manera específica y estructurada durante el entrenamiento, y luego descartar esa capacidad después, obtenemos un modelo que ve el mundo con ojos mucho más agudos, pero que funciona con la misma velocidad de siempre.

Los investigadores encontraron que este enfoque funciona en diferentes tamaños de modelos y etapas de entrenamiento, lo que sugiere que es una forma confiable de aumentar la inteligencia visual. También demostraron que la IA no perdió su capacidad de razonar solo con texto; de hecho, mejoró ligeramente en ello también. El artículo concluye que el entrenamiento guiado por la generación es una ruta práctica y eficiente para una comprensión multimodal más fuerte, resolviendo el problema de cómo hacer que la IA "vea" mejor sin hacerla "más lenta".

Resumen Técnico: GAS (Generación como Supervisión Auxiliar)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado un éxito significativo en tareas de comprensión visual (p. ej., descripción de imágenes, VQA) codificando las entradas visuales en tokens de texto para el razonamiento autorregresivo. Sin embargo, este paradigma depende únicamente de la supervisión basada solo en texto (Predicción del Siguiente Token), lo que introduce dos limitaciones críticas:

Cuello de Botella de Expresividad: El lenguaje natural no puede codificar con precisión detalles visuales finos, como relaciones espaciales exactas, límites a nivel de píxel o la dinámica física. En consecuencia, las representaciones visuales en las capas más profundas del LLM suelen atenuarse, perdiendo información geométrica y estructural.
Datos Subutilizados: Las arquitecturas existentes no pueden consumir eficazmente datos visualmente intensivos (p. ej., máscaras de segmentación, edición de imágenes) para el entrenamiento, perdiendo un vasto reservorio de supervisión detallada.

Aunque los Modelos Multimodales Unificados (UMMs) intentan entrenar conjuntamente la comprensión y la generación, enfrentan tensiones no resueltas:

Sobrecarga de Inferencia: La mayoría de los UMMs retienen los parámetros de generación durante la inferencia, lo que incurre en costos de latencia y memoria.
Conflicto de Objetivos: Los objetivos de generación en los UMMs suelen optimizarse para la calidad de la síntesis en lugar de la comprensión, lo que conduce a estancamientos o degradación en las tareas de comprensión debido a presiones de optimización conflictivas.
Falta de Mecanismo: El trabajo existente a menudo reporta ganancias agregadas sin aclarar cómo la generación beneficia a la comprensión o qué representaciones intermedias son más propicias para dicha supervisión.

Metodología: Marco de Trabajo GAS

Los autores proponen GAS (Generación como Supervisión Auxiliar), un marco de entrenamiento que reinterpreta la generación visual no como un objetivo de despliegue, sino como supervisión auxiliar para enriquecer las representaciones visuales para la comprensión. El marco consta de tres componentes principales:

1. Predicción del Siguiente Embedding (NEP)

En lugar de utilizar una tokenización visual discreta u objetivos de difusión (que crean espacios de representación disjuntos), GAS formula la generación como la predicción autorregresiva de embeddings visuales continuos dentro del mismo espacio de representación consumido por el backbone del LLM.

Objetivo: El modelo predice los embeddings de la imagen objetivo ( $z_{tgt}$ ) derivados de un Vision Transformer (ViT) congelado y un proyector de lenguaje-visión.
Pérdida: La pérdida de generación se calcula como la distancia de coseno entre los embeddings predichos y los reales en el espacio continuo, priorizando el enriquecimiento de la representación estructural sobre la síntesis de píxeles fotorrealistas.
Estabilización: Se utiliza una Media Móvil Exponencial (EMA) de los pesos del proyector para generar embeddings objetivo estables, evitando la deriva de la supervisión durante el entrenamiento conjunto.

2. Arquitectura de Mezcla de Transformers (MoT)

Para resolver el conflicto entre los objetivos de generación y comprensión, GAS emplea una arquitectura desacoplada:

Tronco Compartido: Las capas inferiores del modelo (hasta una capa de división $l_{split}$ ) son compartidas entre las ramas de comprensión y generación.
Ramas Paralelas:
- La Rama de Comprensión continúa a través de las capas superiores, optimizada únicamente por la pérdida de entropía cruzada de texto.
- La Rama de Generación consiste en capas de transformer independientes inicializadas desde el backbone, optimizadas únicamente por la pérdida NEP.
Mecanismo: Los gradientes de la pérdida de generación fluyen hacia atrás a través del tronco compartido, refinando los estados ocultos intermedios ( $H_{l_{split}}$ ) con detalles visuales finos. Estos estados enriquecidos se alimentan luego en las capas de comprensión superiores, las cuales se adaptan para explotar estas características sin ser perturbadas directamente por los gradientes de generación.
Cero Sobrecarga de Inferencia: Crucialmente, toda la rama de generación (parámetros y cabezal de visión) se descarta después del entrenamiento. El modelo desplegado es idéntico en arquitectura y costo al de un MLLM estándar de solo comprensión.

3. Construcción Sistemática de Datos

Los autores construyeron un conjunto de datos de aproximadamente 10 millones de muestras de generación a través de cinco categorías y 15 subtareas, generadas mediante un flujo de trabajo automatizado y libre de anotaciones manuales:

Categorías: Localización (Grounding), Segmentación, Edición de Imágenes, Cadena de Pensamiento Visual (Visual-CoT) y Texto-a-Imagen (T2I).
Principio de Diseño: Las tareas se seleccionan basándose en su dependencia cognitiva latente con las capacidades de comprensión. Por ejemplo, Visual-CoT requiere generar evidencia visual intermedia para apoyar el razonamiento, obligando al modelo a desarrollar capacidades espaciales y lógicas precisas que el entrenamiento basado solo en texto omite.
Flujo de Trabajo: Utiliza etiquetado de vocabulario abierto (RAM++), detección (Grounding DINO) y síntesis de instrucciones basada en LLM para crear datos de alta calidad y dificultad controlada sin necesidad de anotación manual.

Contribuciones Clave

Transferencia de Cero Sobrecarga: La combinación de la supervisión continua de NEP y una rama de generación MoT eliminable permite la transferencia del aprendizaje generativo al modelo desplegado con estrictamente cero sobrecarga de inferencia.
Hipótesis de Correlación de Tareas: El artículo demuestra que las tareas de generación con correlaciones latentes más fuertes con la comprensión (p. ej., localización, segmentación) producen las mayores ganancias. La combinación de diversas tareas proporciona mejoras complementarias, particularmente en benchmarks de percepción y conteo.
Análisis Sistemático: A través de extensas ablaciones y diagnósticos a nivel de representación, el artículo aclara cuándo y por qué la generación ayuda:
- Es beneficiosa en todas las etapas de entrenamiento (desde cero, preentrenamiento y SFT).
- Requiere un aislamiento arquitectónico específico (MoT) y un diseño de objetivo (NEP); simplemente añadir datos de generación o usar un backbone compartido degrada el rendimiento.
- Mejora la retención de información visual en capas profundas y agudiza los mecanismos de atención hacia regiones relevantes para la tarea.

Resultados

Evaluado en backbones de 2B y 4B parámetros (basados en Qwen3-VL), GAS demuestra mejoras consistentes sobre las líneas base de solo comprensión:

Espacial y Conteo: Ganancias significativas en CountBenchQA (p. ej., +2.4 puntos en la escala de 2B) y CV-Bench, atribuidas directamente a las tareas de localización y segmentación.
Razonamiento: Mejoras en MathVista, DynaMath y VisuLogic, vinculadas a las tareas de Visual-CoT y edición.
Generalización: GAS supera o iguala a modelos unificados más grandes (p. ej., BAGEL 7B+7B, Emu3 8B) en múltiples benchmarks manteniendo un menor número de parámetros y cero costo de inferencia.
Razonamiento de Texto: El marco preserva y mejora ligeramente las capacidades de razonamiento de texto puro (ZebraLogic, MMLU-Redux), indicando que la supervisión de generación no erosiona el razonamiento lingüístico.

Significación y Reivindicaciones

El artículo afirma que el entrenamiento guiado por generación es una ruta práctica hacia una comprensión multimodal más fuerte sin las penalizaciones de despliegue de los modelos unificados. Su principal significación radica en:

Desacoplar el Entrenamiento de la Inferencia: Demostrar que la generación puede servir puramente como un regularizador en el tiempo de entrenamiento para refinar las representaciones visuales, en lugar de ser una capacidad requerida en la inferencia.
Perspectiva Mecanicista: Proporcionar evidencia de que los beneficios provienen de representaciones espaciales enriquecidas y una mejor retención de información en las capas profundas, en lugar de solo un aumento en el volumen de datos.
Escalabilidad: Demostrar que la síntesis de datos automatizada y libre de anotaciones puede escalar efectivamente las tareas de generación para mejorar la comprensión, ofreciendo un plano para el desarrollo futuro de MLLMs que aprovechen el vasto potencial de los datos visuales sin comprometer la eficiencia de la inferencia.

Los autores concluyen que, si bien los objetivos de generación y comprensión pueden entrar en conflicto, un marco de supervisión auxiliar cuidadosamente diseñado (GAS) puede aprovechar el primero para mejorar significativamente el segundo, logrando una comprensión visual de vanguardia con la eficiencia de los modelos estándar de generación de texto.