Resumen Técnico: Alineación de Representación Multiescala para el Modelado Autorregresivo Visual con Mezcla de Expertos (MEPA)

1. Planteamiento del Problema

El modelado Autorregresivo Visual (VAR) ha establecido un paradigma generativo exitoso de grueso a fino mediante la descomposición de imágenes en representaciones residuales multiescala y la predicción secuencial de las escalas. Sin embargo, los autores identifican dos deficiencias inherentes en las arquitecturas VAR actuales:

1. Conflictos de Optimización en Arquitecturas Compartidas: Los modelos VAR estándar emplean una única arquitectura Transformer compartida para todas las escalas (de pequeña a grande). No obstante, las diferentes escalas tienen objetivos de aprendizaje distintos: las escalas inferiores capturan la semántica global y la disposición (layout), mientras que las escalas superiores se centran en detalles finos y texturas. Forzar a una arquitectura compartida a aprender estos espacios de características divergentes simultáneamente induce conflictos de optimización, lo que dificulta un aprendizaje de representación multiescala efectivo.
2. Propagación de Errores Semánticos: Debido a la naturaleza causal del proceso autorregresivo, las predicciones en escalas superiores están estrictamente condicionadas por los mapas de características generados en las escalas anteriores. Las representaciones semánticas inexactas en escalas pequeñas o intermedias se propagan y amplifican a través de la cadena de generación, provocando una degradación significativa en la calidad del resultado final.

2. Metodología: MEPA

Para abordar estos desafíos, los autores proponen MEPA (Multi-scale rEpresentation Alignment), un marco que combina una arquitectura de Mezcla de Expertos (MoE) sensible a la escala con un mecanismo de guía semántica.

2.1 Mezcla de Expertos Sensible al Escala y Dirigida por Tokens (STMoE)

Los autores introducen una arquitectura MoE dirigida por tokens para desacoplar la capacidad del modelo a través de las escalas, permitiendo un aprendizaje de características especializado.

• Evolución de SMoE a STMoE: Los autores diseñaron primero un MoE dirigido por Escala (SMoE) que asigna tokens a expertos basándose únicamente en su índice de escala. Sin embargo, esto condujo a una "homogeneización de enrutamiento", donde todos los tokens dentro de una misma escala eran enrutados de forma idéntica, causando un desequilibrio de carga y limitando la flexibilidad.
• Diseño de STMoE: Para resolver esto, proponen un MoE Sensible al Escala y Dirigido por Tokens (STMoE). Este enfoque integra las incrustaciones (embeddings) de escala directamente en los tokens de entrada. Un enrutador basado en tokens calcula entonces las puntuaciones de afinidad basándose tanto en el contenido semántico del token como en su información de escala. Esto permite una selección de expertos adaptativa dentro de la misma escala, mejorando el equilibrio de carga y permitiendo una especialización de grano fino.
• Equilibrio de Carga: Se incorpora una pérdida de equilibrio de carga estándar para asegurar la activación uniforme de los expertos durante el entrenamiento, lo cual es crucial para la eficiencia del entrenamiento distribuido.

2.2 Agregación Residual y Guía Semántica (SG)

Para mitigar la propagación de errores semánticos, los autores introducen un mecanismo de Guía Semántica que alinea las representaciones VAR con características externas autosupervisadas.

• Estrategia de Alineación Causal: A diferencia de la alineación ingenua que restringe solo la representación final, MEPA apunta a las etapas tempranas de la generación. Los autores argumentan que, dado que las predicciones de gran escala dependen de las características de escala pequeña, la regularización semántica debe aplicarse tempranamente para evitar la propagación de errores.
• Agregación Residual: La alineación directa entre las características residuales multiescala de VAR y los codificadores autosupervisados (que aprenden representaciones completas basadas en parches) es subóptima debido a una brecha de características. MEPA aborda esto agregando las características residuales de forma acumulativa (sobremuestreo y suma desde la escala 1 hasta $j$) para crear representaciones progresivamente enriquecidas.
• Selección de Objetivos: Los autores determinan empíricamente que alinear las características agregadas de escala intermedia (específicamente las escalas 1-5, 1-6 y 1-7) ofrece los mejores resultados. Esto fortalece los "esbozos semánticos gruesos" en una etapa temprana del proceso, proporcionando una base fiable para la subsiguiente generación de detalles finos.
• Codificador Externo: El marco utiliza características de un codificador DINOv3 preentrenado, el cual los autores encontraron que ofrece una precisión estructural y semántica superior en comparación con DINOv2 o MoCoV3.

El objetivo de entrenamiento final combina la pérdida de entropía cruzada autorregresiva original con la pérdida de guía semántica.

3. Contribuciones Clave

1. Análisis Sistemático de las Limitaciones de VAR: El artículo destaca y analiza los conflictos de optimización derivados de las arquitecturas compartidas y la propagación de errores semánticos en el paradigma VAR causal.
2. Marco MEPA: La propuesta de un nuevo MoE sensible a la escala y dirigido por tokens (STMoE) que desacopla el aprendizaje de representaciones a través de las escalas y mejora el equilibrio de carga de los expertos.
3. Alineación Semántica a Medida: El diseño de un esquema de agregación de características residuales específicamente para VAR, que inyecta información semántica precisa en las escalas tempranas para estabilizar la cadena de generación, en lugar de aplicar una estrategia de alineación genérica.
4. Ganancias de Eficiencia y Calidad: Demostrar que MEPA mejora significativamente tanto la eficiencia del entrenamiento como la calidad de la generación, logrando un rendimiento superior con menos épocas de entrenamiento y un presupuesto de parámetros menor.

4. Resultados Experimentales

El método fue evaluado en el benchmark condicional de clase ImageNet 256×256.

• Rendimiento frente a Baselines: MEPA-d16 logra una Distancia de Fréchet Inception (FID) de 2.32 con 200 épocas de entrenamiento, superando al baseline denso VAR-d16 (FID 3.55) y a otros modelos autorregresivos de última generación.
• Eficiencia de Entrenamiento: Un hallazgo clave es la ganancia de eficiencia. MEPA-d16 entrenado por solo 100 épocas logra un FID de 2.65, el cual es comparable o incluso mejor que los baselines entrenados durante 200–250 épocas. Esto representa una aceleración de 2× para alcanzar la convergencia.
• Estudios de Ablación:
  • STMoE vs. SMoE: STMoE supera a SMoE (FID 2.99 vs. 3.11 sin guía), confirmando que la flexibilidad de enrutamiento a nivel de token es superior al enrutamiento basado solo en la escala.
  • Guía Semántica: Añadir SG al baseline VAR-d16 reduce el FID de 4.10 a 3.59 (con DINOv3).
  • Estrategia de Agregación: Alinear las características agregadas intermedias (+SG-M) produce mejores resultados que alinear solo la representación agregada final (+SG-Last), validando la hipótesis de que la corrección semántica en etapas tempranas es crítica.
• Comparación con REPA: Al compararse con la Alineación de Representación (REPA) aplicada a modelos de Difusión (SiT), MEPA muestra una mayor ganancia de rendimiento (mejora del 21.36% en FID para MEPA frente al 12.62% para REPA), lo que sugiere que la estrategia de alineación propuesta es particularmente efectiva para el paradigma VAR.
• Sobrecarga (Overhead): El método incurre en un aumento marginal en el tiempo de inferencia (0.7×) y en el tiempo de entrenamiento por época (4.50%), lo cual se compensa con la convergencia más rápida y la mayor calidad.

5. Significado y Reivindicaciones

Los autores afirman que MEPA representa el primer estudio sistemático de la alineación de representaciones diseñado específicamente para el paradigma VAR. Enfatizan que su enfoque no es una extensión directa de los métodos de alineación existentes (como REPA para modelos de difusión), sino que aborda desafíos únicos inherentes a VAR, tales como la brecha de características entre las representaciones residuales y las completas, y la propagación causal de errores.

El artículo concluye que, al desacoplar el aprendizaje de representaciones mediante STMoE y estabilizar la cadena de generación mediante la guía semántica en etapas tempranas, MEPA cierra con éxito la brecha entre la alta eficiencia de inferencia de VAR y la alta calidad de generación de los modelos de difusión. Los autores señalan modestamente que, aunque MEPA supera a los métodos existentes bajo presupuestos de entrenamiento restringidos, el escalado a resoluciones más altas (ej. 512×512) y modelos más grandes sigue siendo una dirección para el trabajo futuro.