Resumen Técnico: Estructura sobre Píxeles: Aprendizaje de Programas Visuales de Longitud Variable

Enunciado del Problema

Las redes neuronales profundas actuales sobresalen en tareas de visión por computadora, pero producen representaciones que a menudo son verbosas, distribuidas y difíciles de inspeccionar o validar. Si bien los tokenizadores visuales discretos (DVT) ofrecen un camino hacia descripciones estructurales de escenas al mapear imágenes a secuencias ordenadas de códigos discretos, los enfoques existentes adolecen de dos limitaciones principales:

1. Longitud de Programa Fija: La mayoría de los DVT (por ejemplo, VQ-VAE, VQGAN y tokenizadores 1D recientes) imponen una cuadrícula espacial fija o un número fijo de espacios latentes por imagen. Esto desacopla el "presupuesto de código" de la complejidad visual real de la escena, violando principios como la navaja de Occam y la longitud mínima de descripción.
2. Entrenamiento Centrado en Píxeles: Los DVT estándar suelen entrenarse con pérdidas de reconstrucción a nivel de píxel. Este énfasis en la fidelidad a menudo obliga al modelo a desperdiciar capacidad en capturar características texturales de bajo nivel en lugar de la estructura semántica o geométrica de alto nivel.

Además, los métodos existentes que permiten una tokenización de longitud variable suelen depender de búsquedas post-hoc, enrutamiento en tiempo de inferencia o conjuntos discretos de tasas preentrenadas, en lugar de aprender una longitud de secuencia continua por imagen acoplada directamente al modelo y al contenido de la escena.

Metodología: STROP

Los autores proponen STROP (Estructura sobre Tokens), una arquitectura de tokenizador visual discreto diseñada para formar representaciones estructurales de escenas mientras aprende simultáneamente la longitud óptima del programa visual de una imagen.

Arquitectura

STROP consta de cinco etapas clave:

1. Codificador Congelado: Un codificador ViT DINOv3 congelado extrae características por parches de la imagen de entrada.
2. Generador de Programas: Un transformador solo de codificador procesa las características de los parches concatenadas con una secuencia de tokens de consulta aprendibles. Una máscara causal asegura que los tokens de consulta atiendan solo a consultas anteriores y características de origen, generando una secuencia de programa bruta $Z_p$.
3. Cuantización Vectorial: El programa bruto se proyecta en un espacio de baja dimensión y se cuantiza frente a un libro de códigos fijo ($|CB|=1024$) mediante búsqueda de vecinos más cercanos, produciendo tokens discretos.
4. Cabeza de Longitud: Un MLP ligero predice la longitud activa del programa ($\hat{L}$) directamente desde las características del codificador. Esto permite que el modelo determine cuánto de la secuencia exponer sin muestreo autoregresivo.
5. Interpretador: Un transformador solo de codificador espejo expande el programa truncado (prefijo de longitud $\hat{L}$) de nuevo en una cuadrícula de características espaciales. Esta cuadrícula se pasa luego a un decodificador convolucional.

Objetivo de Entrenamiento y Currículo

A diferencia de los tokenizadores tradicionales, STROP evita los gradientes de reconstrucción a nivel de píxel para dar forma al libro de códigos. En su lugar, toda la señal de entrenamiento se deriva de características de parche DINOv3 congeladas mediante destilación de características. La función de pérdida combina alineación latente (similitud coseno y MSE frente a características del profesor), pérdida de compromiso y un regularizador de diversidad.

Para habilitar la truncación adaptativa, STROP emplea un currículo de cuatro fases:

• Fase 1 (Truncamiento Aleatorio): El modelo se entrena con programas truncados aleatoriamente para forzar que el contenido informativo se cargue al principio en los tokens anteriores.
• Fase 2 (Estimación Oráculo): El sistema estima longitudes "oráculo" para cada muestra analizando los errores de reconstrucción y las pendientes locales de la curva tasa-distorsión.
• Fase 3 (Entrenamiento Supervisado): La cabeza de longitud se entrena para predecir estos objetivos oráculo mientras el truncamiento sigue siendo aleatorio, asegurando un aprendizaje estable.
• Fase 4 (Traspaso): La cabeza de longitud entrenada se despliega gradualmente para controlar el truncamiento, transitando de longitudes aleatorias a longitudes auto-predichas.

En la inferencia, la cabeza de longitud predice $\hat{L}$, y el programa se truncará estrictamente a esta longitud antes de la decodificación. Un decodificador de píxeles desconectado sirve únicamente como capa de inspección, asegurando que el libro de códigos se moldee enteramente por la calidad de las representaciones latentes de alto nivel.

Contribuciones Clave

El artículo describe cuatro contribuciones concretas:

1. Programas Visuales de Longitud Variable: STROP supervisa la longitud del programa por imagen utilizando sondas locales de tasa-distorsión y un currículo de prefijos, permitiendo que el recuento de tokens crezca con la complejidad de la escena.
2. Tokenizador Simple Generador-Interpretador: La arquitectura utiliza dos transformadores solo de codificador con consultas aprendidas para escribir y leer códigos VQ ordenados causalmente, guiados por la destilación de características DINOv3.
3. Sondas de Píxeles sin Entrenamiento de Píxeles: Al utilizar un decodificador de píxeles desconectado, el método trata las reconstrucciones como una superficie de inspección, evitando que los gradientes de píxeles den forma al libro de códigos y priorizando la calidad representacional sobre la textura.
4. Evaluación de Representación y Estructura: Los autores proporcionan una evaluación exhaustiva de las compensaciones tasa-calidad, el rendimiento en tareas densas aguas abajo y evidencia de estructura composicional a través de la reutilización de códigos y el anclaje espacial.

Resultados

Alineación Latente y Compresión

STROP logra una fuerte alineación con las características DINOv3 congeladas. En el conjunto de datos COCO, la variante DINO-S/STROP-S alcanza una similitud coseno de 0.855 y un $R^2$ de 0.734. El modelo comprime tensores de características de tamaño variable en una secuencia adaptativa de hasta 64 códigos discretos, logrando ratios de compresión en el peor caso que van desde $\sim$4,900$\times$ hasta $\sim$13,100$\times$, dependiendo del backbone.

Rendimiento Aguas Abajo

Cuando se utilizan representaciones STROP congeladas para tareas aguas abajo mediante sondas lineales:

• Segmentación Semántica: STROP supera consistentemente a los tokenizadores adaptativos de uso inmediato (FlexTok, One-D-Piece) en VOC, COCO-Stuff-27 y ADE20K. Por ejemplo, la representación latente DINO-B/STROP-S alcanza 67.5 mIoU en VOC, superando significativamente a FlexTok (48.4 mIoU).
• Clasificación Multi-etiqueta: STROP iguala o supera marginalmente al profesor DINO congelado y supera a FlexTok en aproximadamente 10 puntos de mAP media en promedio.
• Estimación de Profundidad: STROP preserva el contenido relevante para la tarea de estimación de profundidad, aunque queda por detrás de los modelos profesores más fuertes.

Análisis Estructural

• Correlación de Complejidad: La longitud del programa se correlaciona fuertemente con la complejidad de la escena. En CLEVR, la longitud activa del programa muestra una correlación de Pearson de $r \approx 0.74$ con el recuento de objetos de verdad fundamental.
• Estructura Composicional: Los diagnósticos de borrado de tokens revelan que los tokens individuales del programa actúan como "manejos" espacialmente coherentes sobre la escena. Las sinergias de pares de tokens se alinean con regiones semánticas, sugiriendo la emergencia de una gramática visual aprendida.
• Decodificación por LLM: Los LLM de vanguardia (Qwen3.5, DeepSeek-V3.1) pueden decodificar disposiciones espaciales gruesas (recuento de objetos y posiciones) a partir de las secuencias de códigos, pero no logran vincular de manera fiable los tokens a atributos específicos (color, material), lo que indica que el libro de códigos expone la disposición pero aún no un enlace de atributos completamente transparente.

Significado y Limitaciones

El artículo afirma que STROP demuestra que los programas visuales de longitud variable pueden aprenderse de extremo a extremo sin búsquedas post-hoc, adaptando efectivamente el "presupuesto de código" a la complejidad de la escena. Al desacoplar el entrenamiento de la reconstrucción de píxeles, el modelo prioriza la fidelidad estructural y semántica, resultando en representaciones altamente efectivas para tareas aguas abajo y que exhiben signos de estructura composicional.

Sin embargo, los autores se mantienen modestos sobre el estado actual del sistema:

• Brecha de Legibilidad: Las sondas directas sobre tokens cuantizados crudos funcionan peor que las sondas sobre el campo interpretado, lo que sugiere que el programa se ve mejor como una representación intermedia ejecutable en lugar de una característica lineal lista para usar.
• Vinculación de Atributos: El libro de códigos aún no codifica de manera fiable atributos discretos (color, material) para modelos de lenguaje, limitando su utilidad como una interfaz simbólica completamente transparente.
• Especificidad de Tarea: Aunque STROP supera a las líneas base en la mayoría de los puntos de referencia, queda por detrás de FlexTok en el conjunto de datos Cityscapes, probablemente debido a la naturaleza densa y de grano fino de las escenas urbanas, que podrían beneficiarse de una decodificación consciente de píxeles.

El trabajo posiciona a STROP como un paso hacia representaciones estructurales principistas, sugiriendo trabajo futuro en la escalabilidad de la capacidad del libro de códigos, el desarrollo de protocolos de sondeo nativos de programas y la alineación de identidades de códigos con señales de subtítulos para mejorar la vinculación de atributos.