🤖 AI

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

Este artículo introduce "Analysis-by-Proxy", un marco que revela cómo los modelos de visión y lenguaje utilizados como codificadores de condición para la edición de imágenes fallan al propagar señales de localización cruciales en una sola pasada hacia adelante, ya que estas representaciones espaciales permanecen ocultas en las capas intermedias en lugar de alcanzar los puntos de condicionamiento predefinidos utilizados por los procesos actuales.

Autores originales: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El Modelo "Inteligente" vs. El Editor "Torpe"

Imagina que tienes a un arquitecto brillante y altamente educado (el Modelo de Visión-Lenguaje, o VLM). Este arquitecto es increíble para mirar una foto y una instrucción escrita como: "Elimina la abeja que está en la parte superior del girasol", y saber instantáneamente dónde está esa abeja. Si le pides que la señale, acierta el 89% de las veces.

Sin embargo, cuando contratas a este arquitecto para trabajar como capataz de una cuadrilla de construcción (el Pipeline de Edición de Imágenes), las cosas salen mal. El capataz le dice a la cuadrilla: "Vayan a arreglar la abeja", pero la cuadrilla termina pintando la flor equivocada, eliminando todo el girasol o alucinando una abeja que no estaba allí. La cuadrilla solo acierta el 57% de las veces.

El Misterio: ¿Por qué el arquitecto conoce la respuesta perfectamente, pero la cuadrilla de construcción falla tan estrepitosamente?

La Hipótesis del Papel: La "Calle de un Solo Sentido" vs. La "Conversación"

Los autores descubrieron que el problema no es que el arquitecto sea malo encontrando abejas. El problema es cómo se le pide al arquitecto que haga el trabajo.

El Superpoder del Arquitecto: El arquitecto fue entrenado para tener una conversación. Si le haces una pregunta, él piensa, responde, vuelve a pensar y refina su respuesta. Esta "ida y vuelta" (llamada generación autorregresiva) le ayuda a profundizar en su memoria para encontrar la ubicación exacta de la abeja.
El Trabajo de Construcción: En la edición de imágenes, el arquitecto es obligado a trabajar en silencio. Se le da la foto y la instrucción, y debe escupir un único conjunto de instrucciones inmediatamente. No se le permite "pensar en voz alta" o generar una conversación.

El artículo argumenta que cuando obligas al arquitecto a trabajar en este modo "silencioso y de un solo paso", los detalles específicos sobre dónde está la abeja quedan enterrados en lo profundo de su cerebro. Las instrucciones finales que envía a la cuadrilla son demasiado vagas, a pesar de que el arquitecto en realidad sabe la respuesta.

La Solución: El "Espía" (Análisis por Proximidad/Proxy)

Dado que el arquitecto no hablará con nosotros directamente en este modo silencioso, los investigadores inventaron un Espía, al que llaman Proxy.

La Configuración: En lugar de pedirle al arquitecto que escriba una historia larga (lo cual no puede hacer en este modo), los investigadores colocaron a un detective diminuto y superinteligente (el Proxy) dentro del cerebro del arquitecto.
La Misión: El único trabajo del detective es observar los pensamientos internos del arquitecto (las capas ocultas de la red neuronal) e intentar adivinar las coordenadas de la abeja.
El Descubrimiento: El detective descubrió que la información de la "ubicación de la abeja" no estaba en los pensamientos finales del arquitecto (la última capa). Estaba escondida en las capas intermedias, como una nota secreta pasada entre amigos en un salón de clases.
- Analogía: Imagina que el arquitecto es una biblioteca. La capa final es el "Libro de Resumen" en el mostrador de recepción: es demasiado general. Las capas intermedias son los estantes específicos donde se guardan los mapas detallados. La cuadrilla de construcción solo estaba leyendo el Libro de Resumen, pero el mapa estaba realmente en el Estante 15.

El Giro "Dinámico": No Siempre es el Estante 15

Los investigadores descubrieron algo aún más interesante. La ubicación de la "nota secreta" cambia dependiendo de la pregunta.

Si preguntas por una abeja en un girasol, el mapa está en el Estante 15.
Si preguntas por una abeja en una flor diferente, el mapa podría estar en el Estante 18.

Las herramientas de edición estándar eran como un bibliotecario que siempre revisaba el Estante 20, sin importar qué. Por eso seguían fallando. El "secreto" se mueve de un lugar a otro según la imagen y el texto específicos.

Cómo lo Arreglaron

Los investigadores usaron a su Espía (el Proxy) para encontrar la nota secreta en las capas intermedias, leer las coordenadas y luego dibujar físicamente un cuadro alrededor de la abeja en la foto antes de entregarla a la cuadrilla de construcción.

El Resultado: Cuando la cuadrilla de construcción vio el cuadro dibujado por el Espía, dejaron de adivinar. Supieron exactamente dónde trabajar. La edición se volvió precisa y dejaron de pintar las flores equivocadas.

La Conclusión

Este artículo nos enseña que, solo porque un modelo de IA inteligente sepa dónde está algo, no significa que las herramientas que usan ese modelo puedan verlo.

Forma Antigua: Pedir al modelo inteligente un resumen final y esperar que sea lo suficientemente detallado. (Normalmente no lo es).
Nueva Forma: Usar un "espía" ligero para echar un vistazo a las capas intermedias del modelo, encontrar los detalles específicos que están ocultos allí y entregar esos detalles directamente a la herramienta de edición.

Al hacer esto, los investigadores demostaron que los fallos "torpes" de edición no eran porque la IA fuera estúpida; era porque el pipeline de edición estaba buscando la respuesta en el lugar equivamente.

Resumen Técnico: Análisis por Proximidad: Señales de Localización en VLMs Operando como Codificadores de Condicionamiento

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) se han convertido en el estándar para la arquitectura base de los modelos de edición de imágenes basados en difusión debido a sus avanzadas capacidades de razonamiento multimodal. Sin embargo, existe una brecha de rendimiento significativa: mientras que los VLMs independientes demuestran fuertes capacidades de localización cuando se les permite generar texto de forma autorregresiva, las arquitecturas de edición de imágenes que utilizan los VLMs como codificadores de condicionamiento frecuentemente fallan al localizar ediciones con precisión, particularmente en escenas complejas de múltiples entidades.

Las arquitecturas de edición actuales suelen tratar al VLM como un codificador no generativo, procesando entradas en una pasada única (single forward pass) y extrayendo señales de condicionamiento de un subconjunto predefinido e independiente de la entrada de las capas (a menudo la capa final). Los autores hipotetizan que este modo operativo restringe al VLM para exponer plenamente su comprensión espacial, la cual está optimizada para la generación autorregresiva. En consecuencia, las señales de localización cruciales pueden permanecer ocultas dentro de las representaciones intermedias o fallar en propagarse a las capas seleccionadas para el condicionamiento, lo que conduce a una localización errónea, alucinaciones o la aplicación incorrecta de atributos en la imagen editada final.

Metodología: Análisis por Proximidad (Analysis-by-Proxy)

Para investigar los mecanismos internos de los VLMs bajo las restricciones de pasada única y recuperar las señales espaciales ocultas, los autores introducen Análisis por Proximidad, un marco diseñado para sondear las representaciones de los VLMs sin depender de la generación de texto autorregresiva.

1. El Modelo Proxy

El marco emplea un Q-Former ligero e interpretable como un proxy para el Transformer de Difusión (DiT) descendente. A diferencia del DiT, que opera con objetivos generativos complejos, el Q-Former es entrenado en una tarea auxiliar tratable: predecir las coordenadas de la caja delimitadora (bounding box) $(x_1, y_1, x_2, y_2)$ de un objeto objetivo directamente desde los estados ocultos del VLM.

Arquitectura: El Q-Former utiliza consultas (queries) aprendibles que realizan atención cruzada hacia un subconjunto de los estados ocultos del VLM y atención propia (self-attention).
Objetivo de Entrenamiento: El proxy se optimiza utilizando una combinación de la Intersección sobre Unión Generalizada (GIoU) y pérdida L1 para predecir las cajas delimitadoras.
Verdad de Campo (Ground Truth): Las cajas delimitadoras de verdad de campo se obtienen mediante el prompting del VLM en su modo autorregresivo nativo, asegurando que el proxy aprenda a decodificar la información espacial que el VLM posee inherentemente.

2. Investigación de la Distribución de la Señal

Utilizando este marco, los autores llevan a cabo un análisis granular de dónde reside la información de localización dentro del VLMs:

Análisis por Capas: Al entrenar proxies independientes en los estados ocultos de capas específicas, determinan qué capas contienen las señales espaciales más decodificables.
Descomposición de la Atención: Los autores analizan los pesos de atención de las consultas del Q-Former para identificar cabezales de atención "decisivos". Estos cabezales actúan como enrutadores dinámicos, concentrando la masa de atención en capas específicas del VLM y tokens específicos dependiendo de la instrucción de entrada.
Análisis a Nivel de Token: Dentro de los identificados niveles dominantes, los autores examinan qué tokens portan la señal espacial, encontrando que esta se codifica de forma dispersa en sustantivos y adjetivos semánticamente significativos que definen la edición objetivo.

3. Recuperación e Integración de Señales

Para validar que estas señales ocultas pueden mejorar la edición, los autores proponen un pipeline de inferencia de dos etapas:

Extracción de la Señal: Una pasada única del VLM extrae los estados ocultos intermedios, los cuales el Q-Former entrenado utiliza para predecir la caja delimitadora objetivo.
Condicionamiento: La caja delimitadora predicha se superpone visualmente sobre la imagen de origen. Esta imagen (con la caja) se codifica en el espacio latente del DiT a través de un VAE.
Edición: El DiT se condiciona tanto en la instrucción de texto original como en el marcador espacial explícito (la caja), guiándolo para localizar la edición con precisión.

Contribuciones Clave

Identificación de la Brecha de Localización: El artículo demuestra empíricamente una caída del 31.5% en la precisión de localización cuando los VLMs se usan como codificadores de condicionamiento de pasada única comparado con sus capacidades autorregresivas (89.0% vs. 57.5% en un conjunto de datos curado de múltiples entidades).
Marco de Análisis por Proximidad: Un método novedoso para analizar VLMs en entornos no generativos. Revela que el conocimiento espacial no se pierde, sino que se diluye en las capas finales y se distribuye dinámicamente a través de capas intermedias y tokens específicos.
Descubrimiento de la Dispersión de la Señal: El estudio descubre que las señales de localización están altamente concentradas. Estas alcanzan su pico en capas intermedias (específicamente las capas 15–24 en el backbone Qwen2.5-VL) y se codifican casi exclusivamente dentro de unos pocos tokens semánticamente críticos, en lugar de estar distribuidas uniformemente.
Mecanismo de Recuperación Práctico: Los autores demuestran que destilar estas señales intermedias en cajas delimitadoras espaciales explícitas mejora significativamente el rendimiento de la localización de las arquitecturas de edición existentes, resolviendo modos de fallo comunes como modificar el objeto equivocado o la eliminación excesiva.

Resultados

Evaluación Cuantitativa: Utilizando una métrica de Preguntas y Respuestas de Visión (VQA) vía Gemini 2.5 Pro para evaluar el éxito de la edición semántica y LPIPS para medir la preservación del fondo, el método propuesto alcanzó la puntuación media de VQA más alta entre las líneas base de vanguardia (incluyendo FLUX.2, FIBO-Edit y Qwen-Image-Edit).
Comparación con Líneas Base: El método superó al pipeline estándar de Qwen-Image-Edit y otras estrategias de condicionamiento (por ejemplo, el promedio de normalización a través de las capas). Notablemente, una línea base de "Descripción Completa" autorregresiva funcionó bien, corroborando la hipótesis de que la decodificación secuencial ayuda a hacer emerger pistas espaciales que permanecen latentes en los modos de pasada única.
Mejoras Cualitativas: Los resultados visuales muestran que el enfoque guiado por el proxy corrige con éxito los errores de localización, asegurando que las ediciones se apliquen estrictamente a los objetos objetivo deseados en escenas complejas, mientras que los métodos de la línea base a menudo fallaban al distinguir entre entidades similares.

Significado y Reivindicaciones

El artículo afirma proporcionar una base de principios para comprender y diseñar arquitecturas de condicionamiento en la edición de imágenes guiada por texto. Al revelar que las estrategias de extracción estándar (que dependen de las capas finales o configuraciones de capas fijas) son fundamentalmente subóptimas para tareas espaciales, el trabajo argumenta a favor de un cambio en la forma en que se extrae la información de los modelos de condicionamiento.

Los autores sostienen que sus hallazgos establecen una comprensión más profunda de los mecanismos internos de los VLMs en regímenes de pasada única. Proponen que los futuros diseños de condicionamiento deberían alejarse de la extracción de capas fijas hacia estrategias dependientes de la entrada que seleccionen dinámicamente las representaciones (capas y tokens) más informativas para una tarea dada. Este enfoque busca equilibrar la eficiencia de la inferencia de pasada única con las ricas capacidades de razonamiento espacial inherentes a los VLMs, permitiendo finalmente herramientas de edición de imágenes más precisas y fiables.