🤖 AI

Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

Este trabajo revela que los codificadores visión-lenguaje presentan sesgos en sus capas intermedias que afectan la sensibilidad posicional y las representaciones multilingües, proponiendo un método para explotar estas representaciones y mejorar significativamente la segmentación de imágenes guiada por texto y la recuperación imagen-texto sin entrenamiento específico.

Autores originales: Na Min An, Inha Kang, Minhyun Lee, Hyunjung Shim

Publicado 2026-03-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Na Min An, Inha Kang, Minhyun Lee, Hyunjung Shim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un traductor y un guía turístico muy inteligente que ha estudiado millones de libros y fotos. Este guía es lo que los expertos llaman un "Codificador Visión-Lenguaje" (como un CLIP o SigLIP). Su trabajo es entender lo que le dices (por ejemplo: "la pelota roja que está a la izquierda del perro") y señalar exactamente dónde está en una foto.

El problema es que, aunque este guía es brillante, tiene un defecto de nacimiento que la gente no había notado bien hasta ahora:

1. El Problema: "Ciego a la posición, sesgado por el idioma"

Imagina que este guía tiene dos modos de pensar:

Modo Final (La conclusión): Cuando termina de leer tu frase, hace un resumen muy general. Piensa: "¡Ah, es una pelota roja!". Pero en su resumen final, olvida dónde está. Es como si te dijera: "Sí, hay una pelota roja en el mundo", pero no te dice si está en la esquina o en el centro. Además, si le hablas en español, alemán o chino, su "resumen final" cambia ligeramente de forma, como si cada idioma le hiciera torcer un poco la cabeza. Esto hace que a veces se confunda y señale el fondo de la foto en lugar del objeto.
Modo Intermedio (El proceso): Mientras está leyendo y pensando (antes de dar su conclusión final), ¡el guía es súper detallista! En esas capas intermedas de su cerebro, recuerda perfectamente la posición y entiende que "izquierda" significa "izquierda" sin importar si hablas inglés o coreano. Pero, ¡oh, tragedia! Nadie le preguntaba a esa parte de su cerebro; todos solo le pedían la conclusión final.

La analogía: Es como pedirle a un arquitecto que te diga dónde poner una ventana. Si solo le preguntas al "director de obra" (la capa final), te dirá: "Pon una ventana". Pero si le preguntas al "dibujante técnico" (la capa intermedia), te dirá: "Pon la ventana en la pared norte, a 2 metros del suelo". El papel de este artículo es escuchar al dibujante técnico en lugar de solo al director.

2. La Solución: "B2G" (De Sesgado a Anclado)

Los autores crearon un método llamado B2G (Biased to Grounded). No necesitan reentrenar al guía ni cambiar su cerebro. Solo le dicen: "Oye, antes de darme tu respuesta final, déjame ver tus notas intermedias".

B2G hace dos cosas mágicas:

El Mapa de Posición (P-Map): En lugar de usar el resumen final, toman las "notas" intermedias del guía para dibujar un mapa de calor. Este mapa brilla exactamente donde está el objeto que mencionaste. Es como si el guía sacara un puntero láser en lugar de solo hablar.
El Centroid Multilingüe: Si le hablas en 10 idiomas diferentes sobre la misma foto, el guía intermedio tiene 10 versiones de su pensamiento. B2G toma el promedio de esas 10 versiones en la capa intermedia. Al promediarlas, elimina el "ruido" o la torcedura que hace cada idioma individualmente. Es como si el guía consultara a 10 traductores a la vez para asegurarse de que todos están de acuerdo en la ubicación antes de señalar.

3. ¿Qué logra esto?

Precisión: Ahora, cuando le dices "el gato que está debajo de la mesa", el guía no solo sabe que hay un gato, sino que sabe exactamente dónde está la mesa y dónde está el gato debajo de ella.
Multilingüe: Funciona igual de bien si le hablas en español, chino o ruso. Ya no se confunde porque el idioma cambia la forma en que "piensa" el modelo.
Sin costo extra de entrenamiento: ¡Lo mejor es que no tienen que volver a estudiar al guía! Solo cambian la forma en que le hacen las preguntas y leen sus respuestas. Es como si le dieras al guía unas gafas nuevas para ver mejor, sin tener que darle clases de nuevo.

En resumen

Imagina que el modelo de Inteligencia Artificial es un detective que a veces se distrae con la historia general y olvida los detalles de dónde están las cosas.

Antes: El detective te daba un resumen final que era bueno para entender la historia, pero pésimo para encontrar al culpable en la foto.
Ahora (con B2G): El detective te muestra sus cuadernos de notas intermedios, donde dibujó el mapa exacto y anotó las pistas de posición. Además, si el caso está en varios idiomas, el detective consulta a todos sus colegas para asegurarse de que la ubicación es la misma para todos.

El resultado es que el sistema ahora es mucho más preciso para encontrar objetos en fotos basándose en descripciones, sin importar el idioma o la complejidad de la frase. ¡Es como darle al detective una lupa y un mapa del tesoro!

Título: Ciego a la Posición, Sesgado en el Lenguaje: Sonda de Sesgos Representacionales en Capas Intermedias de Codificadores Visión-Lenguaje para la Comprensión Espacial Grounded Zero-Shot

1. Planteamiento del Problema

Los Codificadores Visión-Lenguaje (VLEs) preentrenados, como CLIP o SigLIP, se han convertido en la columna vertebral para tareas de Segmentación de Imágenes Referidas (RIS) en configuración zero-shot (sin entrenamiento específico). Sin embargo, el trabajo identifica dos limitaciones críticas inherentes a las representaciones de la capa final de estos modelos:

Ceguera Posicional (Spatial Blindness): Las capas finales priorizan la alineación semántica global, lo que hace que las representaciones visuales pierdan sensibilidad a las pistas espaciales y posicionales finas. Esto lleva a que el modelo seleccione el contexto de fondo en lugar del objeto objetivo cuando se le pide localizar algo específico.
Sesgo Lingüístico (Language Bias): En entornos multilingües, las representaciones de texto de la capa final sufren desplazamientos geométricos sistemáticos dependiendo del idioma. Aunque las oraciones sean semánticamente equivalentes, sus embeddings en el espacio compartido varían según el idioma, distorsionando la similitud cruzada con las características visuales y degradando el rendimiento en idiomas distintos al inglés.

Estos problemas surgen porque las capas finales optimizan la abstracción de alto nivel, descartando la estructura espacial detallada y acumulando sesgos de alineación específicos del idioma.

2. Metodología: Framework B2G (Biased to Grounded)

Los autores proponen B2G, un marco de trabajo sin entrenamiento (training-free) que explota las representaciones de las capas intermedias de los VLEs congelados para mitigar estos sesgos. El enfoque sigue un paradigma unificado de Sonda $\rightarrow$ Selección $\rightarrow$ Grounding:

Fase 1: Sonda de Sesgos (Probing):
- Espacial: Se demuestra mediante una prueba de permutación de "tiles" (baldosas) que las capas intermedias del codificador visual son sensibles al orden espacial, mientras que la capa final es casi invariante a la posición.
- Multilingüe: Se analiza la consistencia cruzada entre traducciones de la misma expresión. Se observa que ciertas capas intermedias del codificador de texto mantienen una geometría más estable entre idiomas que la capa final.
Fase 2: Selección de Capas:
- Visual: Se selecciona dinámicamente (o de forma fija) una capa intermedia del codificador visual que maximice la sensibilidad posicional (baja invarianza a la permutación).
- Textual: Se selecciona la capa intermedia del codificador de texto que maximice la consistencia geométrica entre las N traducciones de una misma consulta.
Fase 3: Grounding y Reranking:
- Mapa Espacial (P-Map): Utilizando la capa visual seleccionada, se genera un mapa de similitud denso a nivel de parches. Se aplica una inversión de signo determinista para corregir la "visualización opuesta" (donde los parches del objetivo tienen similitud negativa) y se obtiene un mapa de activación espacial claro.
- Centroide Multilingüe: Para estabilizar el texto, se calcula un centroide promediando las representaciones de las N traducciones en la capa intermedia seleccionada. Este centroide se inyecta en la representación del idioma ancla antes de la contextualización final.
- Reranking: Se utilizan las máscaras candidatas generadas por un segmentor externo (ej. Mask2Former). Se recalifican (rerank) combinando la puntuación de similitud global tradicional con una puntuación de superposición (IoU) entre la máscara candidata y el P-Map generado.

3. Contribuciones Clave

Descubrimiento de Sesgos: Identificación de que la capa final de los VLEs es un cuello de botella que suprime la información espacial y amplifica los desplazamientos geométricos multilingües.
Framework B2G: Una solución plug-and-play que no requiere fine-tuning ni gradientes, utilizando solo inferencia en modelos congelados.
Mapa P-Map: Una técnica novedosa para extraer mapas de activación espacial precisos a partir de capas intermedias mediante inversión de signo, superando métodos basados en Grad-CAM o recomputación de atención.
Estabilización Multilingüe: Un mecanismo de inyección de centroide en capas intermedias que corrige el drift geométrico sin necesidad de nuevos datos de entrenamiento o modelos multilingües específicos.

4. Resultados Experimentales

El método se evaluó en benchmarks estándar de RIS y recuperación de imágenes en múltiples idiomas:

RIS Zero-Shot (Inglés):
- B2G supera consistentemente a las líneas base más fuertes (Global-Local, HybridGL) en RefCOCO, RefCOCO+ y RefCOCOg.
- Mejoras significativas: +2.15 mIoU en RefCOCO, +5.47 mIoU en RefCOCO+ y +5.75 mIoU en RefCOCOg (con CLIP ViT-B/16).
- En el conjunto de datos desafiante PhraseCut, alcanza un rendimiento superior a métodos supervisados y zero-shot anteriores.
RIS Multilingüe Zero-Shot:
- Se evaluó en 9 benchmarks traducidos (10 idiomas).
- Mejora el IoU@50 promedio de 45.13 a 53.41 y el mIoU de 42.42 a 49.62.
- Recupera drásticamente el rendimiento en idiomas que colapsaban en la línea base (ej. Alemán y Chino), reduciendo la brecha de rendimiento entre idiomas.
Recuperación Texto-Imagen (T2I):
- Mejora la recuperación multilingüe en tareas de zero-shot, con ganancias de hasta +6.42 Recall@1 en RefCOCOg, demostrando que la corrección geométrica beneficia tanto a la segmentación como a la recuperación.
Eficiencia:
- Aunque introduce un costo computacional moderado (debido a la extracción de capas intermedias y el procesamiento de múltiples traducciones), evita la recomputación de atención y es significativamente más rápido que métodos que requieren Grad-CAM iterativo.

5. Significado e Impacto

Este trabajo cambia el paradigma sobre cómo utilizar los VLEs preentrenados para tareas de razonamiento espacial. Demuestra que:

La información espacial y la estabilidad lingüística ya existen dentro de los modelos preentrenados, pero están ocultas en las capas intermedias y suprimidas en la salida final.
No es necesario entrenar nuevos modelos masivos o realizar fine-tuning costoso para mejorar la comprensión espacial o multilingüe; basta con probar y seleccionar las representaciones correctas en tiempo de inferencia.
La metodología ofrece una vía para hacer que los sistemas de visión por computadora sean más robustos, justos (en términos de rendimiento entre idiomas) y precisos en la localización, con aplicaciones potenciales en robótica, navegación autónoma y diagnóstico médico asistido por IA.

En resumen, B2G desbloquea el potencial latente de los VLEs congelados, transformándolos de herramientas de alineación semántica global a sistemas capaces de una comprensión espacial precisa y multilingüe robusta.