💬 NLP

Language-Conditioned Visual Grounding with CLIP Multilingual

Este trabajo aísla el codificador visual como un factor consistente en trece idiomas para demostrar que las disparidades en la anclaje visual multilingüe se deben principalmente a limitaciones de la rama de texto y a una desalineación espacial en lugar de un colapso de la señal, revelando que escalar el modelo visual mejora algunos idiomas de recursos limitados mientras que empeora otros y confirmando la viabilidad energéticamente eficiente del método.

Autores originales: J. de Curtò, Mauro Liz, I. de ZarzÃ

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: J. de Curtò, Mauro Liz, I. de ZarzÃ

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente que puede mirar una imagen y encontrar cosas específicas en ella, como un "coche" o un "peatón". Puedes decirle a este robot qué buscar en muchos idiomas diferentes. Sin embargo, los investigadores de este artículo descubrieron que, cuando le hablas al robot en un idioma menos común (como el euskera o el luxemburgués), a menudo señala el lugar incorrecto en la imagen, aunque parece estar "mirando" con la misma intensidad que cuando le hablas en inglés.

Aquí tienes una explicación sencilla de lo que hicieron y de lo que descubrieron, utilizando algunas analogías cotidianas.

El Experimento: Una Prueba Controlada

Los investigadores querían averiguar por qué el robot comete errores en algunos idiomas. ¿Es porque los "ojos" del robot (la parte visual) no funcionan bien con ciertos idiomas? ¿O es porque el "cerebro" del robot (la parte de texto que entiende las palabras) es más débil en esos idiomas?

Para probarlo, construyeron una configuración especial:

Los Ojos: Utilizaron exactamente la misma cámara y sistema de visión para cada uno de los idiomas.
El Cerebro: Solo cambiaron la parte que entiende las palabras, modificándola para 13 idiomas diferentes (desde los más comunes como el español y el francés hasta los más raros como el euskera y el luxemburgués).

Esto es como darle el mismo par de gafas a 13 personas diferentes y pedirles que describan la misma foto. Si las descripciones son incorrectas, sabemos que el problema no son las gafas; es la capacidad de la persona para describir lo que ve.

Los Grandes Descubrimientos

1. El Problema Está en el "Traductor", No en la "Cámara"
Descubrieron que, incluso con la misma cámara exacta, el robot era mucho peor encontrando objetos cuando utilizaba idiomas de recursos limitados.

La Analogía: Imagina a un guía turístico que conoce perfectamente una ciudad. Si le preguntas en inglés, señala la Torre Eiffel correctamente. Si le preguntas al mismo guía en un idioma que apenas conoce, podría señalar un árbol al azar en su lugar. Los ojos del guía no han cambiado; su conocimiento del idioma es el eslabón débil.
El Resultado: La "penalización" (la caída en el rendimiento) se debió enteramente a la parte de procesamiento de texto de la inteligencia artificial, no a la parte visual.

2. Cerebros Más Grandes No Siempre Arreglan el Problema
Por lo general, cuando los modelos de IA se vuelven más grandes y potentes, mejoran en todo. Los investigadores probaron un modelo pequeño y un modelo que era 7 veces más grande.

La Sorpresa: Para algunos idiomas (como el árabe y el chino), tener un cerebro más grande ayudó. Pero para otros (el euskera y el luxemburgués), un cerebro más grande hizo que las cosas fueran peores.
La Analogía: Piensa en ello como una biblioteca.
- Si un idioma está "en desventaja por tokenización" (como el árabe), simplemente necesita una biblioteca más grande para contener más palabras. Un modelo más grande ayuda.
- Si un idioma está "en desventaja por cobertura de corpus" (como el euskera), significa que la biblioteca tiene casi ningún libro en ese idioma desde el principio. Darle al bibliotecario una biblioteca más grande no ayuda si los libros no están allí. De hecho, el bibliotecario más grande podría simplemente ganar más confianza al señalar cosas incorrectas porque tiene más "confianza" pero no mejores datos.

3. El Robot Está "Seguro de su Error"
Este es el descubrimiento más importante. Cuando el robot falla en estos idiomas, no se queda simplemente "callado" o inseguro. Se vuelve ruidoso y seguro, pero señala el lugar incorrecto.

La Analogía: Imagina un sistema de navegación GPS.
- Colapso de Señal (Lo que no encontraron): El GPS dice: "No sé dónde estás", y muestra una pantalla en blanco.
- Desalineación Espacial (Lo que sí encontraron): El GPS dice: "¡Estás aquí!" con un 100% de confianza, pero señala una casa a tres calles de distancia.
La Consecuencia: Debido a que el robot es tan seguro, no puedes simplemente decirle al sistema: "Si no estás seguro, no muestres el resultado". El sistema está seguro, pero está seguro de la cosa incorrecta.

Eficiencia Energética: Una Solución Económica

Finalmente, los investigadores midieron cuánta electricidad consumía este proceso.

El Resultado: Este método es increíblemente eficiente energéticamente. Utiliza aproximadamente 20 a 50 veces menos energía que los modelos de IA parlantes y sofisticados (como los que escriben ensayos o charlan contigo).
La Conclusión: Si necesitas un sistema que pueda señalar rápidamente objetos en una imagen en muchos idiomas sin consumir mucha energía, este método de "anclaje denso" es una opción muy práctica y que ahorra energía.

Resumen

El artículo demuestra que, para estos modelos de IA, el problema con los idiomas raros no es que la IA no pueda "ver" la imagen; es que la IA no "entiende" las palabras lo suficientemente bien como para vincularlas con el lugar correcto. Hacer la IA más grande no soluciona esto si faltan los datos de entrenamiento (los libros de la biblioteca). Y, dado que la IA a menudo está equivocada pero segura, no podemos confiar simplemente en su nivel de confianza para saber si está diciendo la verdad.

Resumen Técnico: Grounding Visual Condicionado por Lenguaje con CLIP

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM) multilingües exhiben disparidades sistemáticas en el rendimiento entre idiomas, penalizando particularmente a los idiomas de recursos bajos y a los scripts no latinos. Sin embargo, el mecanismo que impulsa esta "penalización multilingüe" permanece ambiguo. No está claro si la degradación proviene de la reacción del codificador visual a los tokens no ingleses, de la incapacidad de la rama de texto para formar representaciones cruzadas entre idiomas robustas, o de las interacciones entre estos componentes. Además, los métodos de evaluación existentes a menudo confunden las disparidades perceptuales genuinas con el sesgo de medición, ya que suelen puntuar las salidas frente a referencias o vocabularios centrados en inglés. Este artículo aborda la necesidad de aislar la fuente de la penalización y caracterizar su modo de fallo (por ejemplo, colapso de señal frente a desalineación espacial) sin depender de métricas ancladas al inglés.

Metodología

Los autores proponen una "sonda multilingüe densa CLIP" controlada diseñada para aislar la penalización multilingüe en la rama de texto.

Diseño Experimental: El estudio mantiene el codificador visual idéntico a través de 13 idiomas tipológicamente diversos, variando únicamente la rama de texto XLM-RoBERTa. Esto asegura que cualquier divergencia observada entre idiomas se origine aguas abajo de la etapa visual.
Modelos y Escala: Se evaluaron dos arquitecturas CLIP, abarcando una brecha de 7× en los parámetros del codificador visual:
- Base: XLM-R base + ViT-B/32 (~87M parámetros visuales).
- Grande: XLM-R grande + ViT-H/14 (~632M parámetros visuales).
Conjunto de Datos: 210 imágenes muestreadas del corpus BDD100K, evaluadas frente a 11 conceptos (por ejemplo, coche, peatón, semáforo) en 13 idiomas (incluyendo árabe, euskera, luxemburgués, chino y varios idiomas europeos). Esto produce 2.310 observaciones emparejadas por idioma no inglés.
Extracción de Características Densa: Siguiendo el enfoque de MaskCLIP, los autores extraen características densas por parche del codificador visual congelado para generar mapas de similitud espacial, en lugar de depender de incrustaciones de imagen única.
Métricas: Para evitar el sesgo hacia el inglés, la concordancia se mide simétricamente entre el mapa del idioma objetivo y el mapa de referencia en inglés utilizando:
1. IoU de máscara de clúster: Mide la superposición espacial de regiones de alta similitud.
2. IoU de percentil superior: Superposición invariante a la escala en umbrales altos.
3. Correlación de Rango de Spearman: Concordancia a nivel de píxel sobre el ordenamiento relativo.
4. Relación de Similitud de Pico: Compara la fuerza de activación máxima para distinguir entre colapso de señal (activación débil) y desalineación espacial (activación fuerte en la región incorrecta).
Medición de Energía: La energía de inferencia se midió utilizando el protocolo de Puntuación de Energía de IA (muestreo basado en NVML en una NVIDIA H200), reportando Wh por 1.000 consultas.

Resultados Clave

1. La Penalización Persiste y Está Localizada en la Rama de Texto

Cuando el codificador visual se mantiene constante, persiste una brecha de rendimiento significativa entre los idiomas de recursos altos (HR) y los de recursos bajos (LR).

Brecha Cuantitativa: La brecha de IoU de máscara de clúster entre HR y LR es de +0,114 a escala base y se amplía a +0,143 a escala grande.
Significancia Estadística: Las pruebas de Wilcoxon confirman esta disparidad con $p < 10^{-300}$ en ambas escalas.
Implicación: Dado que el codificador visual es idéntico, el déficit es estrictamente atribuible a la rama de texto, descartando la interacción del codificador visual como causa principal.

2. Los Efectos de Escala son Heterogéneos

Aumentar la escala del codificador visual en 7× no cierra uniformemente la brecha; separa los modos de fallo según la cobertura del corpus frente a la fertilidad del tokenizador.

Fallos por Cobertura del Corpus (Euskera, Luxemburgués): Estos idiomas, que están subrepresentados en el corpus de preentrenamiento, empeoran con la escala ( $\Delta = -0,056$ y $-0,076$ respectivamente). El modelo más grande amplifica la falta de señal en lugar de corregirla.
Fallos por Fertilidad del Tokenizador (Árabe, Chino): Estos idiomas, que tienen una presencia sustancial en el corpus pero sufren ineficiencias de tokenización, mejoran con la escala ( $\Delta = +0,033$ y $+0,039$ ).
Conclusión: La escala por sí sola no puede rescatar a los idiomas ausentes de la distribución de preentrenamiento; solo beneficia a aquellos donde la señal existe pero está obstaculizada por la tokenización o los límites de capacidad.

3. Modo de Fallo: Desalineación Espacial, No Colapso de Señal

El estudio identifica que el modo de fallo dominante es la desalineación espacial, no una pérdida de la fuerza de la señal.

Similitud de Pico: La relación media de similitud de pico relativa al inglés se mantiene alta (0,94 a escala grande), lo que indica que el modelo activa fuertemente.
Caída de IoU: A pesar de la alta activación de pico, el IoU de máscara de clúster cae bruscamente.
Implicación: El modelo activa en la región incorrecta de la imagen en lugar de fallar al activar. En consecuencia, el filtrado basado en confianza que depende únicamente de la similitud de pico es insuficiente para detectar errores de grounding inducidos por el idioma.

4. Eficiencia Energética

El enfoque de grounding CLIP denso es altamente eficiente energéticamente, consumiendo 3,4–3,9 Wh por 1.000 consultas. Esto es aproximadamente 20–50 veces menor que los presupuestos de inferencia reportados para VLM multilingües autoregresivos bajo el mismo protocolo de medición, posicionándolo como un sustrato viable para implementaciones conscientes de la energía.

Significado y Afirmaciones

El artículo afirma tres contribuciones principales:

Aislamiento Mecanístico: Al mantener el codificador visual constante, el estudio localiza definitivamente la penalización multilingüe en el grounding denso en la rama de texto, distinguiéndola de las limitaciones del codificador visual.
Caracterización del Modo de Fallo: Demuestra que los errores de grounding multilingüe son principalmente desalineaciones espaciales (señal alta, ubicación incorrecta) en lugar de colapsos de señal. Esto desafía la eficacia de los umbrales de confianza estándar en sistemas multilingües.
Rigor Metodológico: El uso de puntuación simétrica y agnóstica al idioma en mapas de similitud densa elimina el sesgo de medición anclado al inglés inherente a las evaluaciones anteriores de VLM, proporcionando una métrica más limpia para la concordancia entre idiomas.

Los autores concluyen que, aunque la escala ayuda a los idiomas limitados por la tokenización, exacerba los problemas para los idiomas con escasez de corpus. Sugieren que los futuros sistemas multilingües robustos requieren una curación de datos dirigida para idiomas subrepresentados y la implementación de verificaciones de concordancia entre idiomas (en lugar de solo verificaciones de similitud de pico) para garantizar la fiabilidad del grounding espacial.