Resumen Técnico: ¿Cómo vinculan los modelos de incrustación (embedding) los conceptos?

Planteamiento del Problema

Los modelos modernos de incrustación de visión y lenguaje, como CLIP, exhiben un modo de fallo específico conocido como el "problema de la vinculación" (binding problem). Mientras que los humanos pueden determinar fácilmente a qué objetos (p. ej., forma) pertenecen qué atributos (p. ej., color) en escenas con múltiples objetos, estos modelos suelen comportarse como sistemas de "bolsa de conceptos" (bag-of-concepts). Reconocen de manera fiable conceptos individuales (p. ej., "rojo", "cuadrado"), pero fallan al representar correctamente sus combinaciones específicas (p. ej., distinguir un "cuadrado rojo" de un "cuadrado azul" en una escena que contiene ambos).

Esto crea una tensión: mientras que la recuperación cross-modal (emparejamiento de imágenes con texto) falla al distinguir combinaciones específicas de objetos, las sondas unimodales entrenadas en las incrustaciones individuales pueden recuperar a menudo información a nivel de objeto. El artículo investiga esta discrepancia para comprender cómo los modelos de incrustación representan escenas de múltiples objetos y por qué la vinculación cross-modal falla a pesar de la presencia de información de los objetos.

Metodología

Los autores formalizan la vinculación como una propiedad conductual que distingue el reconocimiento de conceptos (identificación de valores presentes) del reconocimiento de objetos (identificación de a qué valores pertenecen). Analizan la geometría de los espacios de incrustación mediante tres enfoques metodológicos principales:

1. Análisis de Descomposición Geométrica: Utilizando el Escalado Multidimensional (MDS) y técnicas de reconstrucción lineal, los autores examinan si las incerciones de escenas en CLIP se descomponen de forma aditiva en componentes de objeto y concepto. Prueban esto estimando las incrustaciones de objetos y conceptos a partir de subconjuntos de datos y reconstruyendo las incrustaciones de la escena mediante la suma. También realizan una "edición contrafáctica" restando la incrustación de un objeto y añadiendo otra para observar si el vector resultante se comporta como la escena editada.
2. Análisis de Complejidad de la Función de Vinculación: Para determinar si el mapeo de conceptos a objetos es aprendible, los autores entrenan aproximadores (específicamente MLPs de una sola capa de distintas anchuras) para predecir las incrustaciones de la escena a partir de índices de conceptos discretos. Evalúan estos aproximadores en combinaciones de objetos no vistas para medir su capacidad de generalización.
3. Experimentos de Entrenamiento Controlados: Los autores entrenan modelos transformer de doble codificador desde cero utilizando datos sintéticos de múltiples objetos. Varían sistemáticamente la cobertura de los datos de entrenamiento (la fracción del espacio de objetos vista durante el entrenamiento) y la complejidad del espacio de objetos (número de conceptos y valores). Comparan estos modelos con CLIP y DINOv2 preentrenados para aislar los efectos de la escala de los datos y la dinámica de entrenamiento en la vinculación.

Contribuciones Clave y Resultados

1. Descomposición Aditiva de las Incrustaciones de Escena

El estudio encuentra que las incrustaciones de escenas de CLIP exhiben una clara estructura aditiva:

• Nivel-I (Escena a Objeto): Las incrustaciones de la escena se descomponen aproximadamente en la suma de las incrustaciones de los objetos individuales. Esto explica por qué las sondas unimodales pueden recuperar información de objetos; los componentes de los objetos están explícitamente presentes y son manipulables en el espacio de incrustación.
• Nivel-II (Objeto a Concepto): Las incrustaciones de los objetos se descomponen además en sumas de incrustaciones de conceptos.
• Implicación: Aunque esta estructura aditiva permite la vinculación unimodal (recuperar objetos mediante sondas), es insuficiente para la vinculación cross-modal porque el mapeo de conceptos a objetos no es puramente aditivo; requiere capturar asociaciones específicas.

2. Alta Complejidad de la Función de Vinculación de CLIP

Los autores demuestran que la función de vinculación en modelos preentrenados como CLIP es de alta complejidad:

• Incluso MLPs de alta capacidad fallan al aproximar el mapeo de índices de conceptos a incrustaciones de escena para combinaciones de objetos no vistas.
• Esto sugiere que los codificadores de imagen y texto de CLIP aprenden mapeos distintos y específicos para cada combinación, en lugar de una regla compartida y sistemática. En consecuencia, no pueden alinearse en nuevas combinaciones de conceptos, lo que conduce a fallos de vinculación cross-modal.

3. Emergencia de la Vinculación Generalizable con la Escala de Datos

En experimentos controlados con modelos entrenados desde cero:

• La Cobertura de Datos es Crítica: La generalización de la vinculación (reconocimiento de objetos en objetos no vistos) emerge solo cuando la cobertura de los datos de entrenamiento es suficiente.
• Efectos de Escala: A medida que aumenta el tamaño del posible espacio de objetos, la fracción de objetos requerida para lograr una alta precisión de generalización disminera. Por ejemplo, en espacios de objetos grandes, los modelos logran una vinculación casi perfecta con solo un ~30-40% de cobertura del espacio de objetos.
• Mapeo de Baja Complejidad: Los modelos que generalizan con éxito aprenden funciones de vinculación de baja complejidad. Estas funciones pueden ser aproximadas con precisión por pequeños MLPs de una sola capa, lo que indica una regla sistemática y reutilizable en lugar de memorización.

4. La Estructura Multiplicativa como Mecanismo de Vinculación

El artículo identifica la forma funcional de la vinculación exitosa:

• Aditivo vs. Multiplicativo: Los modelos puramente aditivos (bolsa de conceptos) fallan en el reconocimiento de objetos. Los modelos que generalizan implementan interacciones multiplicativas entre conceptos.
• Sonda de Producto Global: Una sonda que utiliza un "Producto Global" (multiplicar las incrustaciones de los conceptos a través de la escena) aproxima mejor las incrustaciones de los modelos que generalizan.
• Correlación: Existe una fuerte correlación positiva entre la capacidad de un modelo para generalizar a objetos no vistos y qué tan bien sus incrustaciones son aproximadas por esta estructura multiplicativa. Los modelos preentrenados como CLIP, que fallan al vincular, no exhiben esta estructura multiplicativa en sus incrustaciones.

Significado y Reivindicaciones

El artículo argumenta que el fallo de los modelos de incrustación para vincular conceptos no es fundamental para la arquitectura o la naturaleza de las incrustaciones. En su lugar, surge de la complejidad de la función de vinculación aprendida durante el entrenamiento.

• Resolución de la Tensión: El artículo resuelve la tensión entre el éxito unimodal y el fallo cross-modal mostrando que la información del objeto existe en el espacio de incrustación (vía descomposición aditiva) pero no está alineada entre modalidades porque la regla de vinculación subyacente es demasiado compleja y no sistemática.
• Camino hacia la Generalización: La generalización de la vinculación es alcanzable si los modelos se entrenan con suficiente cobertura de datos para aprender un mapeo de concepto-a-objeto sistemático y de baja complejidad.
• Mecanismo: La clave de la generalización sistemática es la emergencia de interacciones multiplicativas entre conceptos, lo que permite la creación de representaciones composicionales únicas para combinaciones de conceptos no vistas.

Los autores concluyen que los modelos de incrustación son capaces de una vinculación generalizable, pero lograrlo requiere aprender una regla estructural específica y de baja complejidad que pueda compartirse entre modalidades, una condición que los modelos actuales de gran escala entrenados a menudo no cumplen debido a restricciones de datos u optimización.