💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

Este artículo identifica que los modelos de visión y lenguaje de doble codificador fallan en el razonamiento compositivo debido a una interfaz de similitud de tipo "Bolsa de Conceptos", y propone un método libre de entrenamiento llamado LCSE (Edición de Puntuación con Restricciones Lógicas) que separa la extracción de evidencia de la ejecución de restricciones para mejorar significativamente la precisión lógica preservando al mismo tiempo el rendimiento de recuperación.

Autores originales: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo "ver" el mundo mostrándole millones de imágenes y describiéndolas con palabras. Este es el mundo de los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés), una rama de la inteligencia artificial donde las computadoras aprenden a emparejar imágenes con texto. La forma más popular en que estos robots aprenden es construyendo un "mapa" compartido donde las imágenes similares y las palabras similares se sitতে cerca unas de otras. Cuando le haces una pregunta al robot, este simplemente mide la distancia entre tus palabras y las imágenes para encontrar la mejor coincidencia. Es como un gran juego de "caliente o frío", donde el robot se pone "más caliente" (más seguro) a medida que encuentra imágenes que se parecen a las palabras que escribiste.

Sin embargo, hay un problema truculento con este simple juego de distancias. Si bien el robot es excelente detectando cosas individuales —como un "perro" o una "pelota"—, a menudo se confunde cuando le pides que combine esas cosas con lógica, como "un perro pero sin pelota" o "un gato y un pájaro". El robot tiende a ignorar las partes de "pero sin" o "y" y simplemente busca las palabras que conoce. Es como si el robot estuviera jugando a un juego de "Bolsa de Palabras", donde solo cuenta cuántas veces aparece una palabra, olvidando por completo las reglas de la oración. Este artículo investiga por qué sucede esto y propone una nueva y astuta forma de arreglar la lógica del robot sin tener que reentrenar todo su cerebro.

El Problema: La "Bolsa de Conceptos" del Robot

Los autores de este artículo descubrieron que los modelos de IA estándar, que se supone que son lo suficientemente inteligentes como para entender oraciones complejas, en realidad se comportan como un bibliotecario muy literal y ligeramente confundido. Imagina que le pides a este bibliotecario un libro sobre "un coche rojo sin conductor". En lugar de encontrar un coche sin conductor, el bibliotecario te entrega un libro sobre un coche rojo con conductor, porque el bibliotecario está tan enfocado en las palabras "rojo" y "coche" que ignora por completo la palabra "sin".

En términos técnicos, estos modelos utilizan una puntuación de "similitud escalar". Piensa en esta puntuación como un único número que te dice qué tan bien coincide una imagen con un texto. El artículo muestra que cuando pides una combinación de ideas (como "A y no B"), el modelo no realiza realmente la matemática de la lógica. En su lugar, simplemente promedia la evidencia de "A" y la evidencia de "B". Es como hacer un batido: si pides "fresas pero sin plátanos", el modelo simplemente mezcla las fresas y los plátanos y te da una mezcla, porque piensa que la instrucción "no" es solo otro ingrediente para mezclar, en lugar de una regla para eliminar un ingrediente.

Los investigadores probaron esto pidiendo a los modelos que encontraran imágenes que coincidieran con reglas lógicas específicas, como "paraguas y no persona". Incluso cuando el modelo podía ver claramente a una persona en la imagen, seguía clasificando esa imagen como una buena coincidencia porque la palabra "persona" estaba en la consulta. El modelo no estaba fallando en ver a la persona; estaba fallando en usar la lógica de la oración para filtrar a la persona.

La Investigación: Por qué falla la lógica

Para entender por qué sucede esto, los autores no solo adivinaron; realizaron una "cirugía" en el cerebro del modelo. Examinaron el texto que el modelo lee para ver si las palabras lógicas (como "no" o "y") realmente estaban cambiando el significado de la oración. Descubrieron que la lógica estaba allí, oculta dentro del texto, pero era demasiado débil para cambiar la puntuación final.

Imagina que el embedding de texto (la representación digital de la oración) es un equipo de dos personas cargando una caja pesada. Una persona representa los "conceptos" (los sustantivos como "perro" o "coche"), y la otra representa la "lógica" (el "y" o el "no"). El artículo encontró que la persona de los "conceptos" es un gigante, mientras que la persona de la "lógica" es un niño pequeño. Cuando ambos empujan la caja para decidir qué imagen elegir, el gigante empuja con tanta fuerza que el empuje del niño pequeño es completamente ignorado. ¿El resultado? La caja se mueve en la dirección de los conceptos, y la lógica se pierde en el proceso.

Los autores también comprobaron si el simple hecho de reentrenar el modelo (enseñarle nuevos ejemplos) solucionaría el problema. Descubrieron que incluso después de entrenar al modelo con miles de ejemplos de "no" y "no", el modelo seguía teniendo dificultades. Es como intentar enseñarle a una persona que es naturalmente zurda a escribir perfectamente con la mano derecha dándole solo más práctica; la memoria muscular subyacente (cómo el modelo combina las puntuaciones) es el verdadero cuello de botella, no la falta de práctica.

La Solución: Inferencia Factorizada y LCSE

Dado que el "músculo lógico" interno del modelo es demasiado débil para solucionar el problema, los autores propusieron una nueva estrategia llamada Inferencia Factorizada. En lugar de pedirle al modelo que haga las matemáticas de una sola vez, decidieron dividir el trabajo en dos pasos separados:

Extracción de Evidencia: Primero, pedir al modelo congelado (sin cambios) que simplemente identifique los conceptos individuales. "¿Hay un perro? Sí, 90% seguro. ¿Hay un gato? Sí, 80% seguro".
Ejecución de Restricciones: Luego, tomar esos números y realizar la matemática de la lógica fuera del modelo. Si el usuario dijo "perro pero sin gato", el sistema toma la puntuación del "perro", resta la puntuación del "gato" (o invierte la puntuación del gato para representar "no gato") y los combina utilizando reglas lógicas estrictas.

Para que esto funcione sin romper la capacidad del modelo para manejar oraciones normales, introdujeron un método llamado LCSE (Edición de Puntuación Restringida por Lógica). Piensa en LCSE como un editor inteligente. Escucha la respuesta original del modelo, pero si la oración tiene una regla lógica (como "no" o "y"), el editor interviene y ajusta la puntuación final lo suficiente como para que la lógica funcione. Si la oración es simple, el editor deja la puntuación tal cual. De esta manera, el modelo mantiene su "personalidad" y sus habilidades de recuperación, pero finalmente obedece las reglas de la lógica.

Los Resultados: Un Gran Salto en la Lógica

Los resultados de este nuevo método fueron impresionantes. Los autores probaron su sistema en un nuevo benchmark que construyeron llamado FACTOR-Bench, diseñado específicamente para probar si un modelo entiende la lógica.

La forma antigua: Los mejores modelos existentes (incluso aquellos que habían sido entrenados especialmente para entender la negación) acertaron aproximadamente el 73.2% de las preguntas de lógica.
La nueva forma (LCSE): El método de los autores, utilizando los mismos modelos subyacentes pero con su nuevo "editor", saltó al 85.5% de precisión.
Aún mejor: Cuando aplicaron este método a un modelo más nuevo y fuerte llamado SigLIP 2, la precisión se disparó al 90.7%.

También lo probaron en un desafío diferente llamado NegBench, que se centra en preguntas de "no" y "no". El modelo estándar acertó solo el 27.2%, pero con LCSE, mejoró al 65.2%. Crucialmente, esta mejora masiva en la lógica no perjudicó la capacidad del modelo para realizar búsquedas normales; mantuvo el mismo alto rendimiento para la recuperación de imágenes estándar.

Por qué esto es importante

Este artículo sugiere que el problema no es que los modelos de IA no puedan "ver" o "leer" lo suficientemente bien; es que la forma en que combinan la información es fundamentalmente defectuosa para tareas complejas. Al separar el acto de "ver" (encontrar los conceptos) del acto de "pensar" (aplicar las reglas de la lógica), podemos hacer que estos modelos sean mucho más inteligentes sin necesidad de reconstruirlos desde cero. Es un recordatorio de que, a veces, la mejor manera de arreglar a un robot inteligente no es enseñarle más datos, sino darle una mejor calculadora para los datos que ya conoce.

Resumen Técnico: La similitud no es lógica: Inferencia factorizada para modelos de visión y lenguaje de doble codificador

1. Planteamiento del problema

Los modelos de visión y lenguaje (VLM) de doble codificador, como CLIP y SigLIP, mapean imágenes y texto en un espacio de incrustación compartido utilizando una interfaz de similitud escalar (típicamente similitud de coseno o producto punto). Si bien es altamente efectivo para la recuperación zero-shot, esta interfaz no logra satisfacer las restricciones composicionales que involucran operadores lógicos (negación, conjunción, disyunción).

El problema central es un efecto de "Bolsa de Conceptos" (Bag-of-Concepts) a nivel de interfaz. Cuando una consulta contiene operadores lógicos (por ejemplo, "paraguas y sin persona"), el puntaje de similitud escalar aproxima un pooling de medias de la evidencia para los conceptos individuales en lugar de ejecutar el operador lógico. Consecuentemente:

La negación falla: Consultas como "sin persona" suelen recuperar imágenes que contienen una persona porque el puntaje de similitud rastrea la presencia del concepto en lugar de su ausencia.
La conjunción es inestable: Consultas como "A y B" frecuentemente recuperan imágenes que contienen solo A o solo B.
La exclusión falla: Las consultas que buscan excluir conceptos (por ejemplo, "ni A ni B") recuperan sistemáticamente imágenes que contienen dichos conceptos.

Los autores atribuyen este fallo no a una falta de información dependiente de los operadores en las incrustaciones de texto (la cual existe pero es débil), sino al mecanismo de ejecución: el proceso de puntuación por producto punto agrega la evidencia de una manera que suprime la semántica de los operadores, comportándose como una operación de pooling de medias suave independientemente de la estructura lógica.

2. Metodología: Inferencia Factorizada y LCSE

El artículo propone la Inferencia Factorizada, un paradigma que separa la extracción de evidencia de la ejecución de restricciones. En lugar de depender de la similitud holística de una consulta compuesta, el método extrae evidencia atómica para cada concepto y ejecuta los operadores lógicos externamente.

2.1. Edición de Puntaje con Restricción Lógica (LCSE)

La contribución principal es LCSE, un método que no requiere entrenamiento para modificar el puntaje de similitud de un VLM congelado para imponer restricciones lógicas preservando el rendimiento de recuperación estándar. El proceso consta de cuatro pasos:

Análisis (Parsing): Una consulta se descompone en conceptos visuales ( $c_i$ ), sus polaridades (presente/ausente, $n_i$ ) y el operador lógico ( $o$ ).
Extracción de Evidencia: El VLM congelado codifica la imagen y cada frase de concepto atómico de forma independiente para generar puntajes de presencia ( $p_i$ ). Estos puntajes se calibran desde la similitud bruta hacia probabilidades mediante una función sigmoide.
Ejecución de Restricciones:
- Ajuste de Polaridad: Para conceptos negados, el puntaje se invierte ( $1 - p_i$ ).
- Agregación: Los puntajes ajustados se agregan utilizando una media de potencia ( $M_\gamma$ $M_{γ}$ ).
  - La conjunción ( $A \land B$ ) utiliza $\gamma < 0$ (aproximándose al mínimo).
  - La disyunción ( $A \lor B$ ) utiliza $\gamma \gg 1$ (aproximándose al máximo).
  - Esto reemplaza el pooling de medias implícito del puntaje holístico con una agregación funcional de verdad.
Edición de Puntaje (El paso "LCSE"): Para evitar la pérdida de información holística (contexto de la escena, estilo, disposición espacial) que no es capturada por los puntajes de conceptos atómicos, el método aplica una corrección ligera al puntaje holístico original ( $s_{hol}$ ):
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
Donde $p_{logic}$ es el puntaje de restricción agregado y $p_{soft}$ es la media simple de los puntajes de los conceptos. Este término ajusta el puntaje holístico solo cuando el operador lógico requiere una agregación distinta a la media (por ejemplo, una conjunción estricta o negación). Si no hay operadores presentes, la corrección desaparece y el método vuelve a la recuperación holística estándar.

3. Contribuciones Clave

Análisis Mecanicista del Fallo de Restricción: Los autores proporcionan una "descomposición de residuo de rango" de las incrustaciones de texto, demostrando que, si bien existen componentes dependientes de los operadores en el componente residual, estos son demasiado débiles o están mal alineados para influir en los rankings bajo la puntuación estándar de producto punto. El componente de rango (dominado por la evidencia del concepto) aproxima el pooling de medias, causando el fallo.
Interfaz Libre de Entrenamiento (LCSE): Un método para ejecutar restricciones booleanas explícitamente sobre evidencia atómica sin reentrenar los codificadores. Preserva el comportamiento de recuperación estándar donde no se aplican restricciones.
FACTOR-Bench: Un nuevo benchmark diseñado para probar la semántica de los operadores booleanos utilizando pares de subtítulos contrastivos de operadores (mismos conceptos, diferentes operadores) con presencia/ausencia de conceptos validada como verdad de referencia.
Validación Empírica: Evaluación extensiva que muestra que LCSE supera significativamente a las líneas base ajustadas (fine-tuned) en restricciones lógicas, manteniendo el rendimiento de recuperación zero-shot.

4. Resultados Experimentales

Los autores evaluaron LCSE en FACTOR-Bench, NegBench y tareas de retención de recuperación estándar utilizando backbones de CLIP y SigLIP 2.

Precisión en FACTOR-Bench:
- LCSE (CLIP): Logró un 85.5% de precisión, superando significativamente a la mejor línea base ajustada (NegationCLIP con 73.2%).
- LCSE (SigLIP 2): Logró un 90.7% de precisión, demostrando que una mejor evidencia atómica se traduce en una mejor ejecución de restricciones.
- Manejo de Negación: En el MCQ de NegBench, LCSE mejoró la precisión de 56.2% (NegCLIP-NegFull) a 60.3% para CLIP, y de 27.2% a 65.2% para SigLIP 2.
Retención de la Recuperación: A diferencia de los modelos ajustados que a menudo degradan la recuperación estándar (Correlación de Rango $\rho \approx 0.63\text{--}0.85$ ), LCSE preserva el rendimiento de recuperación estándar casi perfectamente ( $\rho = 0.999$ para CLIP, R@5 sin cambios).
Análisis Estratificado: La ganancia de rendimiento de LCSE escala con la calidad de la evidencia atómica. Cuando la detección de conceptos es fiable (AUC > 0.90), LCSE alcanza un 90.4% de precisión, mientras que la puntuación holística logra solo un 57.8%.
Ablación: El método funciona a través de diferentes backbones y estrategias de agregación. El componente de "Edición de Puntaje" es crucial; eliminarlo (usando solo la puntuación factorizada) degrada la recuperación en consultas de lenguaje natural que carecen de operadores explícitos.

5. Significado y Reivindicaciones

El artículo sostiene que el fallo de los VLM para manejar la lógica composicional es principalmente un cuello de botella a nivel de interfaz (cómo los puntajes agregan la evidencia) más que un fallo a nivel de representación (qué representan los codificadores).

Alcance Modesto: Los autores declaran explícitamente que su análisis y método se validan en operadores booleanos sobre conceptos visuales (uno a dos conceptos, con alguna extensión a 3-4 conceptos). No pretenden resolver toda la razón composicional (por ejemplo, vinculación de atributos, relaciones, conteo), pero sugieren que el principio de la inferencia factorizada puede extenderse si se dispone de evidencia atómica fiable.
Impacto Práctico: El método ofrece una solución libre de entrenamiento que puede aplicarse a los VLM congelados existentes para permitir consultas y filtrado estructurado sin la inestabilidad o los requisitos de datos del ajuste fino.
Limitaciones: El enfoque depende de la capacidad para analizar la estructura booleana (gestionada por un parser de LLM con alta precisión) y la calidad de la detección de conceptos atómicos del codificador subyacente. Si el codificador no puede detectar un concepto de forma fiable, la ejecución externa no puede recuperar la corrección.

En resumen, el artículo argumenta que "La similitud no es lógica" y propone la Inferencia Factorizada como un mecanismo para desacoplar la extracción de evidencia de la ejecución de restricciones lógicas, logrando una alta precisión en tareas lógicas mientras mantiene las capacidades robustas de recuperación zero-shot de los VLM estándar.