Resumen Técnico: Desentrañando las Alucinaciones mediante la Proyección Semántica Ortogonal

Planteamiento del Problema

A medida que los Modelos de Lenguaje-Visión (VLM) y los modelos de difusión multimodal se despliegan en aplicaciones de seguridad crítica, la confiabilidad de sus explicaciones se vuelve primordial. Sin embargo, los métodos existentes de IA Explicable (XAI) para estos modelos sufren frecuentemente de alucinación semántica. En este fenómeno, los mapas de atribución (mapas de prominencia o saliency maps) resaltan regiones de la imagen que corresponden a objetos que no están presentes en la imagen cuando se solicita con descripciones de texto específicas. Por ejemplo, un modelo podría resaltar un perro cuando el prompt es "gato", o resaltar una oveja cuando el prompt es "gato" y no existe ninguna oveja.

El artículo argumenta que este problema no es meramente un fallo en arquitecturas específicas, sino una consecuencia fundamental de la Fuga Semántica Lineal dentro de los espacios de embeddings de alta dimensión. En modelos como CLIP y SigLIP, los embeddings de texto e imagen residen en un espacio compartido donde los conceptos semánticamente relacionados pero distintos (por ejemplo, "gato" y "perro") no son ortogonales. Comparten componentes direccionales comunes. Cuando los métodos de prominencia computan las atribuciones basándose en estos embeddings no ortogonales, los componentes compartidos causan que el método resalte regiones irrelevantes, lo que genera "señales fantasma" o explicaciones alucinadas. El artículo postula que el modelo puede parecer correcto, pero en realidad está "en lo cierto por las razones equivocadas".

Metodología: Proyección Semántica Ortogonal (OSP)

Para abordar esto, los autores proponen la Proyección Semántica Ortogonal (OSP), una intervención geométrica diseñada para desentrañar las señales semánticas únicas de los conceptos compartidos antes de computar los mapas de prominencia.

Marco Teórico

Los autores formalizan el problema a través del marco de Atribución Semántica Lineal (LSA). Demuestran que la mayoría de los métodos de prominencia multimodal (incluyendo GradCAM, LeGrad, CheferCAM y DAAM) pueden expresarse como funciones lineales (o localmente lineales) del embedding de texto.

• Lema 1 (Fuga Semántica Lineal): Si el ángulo entre el embedding de texto de la clase objetivo $A$ y una clase distractora $B$ es distinto de cero (es decir, no son ortogonales), el mapa de prominencia para $B$ contendrá un componente proporcional al verdadero mapa de prominencia de $A$. Esta "señal fantasma" está controlada directamente por la similitud de coseno entre los embeddings.

El Algoritmo OSP

OSP utiliza la Búsqueda de Emparejamiento Ortogonal (OMP) para realizar una descomposición dispersa del embedding de texto. El proceso implica:

1. Construcción del Diccionario: Se crea un diccionario de semánticas ($\mathbf{D}$) que consiste en conceptos "distractores" que están semántica o visualmente relacionados con el objetivo. Los autores exploran cuatro estrategias para esto: clases de ImageNet, relaciones ImageNet + WordNet, y diccionarios generados por LLMs (Gemini 3 Flash y GPT-OSS 120B).
2. Descomposición Dispersa: El embedding de texto objetivo ($\mathbf{a}^{\text{txt}}_{\text{target}}$) es tratado como una señal para ser aproximada por los átomos del diccionario.
3. Extracción de Residuos: El algoritmo selecciona iterativamente los átomos más correlacionados con el residuo actual y actualiza el conjunto activo. Crucialmente, el residuo final ($\mathbf{r}$) es estrictamente ortogonal a todos los átomos distractores seleccionados.
4. Proyección: El residuo $\mathbf{r}$ representa la "dirección semántica única" del concepto objetivo, despojada de los componentes compartidos con los distractores.
5. Aplicación: Este residuo purificado reemplaza al embedding de texto original en el cómputo de la prominencia. Para modelos discriminativos, esto se hace directamente sobre el embedding de consulta. Para modelos de difusión (como Stable Diffusion), OSP se aplica a los vectores de clave (key vectors) en el mecanismo de atención cruzada antes de la operación softmax.

El método es plug-and-play, lo que significa que no requiere el reentrenamiento del VLM o del modelo de difusión subyacente.

Contribuciones Clave

1. Análisis Geométrico de la Alucinación: El artículo proporciona un marco matemático formal que vincula los fallos de fundamentación (grounding) con la no ortogonalidad de las direcciones de los embeddings semánticos. Caracteriza la alucinación como una función de la fuga semántica lineal y ofrece una interpretación geométrica de cómo se propagan estos errores.
2. Una Técnica XAI Universal: OSP se presenta como un marco generalizado compatible con múltiples arquitecturas (CLIP, SigLIP, modelos de difusión) y diversos métodos de prominencia (GradCAM, LeGrad, CheferCAM, AttentionCAM, DAAM).
3. Validación Exhaustiva: El método es evaluado en tres modelos fundacionales, cinco métodos de XAI y múltiples conjuntos de datos (ImageNet-Segmentation, MS COCO).
4. Evaluación Centrada en el Humano: Un estudio de usuario con 200 participantes demuestra que OSP mejora la precisión de identificación, la confianza y la confianza de los humanos en las explicaciones de los modelos.

Resultados Experimentales

Los autores evaluaron OSP en los conjuntos de datos ImageNet-Segmentation y MS COCO utilizando métricas como la media de Intersección sobre Unión (mIoU), la media de Precisión Promedio (mAP) y el Área Bajo la Curva ROC (AUROC).

• Supresión de Alucinaciones: OSP aumenta consistentemente la brecha entre los prompts positivos (objetivo presente) y los prompts negativos (objetivo ausente). Específicamente, mejora significativamente el AUROC, lo que indica una mejor discriminación entre conceptos presentes y ausentes.
• Fidelidad de Localización: El método mejora o mantiene el rendimiento de localización (mIoU) para los prompts positivos, mientras que suprime los mapas de calor inexactos para los prompts negativos.
• Robustez: Las mejoras se mantienen a través de diferentes estrategias de construcción de diccionarios, incluyendo aquellos generados por LLMs y aquellos basados en conjuntos de datos estáticos como ImageNet y WordNet.
• Eficiencia: La sobrecarga computacional de OSP es insignificante (menos de un segundo), lo que lo hace práctico para la intervención en tiempo de inferencia.
• Estudio de Usuario: Los participantes que utilizaron mapas de calor mejorados con OSP mostraron una mayor precisión al identificar el enfoque del modelo, una mayor confianza en sus respuestas y una mayor confianza en las explicaciones en comparación con los métodos de referencia (baseline).

Significado y Reivindicaciones

El artículo afirma que OSP representa un paradigma fundamentalmente nuevo para la interpretabilidad. A diferencia de enfoques previos que intentan descomponer los embeddings de imagen para encontrar conceptos visuales, OSP descompone matemáticamente el espacio del embedding de texto para aislar direcciones semánticas puras.

Los autores sostienen que, al abordar la causa raíz de la alucinación —la no ortogonalidad de los embeddings en el espacio de representación—, proporcionan una solución teóricamente sólida y empíricamente validada. Enfatizan que esta intervención geométrica hace que los mapas de atribución sean más fiables para los usuarios finales, traduciendo la fundamentación teórica en mejoras medibles en la interpretabilidad humana. El trabajo sugiere que la perspectiva geométrica abre direcciones prometedoras para extender la interpretabilidad robusta a arquitecturas generativas de mayor escala y aplicaciones más amplias de IA confiable.