🤖 machine learning

GeoDetect: Geometric Adversarial Detection for VLPs

Este artículo presenta GeoDetect, un método de detección adversarial geométrico para modelos preentrenados de visión y lenguaje (VLPs) que aprovecha el aumento de la distancia fuera de la variedad en espacios de incrustación anisotrópicos para identificar ataques de manera confiable a través de diversas arquitecturas y escenarios de amenazas.

Autores originales: Afsaneh Hasanebrahimi, Hanxun Huang, Christopher Leckie, James Bailey, Sarah Erfani

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Afsaneh Hasanebrahimi, Hanxun Huang, Christopher Leckie, James Bailey, Sarah Erfani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo ven imágenes o leen palabras, sino que comprenden cómo bailan juntas. Este es el reino de los Modelos Preentrenados de Visión y Lenguaje (VLP, por sus siglas en inglés). Piensa en ellos como bibliotecarios superinteligentes que han leído todos los libros y visto todas las pinturas del universo, aprendiendo a emparejar la descripción de un atardecer con una foto de uno perfectamente. Son los motores detrás de tecnología genial como encontrar imágenes con texto, responder preguntas sobre fotos o incluso describir una escena sin que se les diga qué buscar. Pero, como cualquier herramienta poderosa, tienen un punto débil: los ataques adversarios. Estos son como pequeños "fallos" o "trucos" casi invisibles añadidos a una imagen o una oración que confunden a la computadora, haciendo que vea un panda como un gibón o una señal de alto como una señal de límite de velocidad. Aunque sabemos cómo detectar estos trucos en sistemas de un solo modo (como mirar solo fotos), no hemos logrado realmente descubrir cómo atraparlos cuando la computadora está haciendo malabares con imágenes y palabras al mismo tiempo. Esto es algo muy importante porque, si estos modelos se utilizan en trabajos críticos para la seguridad, necesitamos saber cuándo están siendo engañados antes de que cometan un error peligroso.

Entra GeoDetect, un nuevo método propuesto por la investigadora Afsaneh Hasanebrahimi y su equipo de la Universidad de Melbourne y la Universidad de Monash. Decidieron investigar la "forma" del cerebro de la computadora para ver si podían detectar los trucos. Descubrieron que la forma en que estos modelos almacenan la información es un poco como una habitación abarrotada donde todos están parados en un pasillo muy específico y estrecho en lugar de dispersarse uniformemente en un gran campo abierto. Ellos llaman a esto anisotropía —una palabra elegante que significa que los datos están estirados en ciertas direcciones y comprimidos en otras.

La gran idea del equipo es que, cuando alguien intenta engañar al modelo con un ataque adversario, el "mapa" interno del modelo es empujado fuera de ese pasillo abarrotado y hacia los espacios vacíos y extraños donde no vive ningún dato normal. Es como si todos en un club de baile estuvieran haciendo una rutina específica en el centro de la pista, y un bromista intentara colarse para hacer un movimiento raro y brusco; terminarían parados en el espacio vacío cerca de las paredes, lejos del grupo. GeoDetect actúa como un portero que mide la distancia entre una persona nueva y la multitud. Si la persona nueva está parada demasiado lejos en el espacio vacío (fuera del "manifold", o la forma natural de los datos), el portero sabe que algo anda mal.

Para hacer esto, GeoDetect utiliza un kit de herramientas de varas de medir geométricas. Revisa cosas como la Dimensionalidad Intrínseca Local (LID), que es como preguntar: "¿Cuántas direcciones necesita este punto para describirse a sí mismo?". También utiliza k-Vecinos Más Cercanos (k-NN) para ver qué tan cerca está un punto de sus amigos, la distancia de Mahalanobis para medir qué tan extraño se ve un punto en comparación con la forma promedio de la multitud, y la Estimación de Densidad de Kernel (KDE) para ver qué tan concurrida es el área alrededor de un punto. Al combinar estas mediciones, el sistema puede decir si una entrada es un ejemplo normal y limpio o uno adversario y astuto.

Los investigadores probaron esta idea en varios modelos, incluyendo populares como CLIP y ALBEF. Encontraron que su teoría se sostiene: los ejemplos adversarios realmente terminan en esas regiones "fuera del manifold", más lejos de los datos normales que los ejemplos limpios. En sus experimentos, GeoDetect fue capaz de detectar estos ataques a través de diferentes tipos de modelos y diferentes tipos de trucos, incluyendo ataques que alteran solo la imagen, solo el texto o ambos. ¿Lo mejor de todo? No necesita reentrenar el modelo ni aprender cosas nuevas; simplemente observa la geometría de los datos tal como son. Esto sugiere que, con el simple hecho de comprender la forma del espacio de los datos, podemos construir un escudo robusto y ligero para mantener seguros a estos poderosos modelos de IA frente a ser engañados.

Resumen Técnico: GeoDetect – Detección Adversaria Geométrica para VLPs

Definición del Problema

Los modelos preentrenados de visión y lenguaje (VLPs), como CLIP, ALBEF y TCL, han logrado un rendimiento de vanguardia en tareas multimodales como la recuperación de imagen-texto, la respuesta visual a preguntas y la clasificación de cero disparos (zero-shot). Sin embargo, estos modelos siguen siendo vulnerables a ejemplos adversarios (AEs), donde pequeñas perturbaciones en las entradas de imagen o texto causan una clasificación errónea o una degradación del rendimiento.

Aunque los métodos de detección adversaria han mostrado éxito en entornos unimodales (visión pura o lenguaje puro), su aplicabilidad a los VLPs es incierta. Los mecanismos de alineación y fusión multimodal en los VLPs remodelan la geometría de los espacios de incrustación (embeddings), lo que potencialmente vuelve ineficaces las señales de detección unimodales. Además, las estrategias de defensa existentes suelen depender de un entrenamiento adversario computacionalmente costoso o de sondeos específicos de la tarea (por ejemplo, métodos basados en la atención limitados al cuestionario visual), lo que deja un vacío en la detección robusta y generalizable para diversas arquitecturas de VLP y tipos de ataque.

Metodología: GeoDetect

Los autores proponen GeoDetect, un marco de trabajo agnóstico al modelo que detecta ejemplos adversarios analizando las propiedades geométricas de los espacios de incrustación de los VLPs. El enfoque se fundamenta en la observación de que las incrustaciones de los VLPs exhiben anisotropía (dispersión desigual a través de las dimensiones) y que las perturbaciones adversarias empujan las representaciones hacia regiones fuera de la variedad (off-manifold).

1. Fundamento Teórico

La contribución teórica central postula que los espacios de incrustación de los VLPs son anisotrópicos, formando estructuras como conos de baja apertura o elipsoides dobles. Bajo esta estructura:

Anisotropía: La matriz de covarianza de las incrustaciones limpias es positiva definida pero no isotrópica (los autovalores varían significativamente).
Desviación fuera de la variedad (Off-Manifold Deviation): Las perturbaciones adversarias, cuando se optimizan para maximizar la divergencia de la distribución limpia, tienden a suprimir los componentes a lo largo de la variedad (direcciones tangentes) y amplificar los componentes ortogonales a ella (direcciones normales).
Consecuencia Geométrica: En consecuencia, las incrustaciones adversarias exhiben una mayor distancia geométrica esperada respecto a puntos limpios muestreados aleatoriamente en comparación con sus contrapartes limpias. Esta mayor separación permite la detección mediante métricas geométricas.

2. Pipeline de Detección

GeoDetect opera en tres etapas: Generación, Extracción y Detección.

Generación: Se prepara un conjunto de datos equilibrado de muestras limpias y adversarias. Los ataques adversarios apuntan a la imagen, al texto o a ambas modalidades.
Extracción: Se extraen representaciones profundas de los codificadores VLP. El marco calcula puntuaciones geométricas utilizando cuatro métricas clásicas:
- Dimensionalidad Intrínseca Local (LID): Estimada mediante máxima verosimilitud. Únicamente, GeoDetect aplica LID por capas, evaluando las salidas tanto de los codificadores de imagen como de las capas de fusión multimodal (en VLPs fusionados), lo que lo hace sensible a las perturbaciones en toda la red.
- k-Vecinos más Cercanos (k-NN): Calcula la distancia promedio a los $k$ vecinos más cercanos en un lote de referencia limpio.
- Distancia de Mahalanobis: Mide la distancia de una muestra respecto a la media de la distribución limpia, normalizada por la matriz de covarianza.
- Estimación de Densidad de Kernel (KDE): Estima la densidad de probabilidad de la muestra en relación con la distribución limpia.
Detección: Las puntuaciones calculadas sirven como características para una función de decisión $\mathcal{H}$ $H$ .
- Para k-NN, Mahalanobis y KDE, se aplica una regla basada en umbrales.
- Para LID, se entrena un clasificador de regresión logística sobre las características de múltiples capas para determinar si una entrada es adversaria.

Contribuciones Clave

Análisis Teórico de la Geometría de VLP: El artículo proporciona una demostración teórica de que los espacios de incrustación de los VLPs son anisotrópicos y que los ataques adversarios empujan inherentemente los ejemplos hacia regiones fuera de la variedad, resultando en mayores desviaciones geométricas de los datos limpios.
Marco de Trabajo GeoDetect: Introducción de un método de detección novedoso y agnóstico al modelo que aprovecha las discrepancias geométricas (LID, k-NN, Mahalanobis, KDE) para identificar AEs en VLPs. A diferencia de métodos anteriores, soporta arquitecturas tanto fusionadas (ej. ALBEF) como alineadas (ej. CLIP) y gestiona ataques unimodales y multimodales.
Evaluación Exhaustiva: Una validación extensa a través de diversas arquitecturas de VLP y entornos de amenaza (incluyendo ataques adaptativos) demuestra que GeoDetect logra consistentemente puntuaciones de Área Bajo la Curva (AUC) elevadas sin requerir el ajuste fino (fine-tuning) del modelo.

Resultados y Rendimiento

Los autores evalúan GeoDetect en diversas arquitecturas de VLP (CLIP, ALBEF, TCL, etc.) frente a ataques unimodales (solo imagen, solo texto) y multimodales.

Robustez: El método mantiene un alto rendimiento de detección en diferentes tareas de downstream, incluyendo la clasificación de cero disparos y la recuperación.
Eficiencia: GeoDetect es ligero y no requiere la sobrecarga computacional del entrenamiento adversario o del ajuste fino del VLP subyacente.
Sensibilidad de Capa: El uso de la extracción de LID por capas resulta particularmente efectivo para detectar ataques multimodales, ya que captura perturbaciones dentro de las capas del codificador multimodal que otros métodos podrían pasar por alto.

Significado

El artículo afirma que GeoDetect aborda una brecha crítica en la seguridad y confiabilidad de los VLPs. Al establecer un vínculo teórico entre las estructuras de incrustación anisotrópicas y el comportamiento adversario fuera de la variedad, el trabajo proporciona un enfoque basado en principios para la detección que trasciende arquitecturas de modelos o restricciones de tareas específicas. Ofrece una solución práctica y rentable para identificar consultas potencialmente dañinas en aplicaciones del mundo real, mejorando la robustez de los VLPs sin comprometer su rendimiento mediante un reentrenamiento pesado.