💻 computer science

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

El artículo propone EntropyScan, un método ligero y agnóstico a los disparadores que detecta modelos de visión y lenguaje grandes con backdoors cuantificando anomalías estructurales en las distribuciones de atención visual sobre muestras benignas mediante entropía de Tsallis y normalización de puntuación Z, logrando una alta precisión sin requerir conocimiento de los datos de entrenamiento ni de los disparadores.

Autores originales: Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Publicado 2026-05-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que acabas de comprar una cámara inteligente de alta gama a un vendedor de terceros. Quieres usarla para describir fotos, pero estás preocupado: ¿Programó el vendedor secretamente esta cámara para decir algo peligroso si le muestras un patrón específico y oculto?

Este es el problema con los Modelos Grandes de Visión y Lenguaje (LVLMs). Estos son sistemas de IA potentes que pueden "ver" imágenes y "hablar" sobre ellas. Dado que a menudo se descargan de internet, existe el riesgo de que hayan sido "envenenados" con una puerta trasera.

Una puerta trasera es como un interruptor secreto. Si le muestras a la IA una imagen normal de un gato, dice: "Eso es un gato". Pero si le muestras una imagen de un gato con una pegatina diminuta e invisible (el disparador), la IA ignora repentinamente las reglas de seguridad y dice algo dañino, como "Cómo construir una bomba".

El Problema: La inspección de "caja negra"

La mayoría de las herramientas de seguridad actuales intentan encontrar el veneno antes de que se construya la IA, o intentan atrapar a la IA mientras habla buscando el disparador. Pero, ¿qué pasa si ya tienes el modelo de IA terminado, no sabes cómo se ve el disparador secreto y no tienes los datos originales de entrenamiento?

Necesitas una forma de inspeccionar el modelo en sí para ver si está "enfermo", sin necesidad de conocer los síntomas específicos de la enfermedad (el disparador).

La Solución: EntropyScan (La "radiografía de la atención")

El artículo presenta una herramienta llamada EntropyScan. Piénsala como una máquina de rayos X para el cerebro de la IA.

Así es como funciona, usando una analogía simple:

1. La analogía del "Enfoque"

Imagina que la IA es un estudiante mirando una foto y escribiendo una descripción.

Un estudiante sano (Modelo benigno): Al mirar una foto de una playa, sus ojos escanean naturalmente la arena, las olas y el cielo de una manera equilibrada y lógica. Su "atención" se distribuye suavemente.
El estudiante "envenenado" (Modelo con puerta trasera): Incluso al mirar una foto normal, la inyección de la puerta trasera ha alterado su cableado cerebral. Sus ojos podrían temblar o mirar fijamente de manera antinatural a partes específicas de la imagen, incluso cuando no hay disparador presente. Están "sobre-enfocando" o "sub-enfocando" en patrones extraños.

2. Medir la "confusión" (Entropía)

Los investigadores se dieron cuenta de que este patrón de mirada extraña se puede medir matemáticamente usando algo llamado Entropía de Tsallis.

Piensa en la Entropía como una medida de "desorden" o "sorpresa".
Una IA sana tiene un patrón de atención predecible y suave (baja sorpresa).
Una IA envenenada tiene un patrón de atención irregular, caótico o extrañamente concentrado (alta sorpresa/anomalía).

3. La "verificación de referencia"

Para saber si la IA es extraña, necesitas una línea base.

La referencia: Los investigadores toman una versión conocida "sana" del mismo modelo de IA (la oficial del desarrollador).
La prueba: Alimentan tanto al modelo "sospechoso" como al modelo de referencia "sano" con las mismas 200 imágenes normales y aleatorias.
La comparación: Miden cuánto se desvía el patrón de atención del modelo "sospechoso" del del modelo "sano".

Si el patrón de atención del modelo sospechoso es significativamente más "ruidoso" o "extraño" que el del modelo sano, EntropyScan lo marca como con puerta trasera.

Por qué esto es especial

No se necesita el disparador: No necesitas saber cómo se ve la pegatina secreta. Solo miras cómo se comporta la IA normalmente.
Ligero: No requiere reentrenar el modelo ni cálculos complejos. Solo toma unos segundos escanear un modelo.
Alta precisión: En sus pruebas, este método detectó modelos envenenados el 98.5% de las veces, incluso frente a ataques muy sigilosos que otros métodos pasaron por alto.

La conclusión

EntropyScan es como un guardia de seguridad que no necesita conocer el rostro del ladrón ni el objeto robado. En su lugar, simplemente observa cómo las personas pasan por la puerta. Si alguien camina con una marcha extraña y antinatural (anomalía estructural en la atención) en comparación con todos los demás, el guardia sabe que algo está mal, incluso si no puede ver el arma.

El artículo afirma que este método funciona en diferentes tipos de modelos de IA y diferentes tipos de ataques, proporcionando una forma rápida y confiable de verificar si una IA descargada es segura de usar.

Resumen Técnico: EntropyScan

Enunciado del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) se distribuyen cada vez más como checkpoints de terceros a través de paradigmas de Modelo como Servicio (MaaS), lo que genera riesgos de seguridad significativos. Si bien los mecanismos de defensa existentes se centran principalmente en la detección a nivel de muestra (filtrando datos de entrenamiento envenenados o perturbando las entradas durante la inferencia), generalmente requieren acceso al conjunto de datos de entrenamiento original o conocimiento de los desencadenantes específicos del ataque. Persiste una brecha crítica en la detección a nivel de modelo: determinar si un checkpoint finalizado de terceros contiene una puerta trasera oculta sin conocimiento previo de los patrones de desencadenante, las respuestas objetivo o los datos de entrenamiento envenenados. La opacidad del proceso de entrenamiento y la inserción sutil de desencadenantes dentro del vasto espacio de pesos hacen que esta tarea sea particularmente desafiante.

Metodología: EntropyScan

Los autores proponen EntropyScan, un marco ligero y agnóstico a los desencadenantes diseñado para detectar LVLMs con puertas traseras mediante el análisis de anomalías estructurales en la atención visual. La hipótesis central es que la inyección de puertas traseras altera los mecanismos de alineación multimodal dentro del modelo, lo que conduce a desviaciones medibles en la asignación de atención visual incluso en entradas benignas.

La metodología procede en tres etapas:

Extracción de Entropía de Atención Visual:
- El método se centra en la capa inicial (Capa-0) del componente del Modelo de Lenguaje Grande (LLM), donde los tokens visuales se integran por primera vez con las representaciones textuales.
- Extrae los pesos de atención visual de los módulos de autoatención. Específicamente, aísla el vector de probabilidad de atención asignado a los tokens visuales ( $\mathcal{V}$ ) para el último token de la secuencia de entrada.
- Para desacoplar el patrón de distribución interna de la magnitud general de la atención, los autores realizan una renormalización por modalidad para crear una distribución de probabilidad condicional $P_{\mathcal{V}}$ .
- Se calcula la entropía de Tsallis ( $H_q$ ) sobre esta distribución. La entropía de Tsallis se elige sobre la entropía de Shannon o Rényi porque su parámetro no extensivo ( $q$ ) proporciona una sensibilidad mejorada hacia la "cola" de la distribución, haciéndola más efectiva para detectar anomalías estructurales sutiles inducidas por puertas traseras sigilosas.
Normalización Z-Score Anclada a Referencia:
- Para establecer una línea base, el sistema utiliza un modelo de referencia limpio y benigno ( $M_{ref}$ ) con la misma arquitectura que el modelo sospechoso ( $M_{target}$ ) y un pequeño conjunto de datos de validación limpio ( $D_{val}$ ).
- Se calculan estadísticas (media $\mu_{ref}$ y desviación estándar $\sigma_{ref}$ ) a partir de los valores de entropía del modelo de referencia.
- Los valores de entropía del modelo sospechoso se normalizan luego utilizando estas estadísticas de referencia para calcular un puntuación Z. Esto alinea la escala de entropía del modelo sospechoso con la distribución benigna, permitiendo la identificación de desviaciones sistemáticas.
Decisión de Detección:
- El método calcula una puntuación de anomalía $s(x)$ para cada muestra basada en la desviación absoluta de su puntuación Z respecto a la mediana de referencia.
- La decisión final se toma calculando el Área bajo la Curva Característica Operativa del Receptor (AUC) entre las puntuaciones de anomalía del modelo sospechoso y el modelo de referencia.
- Si el AUC supera un umbral predefinido ( $\tau = 0.8$ ), el modelo se clasifica como con puerta trasera.

Contribuciones Clave

Descubrimiento de Anomalías Estructurales: Los autores identifican que las inyecciones de puertas traseras en LVLMs causan perturbaciones estructurales distintas en la alineación multimodal, manifestándose como desplazamientos medibles en la entropía de atención visual en entradas benignas.
Primer Marco de Detección a Nivel de Modelo: EntropyScan se presenta como el primer método diseñado específicamente para la detección de puertas traseras a nivel de modelo en LVLMs. Opera sin requerir acceso a desencadenantes, datos de entrenamiento envenenados o intervención activa durante la inferencia.
Ligero y Eficiente: El marco es altamente eficiente, requiriendo solo inferencia hacia adelante. Logra una alta precisión utilizando un conjunto de validación pequeño (200 imágenes) y opera en segundos por checkpoint de modelo.

Resultados Experimentales

Los autores evaluaron EntropyScan en dos arquitecturas de LVLM (LLaVA-1.5-7B y Otter-3B) a través de tres escenarios de ataque avanzados: ShadowCast, ImgTrojan y VL-Trojan.

Rendimiento de Detección: EntropyScan logró una puntuación F1 promedio del 98.5% y un AUC del 96.6% en todos los escenarios.
- Logró una detección perfecta (AUC = 1.000) para los ataques VL-Trojan en todos los cimientos visuales probados.
- Superó significativamente al método de referencia Agrupación de Activaciones (AC), particularmente contra los ataques ShadowCast donde AC falló (Recall = 0) mientras que EntropyScan logró un Recall de 0.9535.
Robustez: El método demostró robustez frente a ataques adaptativos donde los adversarios intentaron regularizar la entropía visual para coincidir con distribuciones benignas; tales intentos degradaron significativamente la tasa de éxito del ataque (ASR).
Eficiencia: El tiempo promedio de inspección fue de 4.37 segundos por checkpoint de modelo en cuatro GPUs NVIDIA Tesla V100.
Estudios de Ablación:
- Sensibilidad de Capa: Se confirmó que la capa inicial (Capa-0) es la sonda de detección óptima, con señales de detección que decaen rápidamente en capas más profundas.
- Medida de Entropía: La entropía de Tsallis ( $q=2$ ) superó a la entropía de Shannon y Rényi, particularmente para ataques sutiles de disrupción global.
- Eficiencia de Datos: El rendimiento de detección se mantuvo estable a través de diferentes tamaños de conjuntos de validación y diferentes fuentes de imágenes limpias (por ejemplo, COCO2017 vs. Object365).

Significado y Afirmaciones

El artículo afirma que EntropyScan proporciona un paradigma práctico para la inspección de seguridad de checkpoints de LVLM de terceros. Al identificar una firma universal de infección (desviación de entropía en la atención multimodal) en lugar de depender de artefactos específicos del desencadenante, el método aborda el desafío crítico de detectar puertas traseras en modelos finalizados donde el conocimiento del desencadenante no está disponible. Los autores enfatizan que su enfoque permite la auditoría a nivel de modelo sin comprometer la utilidad del modelo ni requerir reentrenamiento, promoviendo así prácticas de seguridad accesibles para el ecosistema en rápida expansión de LVLMs de código abierto y de terceros.