Now You See the Hate: Adaptive View Retrieval for Hidden Hateful Illusions

Resumen Técnico: Recuperación de Vistas Adaptativas para Ilusiones de Odio Ocultas

Planteamiento del Problema
Los sistemas de seguridad multimodales actuales enfrentan un "fallo de acceso perceptual" crítico al encontrarse con ilusiones ópticas de odio. Estas imágenes incrustan contenido dañino —como insultos de odio, símbolos extremistas o jerga— dentro de estructuras visuales de apariencia benigna utilizando principios de organización perceptual (por ejemplo, cierre, separación figura-fondo). Mientras que los humanos a menudo pueden recuperar estos mensajes ocultos mediante la organización perceptual, los modelos de lenguaje-visión (VLM) de última generación y los clasificadores de moderación fallan al detectarlos cuando analizan la vista original de la imagen. Evaluaciones previas en el benchmark HatefulIllusion muestran que seis clasificadores de moderación alcanzan, como máximo, una precisión del 20.9–24.5%, y nueve VLM de última generación (incluyendo GPT-4o y Gemini-2) se mantienen en o por debajo del 10.2% de precisión, incluso utilizando un prompting consciente de la ilusión (illusion-aware prompting). El problema central es que los modelos de seguridad típicamente juzgan solo la escena superficial, careciendo de acceso a la capa estructural oculta donde el odio está de incógnito. Los transformaciones de imagen simples y fijas son insuficientes porque ningún filtro único es óptimo para todos los tipos de ilusión, jergas o niveles de visibilidad.

Metodología: Recuperación de Vistas Adaptativas
Los autores proponen la Recuperación de Vistas Adaptativas (Adaptive View Retrieval), un marco que redefine la detección de ilusiones de odio ocultas como un problema de recuperación perceptual en lugar de una tarea estándar de clasificación de imágenes. El sistema opera bajo una arquitectura de "recuperación y calibración" (retrieve-and-calibrate):

1. Banco de Vistas Complementarias: En lugar de depender de una única vista de imagen o un filtro de preprocesamiento fijo, el método construye un banco de siete vistas perceptuales deterministas e interpretables tanto para la imagen de entrada como para las plantillas de mensajes ocultos. Estas vistas incluyen:

   • Vista Original: La imagen RGB sin modificar.
   • Vista de Contraste Mejorado: Aplica desenfoque gaussiano seguido de una ecualización del histograma de luminancia para amplificar patrones de intensidad global débiles.
   • Vista de Cierre de Bordes (Closure-Edge View): Utiliza detección de bordes, cierre morfológico y desenfoque para enfatizar contornos cerrados y bordes de trazo.
   • Vistas de Figura-Fondo: Tres variaciones derivadas de la umbralización de Otsu y limpieza morfológica, que incluyen una vista de máscara, una vista de máscara inversa y una vista de primer plano que aisla el patrón contra un fondo neutro.
   • Vista de Paso Bajo (Low-Pass View): Aplica suavizado en múltiples etapas (Gaussiano, de caja, mediano) para suprimir la textura local mientras preserva estructuras ocultas de gran escala y de carácter grueso.

2. Puerta de Acceso y Recuperación Adaptativa: Un codificador CLIP congelado (ViT-B/32) incrusta cada vista. Un mecanismo de puerta adaptativa lee las características concatenadas de la imagen de consulta y asigna pesos softmax ($\alpha_k$) a cada rama de la vista. Esto permite que el modelo determine dinámicamente qué vistas confiar para una instancia de imagen específica. El sistema luego recupera la plantilla de mensaje oculto que mejor coincida mediante el cálculo de una suma ponderada por temperatura de la similitud de coseno entre las características de la consulta ponderadas y las características de la plantilla.

3. Calibración: Paralelamente a la recuperación, una cabeza de calibración procesa la fusión de características por puerta para producir un logit binario de "dañino/benigno". Esto separa la tarea de recuperar la identidad oculta de la tarea de decidir si esa identidad es dañina.

4. Entrenamiento: El modelo se entrena con una pérdida de entropía cruzada para la recuperación de plantillas, una pérdida de entropía cruzada binaria para la calibración de moderación y un regularizador de entropía de la puerta para evitar el colapso de la vista (donde el modelo depende de una sola vista). El codificador CLIP permanece congelado; solo se actualizan las proyecciones de las ramas, la puerta, la cabeza de calibración y la temperatura.

Contribuciones Clave

• Arquitectura: Propone la Recuperación de Vistas Adaptativas, una arquitectura novedosa que desacopla la recuperación del mensaje oculto de la calibración de la moderación mediante la recuperación de plantillas de vistas múltiples adaptativas.
• Mecanismo: Demuestra que la selección de vistas adaptativas, en lugar de cualquier transformación clásica única, es el motor para la recuperación fiable del odio oculto a través de diversos objetivos y niveles de visibilidad.
• Generalización: Muestra que el enfoque se generaliza más allá de la moderación de odio, superando a los baselines de CLIP ajustados (fine-tuned) y el rendimiento humano en tareas de reconocimiento de clases ocultas en IllusionMNIST, IllusionFashionMNIST e IllusionAnimals.
• Mejora del Benchmark: Bajo el protocolo oficial SemVink en HC-Bench, el banco de vistas múltiples adaptativas complementarias mejora significativamente el reconocimiento de contenido oculto de los VLM en comparación con el preprocesamiento de alejamiento de zoom (zoom-out) sobre el mismo backbone.

Resultados

• HatefulIllusion: En el conjunto de prueba de reserva (held-out test split), la Recuperación de Vistas Adaptativas logra una precisión equilibrada del 93.2% (± 3.1%), superando sustancialmente a los baselines de vista original y a los filtros de un solo transformado fijo. Este rendimiento se mantiene a través de jergas de odio, símbolos de odio y niveles de visibilidad variables.
• IllusoryVQA: El método supera a los baselines oficiales de CLIP ajustados y iguala o supera el rendimiento humano en IllusionMNIST, IllusionFashionMNIST e IllusionAnimals.
• HC-Bench: El enfoque supera tanto la entrada de imagen original como el preprocesamiento de alejamiento de zoom estilo SemVink para preguntas y respuestas (QA) de contenido oculto.

Significancia y Reivindicaciones
El artículo argumenta que una moderación multimodal robusta requiere recuperar el significado oculto antes de decidir si es dañino. Los autores afirman que el fallo de los sistemas actuales proviene de un fallo de acceso perceptual donde los modelos no pueden ver la capa estructural oculta. Al tratar la detección como un problema de recuperación y utilizar un banco de vistas adaptativas, el sistema puede "ver" el odio oculto que los clasificadores estándar pasan por alto. El trabajo sugiere que confiar en una sola vista o en un preprocesamiento fijo es insuficiente para aplicaciones críticas de seguridad que involucran trucos perceptuales, y que la selección de vistas dinámica y dependiente de la instancia es necesaria para una moderación fiable.

Advertencia de Contenido: El artículo señala que contiene contenido de odio y lenguaje ofensivo utilizado únicamente con fines de investigación científica.