Resolution Thresholds in VLM Detection of Harmful ASCII Art Across Construction Modes and Languages

Resumen Técnico: Umbrales de Resolución en la Detección de Arte ASCII Nocivo por parte de los VLM

Planteamiento del Problema
Los Modelos de Lenguaje-Visión (VLM) de gran escala se están desplegando cada vez más para la moderación de contenido, pero siguen siendo vulnerables a ataques de "jailbreak" donde el texto nocivo se codifica como arte ASCII. En estos ataques, actores adversarios construyen imágenes donde palabras nocivas se forman mediante mosaicos de caracteres inocuos (por ejemplo, palabras positivas, símbolos o emojis). Investigaciones previas indican que los VLM a menudo fallan al reconocer la gestalt visual nociva porque priorizan el significado semántico de los caracteres de relleno individuales sobre la forma macroestructural. Aunque trabajos anteriores sugirieron que el escalado hacia abajo de las imágenes podría obligar a los modelos a atender a la forma general, ningún estudio ha caracterizado sistemáticamente cómo varía el "umbral de fallo de detección" —la escala de resolución por encima de la cual la detección colapsa— según los diferentes modos de construcción de arte ASCII, las arquitecturas de los VLM y los idiomas de contenido (inglés frente a chino).

Metodología
Los autores llevaron a cabo un estudio empírico sistemático utilizando un pipeline personalizado para generar y evaluar imágenes de arte ASCII nocivo.

• Construcción del Conjunto de Datos: El estudio utilizó corpus paralelos de palabras/frases nocivas en inglés y chino. Cada palabra fue representada en imágenes de arte ASCII utilizando ocho modos de construcción distintos (L1–L8), que van desde caracteres de bloque densos (L1) y símbolos simples (L2) hasta diseños con palabras incrustadas (L5), emojis (L6), fragmentos de poemas positivos (L7) y palabras chinas positivas (L8).
• Escalado de Resolución: Las imágenes se generaron en diez escalas de resolución ($r \in \{0.1, \dots, 1.0\}$), donde 1.0 representa la referencia de resolución completa y los valores inferiores representan el escalado hacia abajo.
• Evaluación: Ocho VLM de última generación (incluyendo GPT-4o-mini, Gemini-3-Flash, Kimi-K2.5 y otros) fueron consultados a través de la API de OpenRouter. Se les pidió a los modelos que clasificaran la emoción de la imagen (Negativa frente a Neutral/Positiva). Una respuesta "Negativa" se trató como una detección exitosa del contenido nocivo, mientras que las respuestas Neutrales/Positivas indicaron un fallo (bypass).
• Análisis Estadístico: El estudio empleó pruebas de tendencia de Cochran–Armitage para verificar tendencias de detección monotónicas, regresión logística para estimar el umbral de fallo de detección del 50% ($\hat{r}_{0.5}$) con intervalos de confianza del 95%, y pruebas de Chi-cuadrado/Fisher exacto para comparar las tasas de detección entre los corpus de inglés y chino. Se aplicó la corrección de Benjamini–Hochberg a todas las 763 pruebas estadísticas.

Contribuciones Clave

1. Pipeline de Evaluación y Conjunto de Datos: La creación de un conjunto de datos exhaustivo que abarca ocho modos de construcción, diez escalas de resolución, dos idiomas y ocho VLM.
2. Estimación de Umbrales: Estimaciones estadísticamente fundamentadas de los umbrales de fallo de detección para cada combinación (modelo, modo), cuantificando la resolución específica en la que los VLM pierden la capacidad de percibir formas visuales nocivas.
3. Análisis de Origen Cruzado: Un análisis descriptivo que compara los patrones de detección de los modelos construidos en China frente a los modelos construidos en EE. UU./Occidente en el modo de relleno de palabras chinas (L8), utilizando el modo de palabras en inglés (L5) como control.

Resultados Clave

• Dependencia de la Resolución: Las tasas de detección disminuyen drásticamente a medida que la resolución aumenta para la mayoría de las combinaciones modelo-modo. Aproximadamente el 60% de los estratos (modelo, modo) válidos mostraron una tendencia decreciente estadísticamente significativa. Esto confirma que las imágenes de alta resolución permiten que los VLM se centren en los caracteres de relleno benignos, causando el fallo de detección, mientras que el escalado hacia abajo fuerza la atención hacia la forma visual nociva.
• Jerarquía de Vulnerabilidad de Modos:
  • Más Resistente: Los modos de palabras incrustadas, particularmente las palabras en inglés (L5), fueron los más difíciles de detectar, con una tasa de detección agregada de solo 0.062. Estos modos crean un conflicto de señal dual fuerte donde la semántica a nivel de carácter suprime la percepción de la forma.
  • Más Detectable: Los caracteres de bloque (L1) y los emojis (L6) fueron los más fáciles de detectar (tasas agregadas > 0.40), probablemente debido a su densidad visual o distintividad.
  • Intermedio: Las palabras en chino (L8) mostraron una detectabilidad intermedia (0.206), desempeñándose mejor que las palabras en inglés pero peor que los bloques.
• Heterogeneidad de los Modelos: El rendimiento varió significativamente entre los modelos. Gemini-3-Flash y Kimi-K2.5 demostraron las capacidades de detección más fuertes con umbrales bien definidos. Por el contrario, Mistral-Small-3.2-24B-Instruct falló en detectar contenido nocivo en la mayoría de los modos (tasas cercanas a cero), y Llama-4-Maverick y Nemotron-Nano mostraron un bajo rendimiento base. Grok-4.1-Fast exhibió un patrón único de ser menos sensible a los cambios de resolución que otros modelos.
• Hallazgos de Lenguaje Cruzado: Tras múltiples correcciones de comparación, solo el 4.7% de los estratos mostraron diferencias significativas entre las tasas de detección de inglés y chino, lo que sugiere que la vulnerabilidad de detección por resolución es mayormente agnóstica al idioma.
• Efectos de Origen del Modelo: Se observó un patrón descriptivo de "cruce" en el modo L8 (palabras chinas): los modelos construidos en China superaron a los modelos construidos en Occidente a bajas resoluciones, pero fueron inferiores a altas resoluciones. Los autores hipotetizan que esto se debe a la mayor sensibilidad de los modelos construidos en China hacia el texto en chino, lo que provoca que lean los caracteres de relleno benignos a altas resoluciones, suprimiendo así la señal de afecto negativo. Este efecto no se observó en el modo de palabras en inglés (L5).

Significancia y Reivindicaciones
El artículo afirma identificar una dimensión de vulnerabilidad específica y poco explorada en la moderación de contenido basada en VLM: la resolución. Los hallazgos revelan que la resolución es una variable de primer orden que determina el éxito de la detección, no simplemente un parámetro secundario de calidad de imagen. El estudio establece que:

1. Existe un umbral de fallo de detección consistente por encima del cual los VLM no pueden identificar de manera fiable el arte ASCII nocivo.
2. Los modos de construcción con palabras incrustadas representan un vector de ataque particularmente robusto que los VóLM actuales luchan por contrarrestar, incluso a resolución completa.
3. No existe un único umbral de resolución que se generalice en todos los modelos; los sistemas de moderación deben caracterizar el perfil de vulnerabilidad específico del VLM desplegado.

Los autores declaran explícitamente que este no es un artículo de defensa; no proponen nuevos modelos ni estrategias de mitigación. En su lugar, el trabajo sirve para caracterizar la vulnerabilidad con el fin de motivar el desarrollo de estándares de evaluación conscientes de la resolución y futuras estrategias defensivas, tales como el escalado hacia abajo de las entradas antes de la moderación o el entrenamiento de modelos con arte ASCII escalado hacia abajo.