Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

En el mundo de la inteligencia artificial, que se expande rápidamente, los modelos de lenguaje de gran tamaño se han convertido en propiedad intelectual valiosa, de forma muy similar a una receta secreta o un plano patentado. Debido a que estos modelos son tan valiosos, existe el temor creciente de que actores malintencionados puedan robar el código subyacente, conocido como pesos, engañando al sistema para que revele sus cálculos internos durante el uso normal. Para evitar esto, un investigador ha desarrollado un método de verificación que actúa como un punto de control de seguridad. Este sistema comprueba si las elecciones que hace un modelo al generar texto son consistentes con una clave secreta específica y compartida. El sistema permite una pequeña cantidad de error natural, reconociendo que el hardware informático no es perfectamente preciso y a veces comete errores diminutos y aleatorios al decidir entre dos opciones muy similares. Esta tolerancia integrada al error está destinada a ser una característica de seguridad, asegurando que los usuarios honestos no sean acusados falsamente de violar las reglas cuando su computadora simplemente duda.

Un investigador de la Universidad Tecnológica de Delft probó recientemente la resistencia de este punto de control de seguridad contra un tipo de atacante más astuto. Descubrieron que la red de seguridad del sistema, diseñada para perdonar fallos menores de hardware, podía ampliarse hasta convertirse en una enorme brecha por parte de un adversario que sabe cómo manipular las preguntas planteadas al modelo. El investigador descubrió que, al alimentar al modelo con instrucciones diseñadas para romper las reglas normales del lenguaje y crear confusión, un atacante podía forzar al modelo a mostrar incertidumbre sobre su siguiente palabra. Esta incertidumbre expande la lista de respuestas aceptables que el sistema de seguridad tolerará, convirtiendo efectivamente un camino estrecho y seguro en una autopista ancha para el robo de información. Su trabajo sugiere que la defensa actual, que fue calibrada utilizando la conversación normal y cotidiana, no es lo suficientemente fuerte para detener a un atacante decidido que sabe cómo explotar la propia confusión del modelo.

El núcleo del problema reside en cómo el sistema de seguridad decide qué es un error legítimo y qué es un secreto robado. Cuando un modelo genera texto, calcula la probabilidad de cada posible palabra siguiente. Usualmente, una palabra es claramente la mejor opción y el sistema se aferra a ella. Sin embargo, cuando el modelo no está seguro, dos o más palabras pueden tener puntuaciones casi idénticas. En estos momentos de indecisión, las fluctuaciones diminutas y aleatorias del hardware de la computadora pueden cambiar la elección final de una palabra a otra. El sistema de seguridad fue construido para perdonar estos cambios, asumiendo que son solo ruido inofensivo. El investigador se dio cuenta de que, si un atacante pudiera diseñar una situación en la que el modelo estuviera constantemente inseguro, podría forzar al sistema a aceptar una gama mucho más amplia de resultados. Al hacer esto, el atacante podría codificar datos ocultos en la elección específica de la palabra, utilizando la propia tolerancia al error del sistema como un canal secreto para filtrar información.

Para probar esta teoría, el investigador configuró una serie de experimentos utilizando seis modelos de lenguaje diferentes de varios tamaños, que van desde modelos pequeños de 1.000 millones de parámetros hasta sistemas masivos de 32.000 millones de parámetros. Comenzaron estableciendo una línea base utilizando 150 instrucciones estándar y benignas, similares al tipo de preguntas que un usuario haría a un chatbot en una conversación normal. Bajo estas condiciones, el sistema de seguridad funcionó según lo previsto. La lista de palabras aceptables era casi siempre de una sola opción, lo que significaba que el modelo se veía obligado a ser determinista. En este estado, el sistema ralentizaba cualquier intento de robo de datos por un factor de más de 200 veces, haciendo que el robo fuera prácticamente imposible. Esto confirmó que la defensa era efectiva contra atacantes pasivos que simplemente utilizaban el modelo tal como fue diseñado.

El investigador introdujo entonces tres tipos distintos de ataques adversarios, cada uno diseñado para interrumpir la capacidad del modelo para predecir la siguiente palabra con confianza. El primer tipo, llamado "terso" (terse), utilizó instrucciones muy cortas y de bajo contexto que aislaban la primera palabra de una respuesta. El segundo tipo, "desordenado" (scramble), utilizó listas de elementos no relacionados e instrucciones que rompían las reglas gramaticales normales. El tercer tipo, y el más efectivo, "cifrado" (cipher), utilizó cadenas de caracteres, números y símbolos de diferentes sistemas de escritura que no tenían conexión lógica entre sí. Estas instrucciones fueron diseñadas para confundir la comprensión interna del modelo sobre cómo encajan las palabras, obligándolo a depender del azar en lugar de patrones aprendidos. El investigador generó 150 de estas instrucciones adversarias para cada tipo de ataque y las pasó por los modelos tres veces para asegurar que los resultados fueran consistentes.

Los resultados mostraron un cambio drástico en el rendimiento del sistema. Cuando los modelos fueron alimentados con las instrucciones de "cifrado", que interrumpían al modelo al nivel de caracteres y scripts individuales, la tolerancia al error del sistema de seguridad explotó. En lugar de que la lista de palabras aceptables fuera de un solo elemento, creció significativamente. Esta expansión permitió al atacante extraer aproximadamente el doble de información oculta por palabra en comparación con la línea base benigna. En consecuencia, el factor de ralentización, que había sido una barrera masiva de más de 200 veces, colapsó a entre 60 y 118 veces, dependiendo del modelo específico utilizado. Para los modelos más grandes, la defensa se volvió aproximadamente tres veces menos efectiva de lo que se pensaba originalmente. Las instrucciones "desordenadas" también mostraron un éxito significativo, mientras que las instrucciones "tercas" de hecho hicieron la defensa más fuerte en los modelos más pequeños, causando irónicamente que se volvieran más predecibles y menos propensos a la misma incertidumbre que el atacante intentaba crear.

Estos hallazgos indican que el método de verificación actual es demasiado rígido. Depende de un umbral estático para lo que cuenta como un error aceptable, un umbral que se estableció basándose en cómo se comporta el modelo durante una conversación normal y cortés. El estudio demuestra que este enfoque falla cuando la entrada es diseñada para maximizar la confusión del modelo. El investigador concluye que, para que esta defensa sea verdaderamente segura, el sistema debe ser dinámico. En lugar de usar una regla fija, el verificador necesita medir constantemente qué tan incierto es el modelo en cada paso y ajustar su tolerancia al error en consecuencia. Si el modelo está confundido, el sistema debería endurecer sus reglas; si el modelo está seguro, puede relajarlas. Sin este ajuste dinámico, el punto de control de seguridad sigue siendo vulnerable a un atacante que sabe cómo convertir la propia incertidumbre del modelo en un arma.

Las implicaciones de este trabajo se extienden más allá del método específico probado. Resalta una tensión fundamental en la seguridad de la inteligencia artificial: las defensas que están calibradas para un comportamiento normal a menudo fallan contra adversarios activos e inteligentes que pueden manipular el entorno para romper esas suposiciones. El investigador no afirmó haber roto la tecnología por completo, pero sí demostró que los márgenes de seguridad son mucho más delgados de lo que se creía anteriormente. Probó que, simplemente cambiando la naturaleza de las preguntas realizadas, un atacante puede duplicar la velocidad a la que puede robar los secretos de un modelo. Esto sugiere que los diseños de seguridad futuros no pueden confiar en la suposición de que las entradas serán benignas. Deben estar construidos para resistir el caos específico y calculado que un atacante inteligente puede introducir, asegurando que la tolerancia al error del sistema no se conviera en la misma herramienta que permite su compromiso.