`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

En los últimos años, la inteligencia artificial ha aprendido a hablar. Estos sistemas, conocidos como modelos de lenguaje extensos, han pasado de leer y escribir texto a comprender y generar el habla humana. Impulsan los asistentes de voz en nuestros coches, los bots de atención al cliente en nuestros teléfonos y los nuevos agentes conversacionales que pueden escuchar una historia y responder preguntas sobre ella. Para hacer que estas máquinas sean seguras, los desarrolladores construyen barreras digitales diseñadas para rechazar petificaciones dañinas, como instrucciones sobre cómo construir un arma o cómo acosar a alguien. Para los sistemas basados en texto, los investigadores saben desde hace tiempo que las preguntas astutamente formuladas pueden engañar a estas barreras para que rompan sus reglas. Sin embargo, a medida que estos modelos ganan la capacidad de oír y hablar, surge una nueva pregunta: ¿puede una voz, en lugar de solo palabras, eludir estas mismas medidas de seguridad?

Un equipo de investigadores de la Universidad de Sídney, la Universidad de Chicago y la Universidad de Texas en San Antonio se propuso responder a esta pregunta probando la seguridad de la IA moderna habilitada para la voz. Se centraron en dos formas diferentes en las que se construyen estos sistemas. El primer método, llamado canalización en cascada, funciona como una carrera de relevos: una computadora primero escucha la voz y la transcribe como texto, luego un cerebro basado en texto separado lee ese texto y decide qué decir, y finalmente, un sintetizador de voz pronuncia la respuesta. El segundo método, conocido como modelo de extremo a extremo (end-to-end), se salta el paso intermedio por completo. Escucha las ondas sonoras puras y procesa el significado y la voz juntos en un sistema único y unificado. Los investigadores querían saber si ambas arquitecturas, tan diferentes entre sí, podían ser engañadas para que ignoraran sus reglas de seguridad cuando se les hablaba, y si era posible hacerlo de forma automática sin ayuda humana.

Los investigadores desarrollaron un nuevo marco de prueba que actúa como un explorador automatizado. En lugar de elaborar manualmente cientos de diferentes comandos de voz, construyeron un sistema que aprende de sus propios errores. El proceso comienza con una lista de preguntas dañinas que la IA nunca debería responder. El sistema primero envuelve estas preguntas peligrosas dentro de una historia inofensiva o un escenario de juego de roles, una técnica que llaman "ataque de flanqueo". Al esconder la petición dañina dentro de una larga lista de preguntas inocentes sobre la vida cotidiana o tramas de películas de ficción, el sistema espera reducir las defensas de la IA. Una vez preparado el texto, el sistema lo convierte en voz utilizando un sintetizador de voz estándar.

Aquí es donde comienza la experimentación real. El sistema no solo reproduce el habla una vez. Toma el audio y lo distorsiona deliberadamente de formas específicas para ver cómo reacciona la IA. Añade ruido de fondo, como el zumbido de una calle concurrida o el sonido del viento. Cambia la velocidad de la voz, haciendo que hable un poco más rápido o más lento. Incluso añade ecos, simulando el sonido de una voz rebotando en las paredes de una habitación grande. El sistema reproduce entonces estos clips de audio distorsionados ante la IA objetivo. Si la IA se niega a responder, el sistema anota el fallo. Si la IA acepta accidentalmente la petición dañina, el sistema registra el éxito.

Crucialmente, el sistema utiliza estos resultados para mejorar su siguiente intento. Si añadir ruido ayudó a que el ataque tuviera éxito, el sistema aprende a usar más ruido. Si cambiar la velocidad funcionó mejor, se concentra en ello. También reescribe el texto de la pregunta, probando diferentes formas de decir lo mismo sin cambiar el significado. Este ciclo de prueba, aprendizaje y refinamiento ocurre de forma automática y repetida. Los investigadores probaron este enfoque en seis sistemas de IA diferentes, que van desde productos comerciales conocidos hasta modelos de código abierto. Realizaron miles de estas pruebas automatizadas, cubriendo veintiuna categorías diferentes de peticiones dañinas, desde el fraude hasta actividades ilegales.

Los resultados fueron impactantes. Los investigadores descubrieron que ambos tipos de sistemas —el estilo de carrera de relevos y el estilo unificado de extremo a extremo— eran altamente vulnerables a estos ataques basados en la voz. El marco automatizado fue capaz de engañar a la IA para que violara sus reglas de seguridad en la gran mayoría de los casos. Para el sistema más vulnerable probado, el ataque tuvo éxito en más del noventa y seis por ciento de las veces. Incluso los sistemas que se consideraban más robustos fallaron al bloquear los ataques en más del setenta y cinco por ciento de los ensayos. El estudio demostró que la combinación de esconder la intención dañina en una historia y luego distorsionar la voz fue mucho más efectiva que intentar engañar a la IA solo con las palabras o solo con el sonido.

Los investigadores también probaron qué sucede cuando el ataque no se reproduce a través de un archivo informático, sino que se habla en voz alta en una habitación real y se graba con un micrófono. Esto se conoce como un ataque "over-the-air" (por el aire), y presenta problemas del mundo real como el parloteo de fondo y la calidad del micrófono. A pesar de estos obstáculos adicionales, el marco automatizado siguió siendo efectivo. Los sistemas siguieron cayendo en los trucos, con tasas de éxito que se mantuvieron altas incluso cuando el audio tenía que viajar por el aire y ser capturado por un dispositivo. Esto sugiere que la vulnerabilidad no es solo una peculiaridad de los archivos digitales, sino una debilidad fundamental en la forma en que estos modelos procesan el lenguaje hablado.

El estudio también analizó qué trucos específicos funcionaban mejor. Descubrieron que los ataques más exitosos a menudo implicaban cambiar la redacción de la pregunta para que fuera más compleja o añadir ruido de fondo realista. Sorprendentemente, el simple hecho de acelerar o ralentizar la voz era menos efectivo por sí solo, pero ayudaba cuando se combinaba con otros cambios. El sistema aprendió que la mejor manera de romper las barreras era mantener intacto el significado dañino mientras se hacía que el sonido y las palabras parecieran lo suficientemente diferentes como para confundir a los filtros de seguridad.

Este trabajo resalta una brecha significativa en la seguridad actual de la IA de voz. Mientras que los desarrolladores han pasado años endureciendo los sistemas basados en texto contra prompts ingeniosos, la adición de la voz ha abierto una nueva puerta que permanece mayormente desprotegida. Los investigadores demostraron que un sistema automatizado puede encontrar y explotar sistemáticamente estas debilidades sin necesidad de conocer el código interno de la IA. No encontraron una única solución mágica que rompa todos los sistemas, sino que mostraron que un enfoque flexible y de aprendizaje puede eludir consistentemente las protecciones actuales. Los hallazgos sugieren que, a medida que las interfaces de voz se vuelven más comunes, las medidas de seguridad para estos sistemas deben evolucionar para manejar no solo lo que se dice, sino cómo se dice y cómo suena. El estudio concluye que, sin estas mejoras, la promesa de una IA conversacional segura puede permanecer fuera de nuestro alcance.