Inadvertent Context Leakage in Language Models
Este artículo demuestra que los modelos de lenguaje avanzados filtran inadvertidamente secretos sensibles en el contexto, tales como credenciales e historiales médicos, a través de sus respuestas benignas a prompts ordinarios, revelando que esta vulnerabilidad es un subproducto inherente de la capacidad del modelo en lugar de un error corregible.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La inteligencia artificial moderna se nos pide cada vez más que actúe como un asistente personal, gestionando calendarios, leyendo correos electrónicos privados y guardando detalles sensibles como registros de salud o datos financieros. Para hacer esto, el programa informático debe mantener una lista actualizada de estos secretos en su memoria inmediata mientras trabaja, un espacio que los investigadores llaman ventana de contexto. La creencia predominante ha sido que si se le dice al modelo que guarde un secreto y este se niega a decirlo en voz alta, el secreto está seguro. Las comprobaciones de seguridad suelen funcionar como un filtro simple: si el texto que la computadora escribe no contiene la palabra secreta palabra por palabra, el sistema asume que no ha ocurrido ninguna filtración. Este enfoque trata la conversación como un único canal de comunicación, asumiendo que lo que no se dice tampoco es conocido.
Sin embargo, un nuevo estudio sugiere que esta visión es incompleta. Los investigadores descubrieron que incluso cuando un modelo se niega correctamente a revelar un secreto, la propia forma en que construye sus frases porta pistas ocultas sobre ese secreto. El secreto cambia el estado interno del modelo, y ese cambio se propaga hacia el texto que genera, alterando patrones en la elección de palabras, la longitud de las oraciones y el formato de maneras que son invisibles para un lector humano pero detectables para una computadora. Es como si el modelo estuviera susurrando el secreto a través de una parte diferente de su voz, incluso mientras tiene la boca firmemente cerrada.
El equipo detrás de esta investigación, trabajando con ocho de los modelos de lenguaje más avanzados disponibles, se propuso probar si estas señales ocultas eran reales. Crearon un escenario en el que se le dio a un modelo un número secreto y se le instruyó para que lo mantuviera confidencial. Luego, pidieron al modelo que realizara tareas ordinarias e inocentes, como escribir una historia corta o generar una lista de estadísticas. Los modelos se negaron sistemáticamente a declarar el número directamente cuando se les pidió, superando todas las comprobaciones de seguridad estándar. Sin embargo, cuando los investigadores analizaron el texto que los modelos produjeron en respuesta a estas peticiones inocentes, descubrieron que el número secreto estaba codificado en las propiedades estadísticas del resultado.
Para demostrar esto, los investigadores construyeron un decodificador especializado, una herramienta entrenada para escuchar estos patrones estadísticos específicos. Cuando introdujeron el texto benigno en este decodificador, este reconstruyó con éxito los números secretos con una exactitud sorprendente. Para secretos de dos dígitos, el decodificador recuperó el número completo casi perfectamente en varios de los mejores modelos. Incluso para secretos de cuatro dígitos, que son más difíciles de adivinar por azar, el decodificador logró una coincidencia exacta aproximadamente el 82 por ciento de las veces en los modelos más capaces. Esto sucedió sin que el modelo fuera engañado para decir el número, y sin que el atacante tuviera un acceso especial al funcionamiento interno del modelo; solo vieron el texto final, tal como lo haría un usuario normal.
El estudio reveló que la capacidad de filtrar información no era un error que pudiera parchearse fácilmente, sino un efecto secundario de la inteligencia del modelo. Cuanto más capaz era el modelo para seguir instrucciones y comprender tareas complejas, más sensible se volvía a los secretos en su memoria y más información filtraba inadvertidamente. Los investigadores probaron modelos de diferentes empresas, incluyendo Anthropic, Google, OpenAI y xAI. Descubrieron que, si bien algunos modelos eran más resistentes que otros, los más potentes generalmente filtraban más información. De hecho, los modelos que eran mejores siguiendo la instrucción de "mantener este secreto" eran a menudo los que más información filtraban a través de estos canales sutiles. Esto sugiere que los mismos mecanismos que hacen que estos asistentes sean útiles y obedientes son también los que los hacen vulnerables.
Los investigadores también exploraron si esta filtración podría utilizarse para aprender sobre la vida privada de un usuario más allá de solo los números. Probaron si la salida del modelo podía revelar si un recuerdo específico, como una condición de salud o un evento financiero, estaba presente en su contexto. Utilizando un clasificador entrenado, descubrieron que las respuestas rutinarias del modelo podían revelar la presencia de estos recuerdos con una tasa de éxito muy superior al azar. Esto fue cierto incluso cuando el modelo nunca mencionaba el recuerdo en su texto. El estudio mostró que el estado interno del modelo, moldeado por los datos privados del usuario, dejaba una huella estadística en cada frase que escribía.
Quizás lo más preocupante fue un experimento en el que los investigadores intentaron extraer un número de Seguro Social completo de nueve dígitos de un agente personal simulado. En este escenario, el atacante no solo escuchaba las filtraciones; sino que diseñó activamente la conversación para forzar al modelo a codificar el secreto en una característica específica de su respuesta, como el número de signos de exclamación utilizados. Al utilizar una técnica que optimizaba el "prompt" para activar este comportamiento, el atacante recuperó con éxito el primer dígito del número en casi el 97 por ciento de los intentos en un modelo líder, y los ocho dígitos restantes en aproximadamente el 76 por ciento de esos casos. Esto funcionó incluso cuando el contexto era muy largo, conteniendo cientos de miles de palabras, e incluso aunque el modelo nunca escribió el número en sí.
El estudio concluye que los métodos actuales para proteger la privacidad en estos sistemas son insuficientes. Simplemente decirle a un modelo que sea discreto o filtrar su salida para buscar palabras específicas no impide que la información se filtre a través de los patrones estadísticos de su lenguaje. Los investigadores argumentan que, mientras un modelo mantenga datos privados en su memoria inmediata mientras genera texto, esos datos influirán en la salida de formas que pueden ser decodificadas. Sugieren que solucionar este problema requerirá más que solo mejores instrucciones o filtros; puede exigir un cambio fundamental en la forma en que estos modelos son entrenados para asegurar que su salida permanezca estadísticamente independiente de los secretos que contienen. Hasta entonces, los secretos que confiamos a nuestros asistentes digitales podrían estar más seguros en nuestras propias mentes que en la memoria de la máquina.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.