Divergence-based Safety Measure for Large Language Models via Rational Inattention

Resumen Técnico: Medida de Seguridad Basada en la Divergencia para Modelos de Lenguaje de Gran Escala mediante la Desatención Racional

Planteamiento del Problema
La integración de los Modelos de Lenguaje de Gran Escala (LLM) en las canalizaciones de apoyo a la toma de decisiones introduce preocupaciones de seguridad a nivel de sistema, particularmente respecto a las perturbaciones maliciosas de los tokens de entrada que alteran las salidas del modelo e influyen en las decisiones humanas posteriores. Mientras que se demandan medidas de seguridad cuantitativas desde la perspectiva de sistemas y control para apoyar la comparación de modelos, el monitoreo en tiempo de ejecución y el ajuste fino de parámetros, se ha progresado poco en el desarrollo de tales medidas para los LLM. Específicamente, existe la necesidad de una métrica que cuantifique la perturbación máxima de la salida causada por ataques de entrada, asegurando al mismo tiempo que los ataques permanezcan sigilosos para los mecanismos de monitoreo interno.

Metodología
El artículo propone una medida de seguridad basada en la divergencia que cuantifica la divergencia de Kullback–Leibler (KL) máxima entre las distribuciones de salida de un LLM limpio y un LLM sometido a ataques de entrada en los embeddings. La innovación metodológica central radica en la construcción de una "restricción de sigilo" aprovechando la equivalencia entre los mecanismos de atención de los transformers y los modelos de Desatención Racional (RI, por sus siglas en inglés) de la toma de decisiones humana.

1. Marco de Desatención Racional (RI): Los autores revisitan el marco de RI, donde los agentes intercambian la utilidad esperada frente al costo de información de procesar datos. La política de acción óptima en RI se caracteriza por una función softmax derivada de un problema de optimización que involucra la información mutua de Shannon.
2. Conexión Estructural: El artículo establece que los pesos de atención en los transformers (calculados mediante un softmax de producto escalar escalado) comparten la misma forma funcional que la política de acción óptima en el marco de RI. Esto permite la interpretación de la atención del transformer como la solución a un problema de optimización de tipo RI donde el modelo asigna una capacidad limitada de procesamiento de información a los tokens de contexto.
3. Medida de Racionalidad Limitada: Basándose en esta conexión, los autores definen una "medida de racionalidad limitada" por cabeza ($\Delta V^{(m)}(\tau)$). Esta métrica representa la diferencia entre el valor de racionalidad $\tau$-limitada (el valor óptimo del problema de optimización de la atención con un parámetro de temperatura $\tau$) y el valor de racionalidad completa (el límite cuando $\tau \to 0$). Esta medida sirve como una salida de monitoreo interno que indica el "nivel de racionalidad" de la asignación de atención del LLM.
4. Formulación de la Medida de Seguridad: La medida de seguridad propuesta se formula como un problema de optimización: maximizar la divergencia KL entre las distribuciones de salida limpia y atacada, sujeto a dos restricciones:
   • Restricción de Energía: La energía total de las señales de ataque inyectadas en los tokens de embedding está acotada ($\sum \|\zeta_i\|^2 \leq \rho$).
   • Restricción de Sigilo: La suma ponderada de las medidas de racionalidad limitada en todas las cabezas de atención debe permanecer por debajo de una tolerancia de confianza especificada ($\epsilon_T$). Esto asegura que el ataque no altere significativamente la señal de monitoreo basada en la atención interna del modelo.

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Correspondencia Estructural: Demuestra que los pesos de atención de los transformers son la solución única a un problema de optimización de tipo RI, estableciendo un vínculo formal entre los mecanismos de los LLM y los modelos de toma de decisiones de racionalidad limitada.
2. Medida de Racionalidad Limitada por Cabeza: Introduce una nueva métrica derivada del marco de RI para cuantificar la racionalidad de las asignaciones de atención en los LLM.
3. Medida de Seguridad Basada en la Divergencia: Utiliza la medida de racionalidad limitada como una salida de monitoreo para definir una métrica de seguridad que cuantifica el desplazamiento máximo de la salida sigilosa. El artículo también analiza "ataques perfectamente indetectables" (ataques que no alteran la salida de monitoreo) y deriva un límite superior para la medida de seguridad utilizando un argumento de divergencia de Bregman, asumiendo que el mapa de puntuación de salida es Lipschitz continuo.

Resultados Experimentales
La medida propuesta fue evaluada en dos modelos de lenguaje causales preentrenados: GPT-2 y GPT-Neo-125M.

• Configuración: Se utilizó una tarea de predicción de candidatos controlada donde las oraciones ambiguas requerían predecir el siguiente token (un adjetivo) a partir de un conjunto restringido. Los ataques se generaron utilizando el ascenso de gradiente proyectado para maximizar la divergencia KL de la distribución de salida mientras se cumplían las restricciones de energía y sigilo.
• Hallazgos: Los experimentos revelaron perfiles de seguridad distintos para los dos modelos. GPT-2 exhibió varios ataques de alta divergencia que permanecieron dentro de la región de sigilo (satisfaciendo la tolerancia de confianza), mientras que los ataques de alto impacto en GPT-Neo-125M generalmente resultaron en residuos de monitoreo más grandes. Esto demuestra que la medida propuesta puede distinguir eficazmente entre perfiles de seguridad de modelos bajo presupuestos de ataque y tolerancias de confianza idénticos.

Significancia y Reivindicaciones
El artículo afirma que este trabajo llena un vacío en el desarrollo de medidas de seguridad cuantitativas para los LLM desde la perspectiva de sistemas y control. Al interpretar la atención del transformer a través del lente de la desatención racional, los autores proporcionan un mecanismo fundamentado para construir salidas de monitoreo internas. La medida de seguridad basada en la divergencia propuesta ofrece una forma de cuantificar la vulnerabilidad de los LLM ante ataques de entrada en los embeddings que sean sigilosos. Los autores posicionan esta contribución como un paso hacia el equipamiento de los LLM con medidas de desempeño interpretables análogas a las medidas de robustez, resiliencia y seguridad encontradas en los sistemas de control tradicionales. El trabajo no pretende resolver todos los problemas de seguridad de los LLM, sino que proporciona una métrica específica para distinguir perfiles de seguridad de modelos y analizar los impactos máximos sigilosos.