Resumen Técnico: Evaluación de la Robustez Adversaria de las Representaciones de Conceptos en Autoencoders Dispersos

Declaración del Problema

Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) han emergido como una herramienta primordial para la interpretabilidad mecánica, mapeando las activaciones densas internas de los Modelos de Lenguaje de Gran Escala (LLMs) hacia representaciones de conceptos dispersas y humanas interpretables. Si bien las evaluaciones existentes de los SAEs se centran en las compensaciones entre reconstrucción y dispersión, la interpretabilidad humana y el desenredo de características, pasan por alto en gran medida una dimensión crítica: la robustez ante perturbaciones de entrada.

Las evaluaciones actuales suelen asumir entradas estáticas, coherentes y no perturbadas. Sin embargo, en contextos adversarios —donde el proveedor de la explicación y el consumidor pueden tener objetivos conflictivos— las representaciones de los SAEs podrían ser vulnerables. Si un adversario puede diseñar perturbaciones mínimas en la entrada que manipulen las activaciones del SAE sin alterar significativamente el comportamiento base del LLM, la fidelidad del etiquetado de conceptos se ve comprometida. Esto plantea preocupaciones sobre la fiabilidad de los SAEs para el monitoreo de modelos, la supervisión de seguridad y otras aplicaciones de la downstream que dependen de representaciones de conceptos estables.

Metodología

Marco Teórico

Los autores formalizan la robustez de los SAE como problemas de optimización en el espacio de entrada. Postulan un mapeo de concepto de "verdad fundamental" $f_c$ desde el espacio de entrada $X$ hacia un espacio de conceptos semánticos $C$. La robustez se define por la preservación de la alineación entre el espacio latente disperso aprendido $Z$ y $C$ bajo perturbaciones adversarias.

El supuesto central es que el mapeo de verdad fundamental es bi-Lipschitz, lo que significa que los cambios pequeños en las secuencias de tokens de entrada (medidos por la distancia de Levenshtein) corresponden proporcionalmente a cambios pequeños en los conceptos semánticos. Esto permite que la búsqueda de ejemplos adversarios se realice directamente en el espacio de entrada $X$ en lugar del hipotético espacio de conceptos $C$.

El marco de evaluación define la robustez a través de dos objetivos de optimización:

1. No dirigido (Untargeted): Maximizar la distancia entre la activación original del SAE $z_1$ y la activación perturbada $z'_1$ dada una distancia de edición de entrada acotada.
2. Dirigido (Targeted): Minimizar la distancia entre la activación perturbada $z'_1$ y una activación objetivo $z_2$ (de una entrada semánticamente no relacionada) manteniendo acotada la perturbación de la entrada.

Dimensiones de Evaluación

Los autores proponen un marco estructurado que combina tres dimensiones binarias para definir ocho escenarios adversarios distintos:

1. Objetivo Semántico: No dirigido (alterar las activaciones del SAE en general) vs. Dirigido (dirigir las activaciones hacia una entrada no relacionada específica).
2. Objetivo de Activación:
   • Nivel de Población: Manipular el conjunto de los latentes con mayor activación (top-$k$), medido por la relación de superposición de conceptos.
   • Nivel Individual: Activar o desactivar una característica específica del SAE, medido por cambios en el rango binario.
3. Modo de Perturbación: Cambios mínimos en la entrada, específicamente reemplazar un solo token o añadir un sufijo de un solo token.

Algoritmo de Ataque

Para resolver estos problemas de optimización, los autores adaptan el algoritmo Greedy Coordinate Gradient (GCG), diseñado originalmente para la optimización de prompts en LLMs. Dado que las métricas de distancia en el espacio latente disperso no son diferenciables, el método emplea un enfoque híbrido:

• Cómputo de Gradientes: Los gradientes se computan utilizando funciones de pérdida diferenciables (por ejemplo, similitud de coseno, log-verosimilitud) sobre el espacio de representación continuo del SAE.
• Selección de Candidatos: Los candidatos adversarios se generan y evalúan utilizando las métricas de distancia originales no diferenciables (por ejemplo, relación de superposición de conceptos, estado de activación binario) en el espacio de entrada discreto.

Contribuciones Clave

1. Identificación de una Brecha Crítica: El artículo identifica la robustez como una dimensión fundamental, aunque poco explorada, en la evaluación de los SAE, argumentando que las representaciones de conceptos deben ser estables bajo perturbaciones de entrada para ser consideradas fiables.
2. Marco de Evaluación Integral: Los autores introducen un marco teóricamente fundamentado que define la robustez de los SAE a través de objetivos semánticos y de activación, permitiendo pruebas sistemáticas de vulnerabilidades adversarias.
3. Metodología de Ataque Generalizada: Proponen un algoritmo de ataque a nivel de entrada generalizado, adaptado de GCG, capaz de generar entradas adversarias que manipulan las interpretaciones de los SAE.
4. Evidencia Empírica de Fragilidad: Experimentos extensos en múltiples LLMs de código abierto (Gemma2, Llama3), arquitecturas de SAE (JumpReLU, Top-K) y conjuntos de datos demuestran que las representaciones de conceptos de los SAE son altamente frágiles.

Resultados Experimentales

Los autores evaluaron su marco en Gemma2-2B, Gemma2-9B y Llama3-8B con diversas anchuras y capas de SAE, utilizando conjuntos de datos que incluyen AdvBench, AG News, SST2 y un conjunto de datos generado de "Arte y Ciencia".

• Altas Tasas de Éxito: Pequeñas perturbaciones adversarias (a menudo el reemplazo de un solo token) manipulan eficazmente las interpretaciones basadas en conceptos.
  • Nivel de Población: Los ataques no dirigidos redujeron con éxito la superposición de conceptos entre la entrada original y la perturbada a aproximadamente un 20–30%, mientras que los ataques dirigidos aumentaron la superposición con un objetivo no relacionado a aproximadamente un 50–60%.
  • Nivel Individual: Más del 60% de las latencias SAE seleccionadas fueron manipulables en entornos dirigidos. En escenarios de desactivación, las tasas de éxito alcanzaron aproximadamente el 90%.
• Desacoplamiento de la Robustez del LLM: Crucialmente, las sondas lineales entrenadas en los estados ocultos del LLM base mantuvieron una alta precisión (>90%) en la detección de conceptos semánticos (por ejemplo, daño, sentimiento, tema) incluso después de las perturbaciones adversarias. Esto indica que la representación semántica interna del LLM permanece estable, mientras que el mapeo del SAE hacia los conceptos es el punto de falla.
• Vulnerabilidad No Adversaria: Incluso las perturbaciones no adversarias, como reemplazar una palabra por un sinónimo, redujeron la superposición de conceptos en aproximadamente un 30%, lo que sugiere una fragilidad inherente más allá de los ataques maliciosos.
• Transferibilidad: Los ataques se transfirieron entre diferentes modelos (por ejemplo, de Gemma2 a Llama3), mostrando una degradación en el rendimiento pero manteniéndose efectivos, lo que indica una vulnerabilidad general en la interpretación basada en SAE.

Significado y Reivindicaciones

El artículo concluye que las representaciones de conceptos de los SAE son frágiles y que, sin un mayor proceso de eliminación de ruido o post-procesamiento, pueden no ser adecuadas para aplicaciones que requieren alta fiabilidad, como el monitoreo de modelos y la supervisión de seguridad.

• Implicaciones para la Interpretabilidad: Los hallazgos desafían la suposición de que los latentes de los SAE proporcionan una visión monosemántica y estable de los internos del modelo. Si un adversario puede alterar fácilmente el "concepto" que un SAE reporta sin cambiar la salida real del modelo o su comprensión semántica, la confiabilidad de estas explicaciones se ve comprometida.
• Direcciones Futuras: Los autores argumentan que la robustez debe ser un componente central de la agenda de evaluación de los SAE. Sugieren que el trabajo futuro debería centrarse en desarrollar métodos para eliminar el ruido de las activaciones de los SAE e aislar señales fiables. Además, postulan que estas vulnerabilidades probablemente se extienden a otros enfoques inspirados en SAE, como los transcodificadores y crosscodificadores, destacando la necesidad de objetivos conscientes de la robustez en la investigación de la interpretabilidad mecánica.

El artículo no afirma que los SAE sean inútiles, sino que su despliegue actual en entornos adversarios o de alto riesgo es peligroso sin abordar estos problemas de estabilidad. El marco propuesto sirve como una herramienta de diagnóstico para identificar y filtrar interpretaciones no robustas.