Resumen Técnico: Autoencoders Esparsos Regularizados por Grafos para la Dirección de Seguridad en Modelos de Lenguaje Grande

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) poseen capacidades sólidas, pero siguen siendo vulnerables a prompts adversarios y jailbreaks que provocan generaciones dañinas. Los mecanismos de seguridad efectivos deben equilibrar dos requisitos competitivos: bloquear de manera fiable las salidas dañinas mientras se preserva la utilidad en consultas benignas y de doble uso.

Las defensas actuales enfrentan limitaciones significativas:

• Guardarraíles de caja negra (por ejemplo, filtrado de prompts, clasificadores de salida) operan fuera del cálculo interno del modelo, lo que los hace frágiles ante cambios de distribución y carece de robustez adaptativa.
• Métodos basados en el interior (por ejemplo, adiciones de activación, direcciones de rechazo) intervienen directamente sobre las representaciones ocultas. Sin embargo, muchos de estos enfoques, incluidos los Autoencoders Esparsos (SAE) estándar, tratan las características latentes como independientes. Esta prior de independencia se ajusta mal a comportamientos de seguridad de alto nivel como el rechazo y la complacencia dañina, los cuales, según estudios recientes, dependen de estructuras distribuidas y no lineales en el espacio de activación, en lugar de ejes semánticos aislados.

El problema central abordado es que los SAE estándar pueden fragmentar conceptos de seguridad coherentes a través de características débilmente alineadas, reduciendo la estabilidad y la eficacia de las direcciones de dirección derivadas de ellos.

2. Metodología

Los autores proponen Autoencoders Esparsos Regularizados por Grafos (GSAE), un marco que aprende direcciones de dirección de seguridad más suaves y estructuralmente coherentes incorporando la topología de las coactivaciones de neuronas. El método consta de tres fases:

2.1 Entrenamiento Regularizado por Grafos (GSAE)

Los autores extienden el objetivo estándar del SAE añadiendo una penalización de suavidad Laplaciana sobre un grafo de coactivación de neuronas.

• Construcción del Grafo: Se construye un grafo no dirigido $G=(V, E)$ donde los nodos representan neuronas en una capa objetivo. Los pesos de las aristas se definen por la similitud del coseno umbralizada de los perfiles de activación de las neuronas a través de un conjunto retenido de prompts etiquetados como de seguridad.
• Función Objetivo: La pérdida de entrenamiento combina el error de reconstrucción, la esparsidad ($L_1$), la pérdida de clasificación supervisada (mediante una sonda lineal) y el nuevo término de regularización de grafo:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  Aquí, $L$ es el Laplaciano normalizado simétrico del grafo de coactivación. El término del grafo penaliza las direcciones del decodificador que varían bruscamente a través de neuronas que se coactivan fuertemente, sesgando el diccionario aprendido hacia modos propios de baja frecuencia que respetan la estructura distribuida de los patrones relevantes para la seguridad.

2.2 Construcción del Banco de Dirección

No todas las características aprendidas son adecuadas para la dirección. Los autores construyen un "banco de dirección" curado puntuando las direcciones del decodificador contra tres criterios independientes:

1. Coherencia Estructural ($s_{coh}$): Mide la suavidad de una dirección en el grafo de neuronas (baja energía de Dirichlet).
2. Relevancia Predictiva ($s_{rel}$): La magnitud del coeficiente en la sonda lineal entrenada para predecir etiquetas de seguridad.
3. Eficacia de Intervención ($s_{eff}$): El cambio real en el comportamiento del modelo (reducción de daño vs. rechazo excesivo) cuando se aplica la dirección.

Las direcciones se puntúan utilizando una media geométrica ponderada de estas métricas. Solo las direcciones que funcionan bien en los tres aspectos se retienen en el banco final.

2.3 Dirección en Tiempo de Ejecución con Controlador de Dos Puertas

Para evitar la degradación del rendimiento en tareas benignas, GSAE emplea una canalización de dirección selectiva con dos puertas:

• Puerta de Entrada: Evalúa la puntuación de riesgo a nivel de prompt antes de la generación. Si el riesgo es alto, desencadena un rechazo inmediato; si es bajo, la generación procede sin dirección.
• Puerta de Continuación: Monitorea el riesgo a nivel de token durante la generación. Activa la dirección solo cuando el riesgo supera un umbral alto y la desactiva solo cuando el riesgo cae por debajo de un umbral bajo (utilizando histéresis para evitar conmutaciones inestables).
• Intervención: Cuando está activa, el controlador aplica un desplazamiento correctivo a los estados ocultos restando una suma ponderada de las direcciones del banco de dirección, escaladas por su alineación con el estado oculto actual.

3. Contribuciones Clave

1. Objetivo GSAE: Introducción de un objetivo de SAE regularizado por grafos que impone suavidad sobre un grafo de coactivación de neuronas, abordando la limitación de los priores de independencia en los SAE estándar.
2. Canalización de Dirección Selectiva: Desarrollo de un método de construcción de banco multicriterio (coherencia, relevancia, eficacia) combinado con un controlador en tiempo de ejecución de dos puertas (entrada y continuación) para garantizar una intervención selectiva.
3. Aislamiento Empírico: Estudios de ablación controlados que demuestran que la regularización por grafos mejora específicamente la calidad de las direcciones de intervención derivadas de SAE, distinto de los beneficios de la puerta aguas abajo o la construcción del banco.

4. Resultados Experimentales

El método se evaluó principalmente en Llama-3-8B-base, con validación cruzada de modelos en Mistral 7B, Qwen 2.5 14B y Phi-4 15B.

• Rendimiento de Seguridad: En JailbreakBench, reemplazar un SAE estándar con GSAE (en una canalización idéntica en lo demás) mejoró la puntuación de rechazo selectivo ($\Delta s = HRR - SRR$) en 20.1 puntos (de 58.8% a 78.9%). Se observaron ganancias similares en HarmBench (+16.8 puntos) y XSTest.
• Comparación con Líneas Base: GSAE superó a las líneas base de dirección de activación (por ejemplo, CAA, SafeSwitch) y a los guardarraíles de caja negra (por ejemplo, Llama Guard entrada+salida) mientras mantenía un rendimiento comparable o mejor.
• Preservación de Utilidad: El método preservó el rendimiento en tareas benignas, con solo una caída promedio modesta (4.2 puntos) en las pruebas de utilidad (TriviaQA, GSM8K, TruthfulQA) en comparación con la línea base sin dirección.
• Generalización: Las ganancias de rendimiento se transfirieron a diferentes arquitecturas de modelos (Mistral, Qwen, Phi).
• Robustez: GSAE se mantuvo fuerte bajo ataques de jailbreak de caja negra (AutoDAN, TAP) y caja gris (GCG). Sin embargo, bajo una prueba de estrés de caja blanca consciente de la dirección (donde el atacante tiene acceso a los vectores del banco y los umbrales de puerta), la robustez se degradó, con la Tasa de Rechazo Dañino (HRR) cayendo al 51.9%.
• Análisis de Mecanismos: Las sondas diagnósticas indicaron que GSAE activa trayectorias de rechazo explícitas en lugar de simplemente desplazar los estados ocultos hacia una región con apariencia benigna (desplazamiento al centroide seguro).

5. Significado y Afirmaciones

El artículo afirma que la regularización por grafos es un sesgo inductivo crítico para aprender direcciones de dirección de seguridad a partir de SAE. El hallazgo principal es que los comportamientos de seguridad en los LLM son distribuidos y no lineales; imponer suavidad estructural sobre las neuronas que se coactivan evita la fragmentación de conceptos de seguridad, lo que conduce a direcciones de intervención más efectivas.

Los autores enfatizan que su contribución es controlada y funcional: aíslan la mejora específica obtenida del término de grafo bajo una canalización aguas abajo coincidente. No afirman haber descubierto la circuitería mecánica completa del rechazo, sino más bien que las direcciones regularizadas por grafos proporcionan una base superior para la dirección selectiva.

El trabajo destaca un compromiso práctico de implementación: el controlador completo de dos puertas ofrece precisión a nivel de token a un costo de latencia modesto, mientras que una variante solo con puerta de entrada retiene gran parte de la ganancia de seguridad con una menor sobrecarga. Los autores reconocen limitaciones, señalando que el método requiere acceso a estados ocultos (modelos de pesos abiertos), depende de un grafo de coactivación fijo que puede no adaptarse a cambios de distribución, y es vulnerable a ataques de caja blanca que exponen los internos de la dirección.