Resumen Técnico: Circuitos de Rechazo Universales en LLMs

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) alineados exhiben frecuentemente un "comportamiento de rechazo", declinando responder a clases específicas de prompts de una manera estilizada. Aunque investigaciones previas han identificado que el rechazo puede ser modulado mediante intervenciones de bajo rango en las representaciones internas, las ediciones ingenuas suelen causar "daños colaterales", incluyendo la pérdida de capacidades, deriva de estilo y cambios de comportamiento no deseados debido al entrelazamiento polisemántico.

La pregunta mecánica central abordada por este artículo es: ¿Son los circuitos de rechazo universales entre los LLMs? Específicamente, ¿puede un circuito de rechazo extraído de un modelo "donante" transferirse a un modelo "objetivo" (potencialmente con diferentes arquitecturas, escalas o regímenes de entrenamiento) para atenuar el rechazo sin utilizar ninguna supervisión específica de rechazo en el modelo objetivo? Los autores tratan la ablación del rechazo como una herramienta de medición para la universalidad del circuito en lugar de una recomendación de despliegue.

2. Metodología: Replay de Trayectoria mediante la Reconstrucción de la Base de Conceptos

El marco propuesto, Trajectory Replay (Replay de Trayectoria), transfiere las intervenciones de rechazo de un donante a un objetivo reconstruyendo la composición semántica del rechazo utilizando un vocabulario compartido de "átomos de conceptos". El proceso opera bajo un presupuesto de información estricto ($B_0$), donde el modelo objetivo nunca es expuesto a prompts dañinos o etiquetas de rechazo.

La metodología consta de cuatro etapas:

Etapa 1: Alineación de la Capa Semántica

Para mapear la trayectoria de rechazo del donante al objetivo, las capas se alinean basándose en la estructura de correlación de los átomos de conceptos en lugar del índice de la capa.

• Registro de Átomos de Conceptos (CAR): Un conjunto compartido de direcciones computadas a partir de conjuntos de prompts disjuntos que representan conceptos específicos (p. ej., "Engaño", "Alerta de Seguridad"). Estos sirven como un vocabulario compartido entre modelos.
• Huellas Dactilares de Gram (Gram Fingerprints): Se computa la estructura de correlación (matriz de Gram) de los átomos de conceptos para cada capa.
• Dynamic Time Warping (DTW): Las capas del donante se mapean a las capas del objetivo minimizando la distancia entre sus huellas de Gram. Esto asegura la monotonicidad y continuidad, evitando artefactos de permutación de capas y acomodando diferencias arquitectónicas (p. ej., Dense vs. MoE).

Etapa 2: Reconstrucción de la Base de Conceptos

La dirección de rechazo se descompone en una "receta" de átomos de conceptos en el donante y se reconstruye en el objetivo.

• Descomposición del Donante: Se extrae una dirección de rechazo "limpia" ($r_{D, clean}$) del donante (usando Surgical Refusal Ablation, SRA) y se expresa como una mezcla lineal de átomos de conceptos del donante ($A_D$) mediante regresión ridge para hallar los coeficientes $w$.
• Reconstrucción del Objetivo: El mismo vector de coeficientes $w$ (la "receta") se aplica a los átomos de conceptos del objetivo ($A_T$) para reconstruir una dirección de rechazo del objetivo: $\tilde{r}_T = A_T w$. Esto operacionaliza la hipótesis de que el rechazo es una mezcla estable sobre átomos de conceptos compartidos.

Etapa 3: Guardia de Estabilidad Weight-SVD

Para evitar que la intervención dañe las capacidades fundamentales, la dirección reconstruida se proyecta lejos de los subespacios de alta varianza de las matrices de pesos.

• Racional: Se hipotetiza que las capacidades fundamentales (sintaxis, lógica) residen en los componentes principales de alta varianza de las matrices de pesos, mientras que las inhibiciones semánticas específicas (rechazo) existen en subespacios de menor rango.
• Implementación: La dirección de la intervención se proyecta sobre el espacio nulo de los $k$ vectores singulares derechos superiores de la matriz de pesos editada. El umbral $k$ se selecciona para mantener la degradación en la perplejidad benigna (en un conjunto de validación como WikiText) por debajo de un umbral predefinido (p. ej., <1%).

Etapa 4: Replay

La dirección reconstruida y estabilizada se aplica como una actualización de supresión de rango uno a las matrices de proyección de salida (O-proj) de los bloques transformadores alineados en el modelo objetivo.

3. Contribuciones Clave

1. Hipótesis de la Universalidad Semántica (Operacionalizada): El artículo propone que el rechazo es más estable en el espacio conceptual, caracterizado por una mezcla agnóstica al modelo sobre átomos de conceptos compartidos.
2. Marco de Trajectory Replay: Un protocolo de transferencia de donante a objetivo que utiliza un registro compartido de átomos de conceptos para reconstruir direcciones de rechazo sin supervisión de rechazo en el lado del objetivo.
3. Guardia de Estabilidad Weight-SVD: Un mecanismo para prevenir el colapso de capacidades mediante la proyección de las intervenciones lejos de los subespacios principales del espacio de pesos, análogo a las restricciones de espacio nulo en la edición de modelos.
4. Evaluación y Auditoría Rigurosas: Una evaluación a través de 8 pares de modelos (incluyendo transferencias Dense-a-MoE y entre familias) con una auditoría explícita de "perilla/presupuesto" para asegurar que no hubo ajuste oculto en el lado del objetivo.

4. Resultados Experimentales

El marco fue evaluado en 8 pares de donante/objetivo, incluyendo transferencias entre familias (Qwen3-VL $\leftrightarrow$ Ministral), transferencias inversas y pruebas de estrés arquitectónico (Dense $\to$ MoE, Dense $\to$ Razonamiento-Tuned).

• Atenuación del Rechazo: Las recetas transferidas atenuaron consistentemente las tasas de rechazo. Por ejemplo, en la transferencia Qwen3-VL-2B $\to$ Ministral-3-14B, la tasa de rechazo cayó de 0.98 a 0.02. En la transferencia Dense $\to$ Razonamiento (GLM-4.6V), la tasa de rechazo cayó al 1%.
• Preservación de Capacidades: En todos los pares, el rendimiento en tareas benignas (GSM8K para matemáticas, MBPP para codificación) se mantuvo estable. En la transferencia a GLM-4.6V, hubo incluso un ligero delta positivo en la precisión de matemáticas y código, lo que sugiere que la eliminación de los circuitos de rechazo puede reducir la interferencia con las capacidades de razonamiento.
• Validaciones de Control: Los estudios de ablación confirmaron que el efecto es específico a la receta semántica.
  • Las transferencias de dirección aleatoria y de conceptos no relacionados fallaron en reducir el rechazo.
  • El mapeo erróneo (capas permutadas) causó una degradación significativa de la capacidad.
  • El escenario Sin Guardia (desactivar la proyección SVD) resultó en una degradación catastrófica de la perplejidad y un colapso de la capacidad, validando la necesidad de la guardia de estabilidad.

5. Significado y Reivindicaciones

El artículo afirma proporcionar evidencia sólida de la universalidad semántica del alineamiento de seguridad. Sugiere que el rechazo no es un artefacto opaco y específico de cada modelo, sino que se implementa mediante un circuito semánticamente universal: una mezcla estable sobre un vecindario de conceptos compartidos.

• Perspectiva Mecánica: La "receta" ($w$) funciona como un sistema de coordenadas semánticas trans-modelo, permitiendo que un donante descomponga el rechazo en átomos compartidos que el objetivo puede reinstanciar en su propia base representacional.
• Reconocimiento de Doble Uso: Los autores reconocen explícitamente el riesgo de doble uso: aunque el método se enmarca como una herramienta de diagnóstico para medir la similitud de circuitos, las mismas técnicas podrían teóricamente ser utilizadas para eludir las salvaguardas de seguridad en modelos alineados.
• Limitaciones: Los autores señalan que la eficacia depende de la cobertura del Registro de Átomos de Conceptos (CAR). Si el rechazo opera sobre características semánticas ortogonales a la base de 20 conceptos utilizada (p. ej., restricciones de seguridad visual complejas), la reconstrucción puede fallar. Además, el método es estrictamente de caja blanca, requiriendo acceso a los pesos y activaciones.

El trabajo redefine la edición de rechazo como una prueba de la universalidad de los circuitos entre modelos, apoyando la hipótesis de que diversos procesos de entrenamiento pueden producir estructuras de control semántico similares.