Resumen Técnico: Conceptores para la Dirección Semántica

Enunciado del Problema

Los métodos de dirección basados en activaciones buscan controlar el comportamiento de los Modelos de Lenguaje Grandes (LLM) durante la inferencia sin reentrenamiento. El paradigma dominante representa los conceptos semánticos como vectores únicos (por ejemplo, mediante Adición de Activación o Adición de Activación Contrastiva), inyectando una dirección de diferencia media en los estados ocultos. Este enfoque adolece de dos limitaciones fundamentales:

1. Reduccionismo Geométrico: Los conceptos semánticos (por ejemplo, sentimiento, inclinación política) a menudo ocupan subespacios multidimensionales dentro del espacio de activación del modelo. Reducirlos a un solo vector descarta la estructura residual y el contexto, lo que puede provocar pérdida de fluidez o salidas degeneradas.
2. Sobrecarga de Supervisión: La selección de la capa óptima para la intervención generalmente requiere entrenar clasificadores de sondeo en cada capa, un proceso supervisado costoso que escala con la profundidad del modelo y la cantidad de conceptos.

Metodología

Los autores proponen el uso de Conceptores, matrices de proyección suave desarrolladas originalmente para redes neuronales recurrentes (Jaeger, 2024), adaptadas aquí para LLM basados en transformadores.

Mecanismo Central

Dado un conjunto de vectores de activación $\{x_1, \dots, x_N\}$ asociados a un concepto, una matriz de conector $C$ se define como la solución a un problema de reconstrucción regularizado:
$$C = R(R + \alpha^{-2}I)^{-1}$$
donde $R$ es la matriz de correlación muestral de las activaciones y $\alpha$ es un parámetro de apertura. En la base propia de $R$, $C$ actúa como un mecanismo de puerta suave, atenuando direcciones según su energía de señal. Las direcciones de alta energía se preservan, mientras que el ruido de baja energía se suprime.

Decisiones Clave de Diseño

• Entrenamiento Bipolar: A diferencia de los métodos unipolares anteriores que dirigen hacia un solo polo (por ejemplo, sentimiento "positivo"), este enfoque agrupa activaciones de ambos polos de un concepto bipolar (por ejemplo, sentimiento positivo y negativo) en una sola matriz de correlación. Esto captura el subespacio completo entre polos en lugar de solo el vector de diferencia.
• Selección de Capa mediante Cuota de Conector: Para evitar el sondeo supervisado, los autores utilizan la cuota de conector $q(C) = \frac{1}{d}\text{tr}(C)$, una métrica libre de parámetros que representa la dimensionalidad efectiva suave del subespacio del concepto. Los valores altos de cuota se correlacionan con capas donde el concepto está bien separado.
• Composicionalidad Booleana: Los conectores soportan álgebra booleana en forma cerrada (Y, O, NO) directamente sobre las matrices, permitiendo la composición de la dirección sin acceso a los datos de activación originales.
  • NO: $\neg C = I - C$ (suprime un concepto).
  • Y: $C_A \land C_B = (C_A^{-1} + C_B^{-1} - I)^{-1}$ (mantiene solo las direcciones compartidas del subespacio).

Contribuciones Clave

1. Caracterización Geométrica: Los autores demuestran que los subespacios bipolares subsumen estrictamente las líneas base de vector único, capturando $\ge 95\%$ de la dirección de diferencia media utilizada por métodos anteriores mientras retienen estructura multidimensional adicional.
2. Diagnósticos Libres de Parámetros: Se muestra que la cuota de conector predice la separabilidad del concepto (medida por el AUC del sondeo) con correlaciones de Pearson de hasta $r=0.96$ en tres modelos ajustados con instrucciones (Gemma-2-2B-IT, Gemma-2-9B-IT, Qwen-2.5-3B-Instruct) y tres dimensiones semánticas, superando a las métricas tradicionales basadas en varianza.
3. Análisis de Composicionalidad: El artículo establece que la composición booleana está gobernada por la superposición de subespacios.
   • NO es efectivo incluso con baja superposición (por ejemplo, separar la inclinación política del sentimiento).
   • Y requiere relación temática y una superposición significativa de subespacios (por ejemplo, postura sobre el aborto y derechos LGBTQ) para producir una dirección conjunta significativa.
4. Robustez y Seguridad: Una evaluación sistemática del espacio de diseño de cinco ejes (ubicación, alcance de tokens, regla de combinación, fuente de entrenamiento, modo autoregresivo) revela que la dirección con conector produce sustancialmente menos salidas degeneradas (13% frente a 58% para las líneas base aditivas) mientras iguala o supera a los métodos aditivos en ratios de victoria.

Resultados Experimentales

La evaluación abarca tres modelos y tres conceptos (sentimiento, inclinación política, depresión).

• Rendimiento: Los conectores logran ratios de victoria de 0.70–0.82 en tareas de sentimiento, superando significativamente a las líneas base aditivas (0.50–0.62). La ventaja es más pronunciada en capas donde los subespacios de los conceptos son multidimensionales.
• Degeneración: Los métodos aditivos producen frecuentemente texto repetitivo o incoherente (salidas degeneradas). La interpolación con conector reduce esta tasa al 13%, lo que sugiere que los conectores dirigen dentro de la variedad de activación natural del modelo en lugar de empujar los estados fuera de la distribución.
• Composicionalidad:
  • En escenarios de baja superposición (Política $\times$ Sentimiento, superposición $\approx 0.19$), la operación Y-NO aísla con éxito un concepto (por ejemplo, sentimiento) mientras suprime el otro, agudizando la selectividad.
  • En escenarios de alta superposición (Aborto $\times$ LGBTQ, superposición $\approx 0.50$), la operación Y activa con éxito ambos conceptos simultáneamente, una capacidad no alcanzable con métodos de vector único.
• Generalización: El método se generaliza a conjuntos de prueba más grandes no vistos (500 prompts) y mantiene la robustez frente a la instrucción adversaria (por ejemplo, instrucciones de sistema explícitamente de inclinación derecha).

Significado y Afirmaciones

El artículo afirma que la dirección con conector ofrece una alternativa geométricamente fundamentada, composicional y prácticamente más segura a la dirección de un solo sentido. Al preservar el subespacio multidimensional completo de un concepto, los conectores evitan la pérdida de información inherente a la resta de vectores. La capacidad de realizar operaciones booleanas sin reentrenamiento ni acceso a datos originales habilita un control complejo de múltiples conceptos (por ejemplo, "ser político pero no partidista") que anteriormente era difícil de lograr.

Los autores posicionan este trabajo como un paso hacia la alineación en tiempo de inferencia, donde los conceptos dañinos pueden ser suprimidos (mediante NO) mientras se preservan las capacidades objetivo, trasladando la seguridad composicional desde la ingeniería de prompts hacia operaciones algebraicas rutinarias. Señalan explícitamente que el método se evalúa en modelos más pequeños (hasta 9 mil millones de parámetros) y que la escalabilidad a modelos de tamaño de despliegue sigue siendo una dirección futura, aunque se afirma que la geometría subyacente es agnóstica a la arquitectura.

Limitaciones Reconocidas:

• La evaluación se limita a tres modelos y tres conceptos semánticos.
• Las altas intensidades de dirección aún pueden conducir a incoherencia residual.
• Los experimentos de composicionalidad se limitan actualmente a dos pares de conceptos.
• El método depende de clasificadores automatizados para la puntuación, lo que puede introducir sesgo.
• Se plantean explícitamente consideraciones éticas sobre el potencial de amplificar sesgos o manipular el encuadre, enmarcando el trabajo como un análisis de controlabilidad en lugar de una herramienta de persuasión.