Resumen Técnico: Resistencia Endógena a la Dirección de Activación en Modelos de Lenguaje

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) son susceptibles a la dirección de activación (activation steering), una técnica donde se añaden direcciones específicas (a menudo derivadas de Autoencoders Dispersos, o SAEs) al flujo residual de un modelo durante la inferencia para alterar su comportamiento. Si bien la dirección puede inducir con éxito comportamientos fuera de tema o específicos, no está claro si los modelos poseen mecanismos internos para detectar y recuperarse de tales perturbaciones artificiales a mitad de la generación. Trabajos previos sugieren que los modelos pueden poseer capacidades introspectivas, pero el alcance de esta autoconciencia sobre la generación continua bajo perturbación constante no está bien caracterizado. Este artículo investiga si los LLM pueden recuperarse espontáneamente de la dirección desalineada con la tarea, produciendo reinicios verbales explícitos y regresando a la tarea original a pesar de que el vector de dirección permanece activo.

Metodología

Los autores emplean un protocolo experimental sistemático utilizando Autoencoders Dispersos (SAEs) para identificar direcciones de características interpretables para la dirección.

1. Configuración Experimental:

   • Modelos: Cinco modelos de las familias Llama-3 y Gemma-2 (que van desde 2B hasta 70B de parámetros).
   • Prompts: 38 prompts de nivel de objeto tipo "explica cómo" que cubren diversos temas (matemáticas, negocios, habilidades domésticas).
   • Intervención de Dirección: El modelo es dirigido mediante un latente de un SAE semánticamente no relacionado con el prompt (por ejemplo, potenciando un latente de "posiciones corporales" mientras se pregunta sobre probabilidad). La fuerza de la dirección se calibra a un "umbral" donde el primer intento recibe una puntuación de juez baja (~30/100), asegurando que la perturbación sea significativa pero no incoherente.
   • Evaluación: Un modelo juez (Claude 4.5 Haiku) segmenta las respuestas en "intentos" basados en marcadores de reinicio verbal explícitos (por ejemplo, "Espera, eso no es correcto"). Califica cada intento según su relevancia con el prompt original.

2. Métricas Clave:

   • Tasa de múltiples intentos: Porcentaje de respuestas que contienen ≥2 intentos.
   • Tasa de mejora condicional: Porcentaje de respuestas de múltiples intentos donde el intento final tiene una puntuación más alta que el primero.
   • Tasa ESR: El producto de las dos anteriores, que representa el porcentaje de todas las respuestas que logran autocorregirse con éxito.

3. Análisis Mecanicista:

   • Búsqueda Contrastiva: Utilizada para identificar latentes de SAE que se activan diferencialmente entre pares de prompt-respuesta emparejados (en tema) y mezclados (fuera de tema).
   • Ablación: Los latentes específicos identificados como "asociados con la autocorrección" se fijaron a cero durante la inferencia para probar la contribución causal.
   • Controles:
     • Control de Prefilling: Modelos no dirigidos recibieron prefijos fuera de tema extraídos de generaciones dirigidas para probar si la recuperación es puramente condicionada por el texto.
     • Experimento de Prefijo Emparejado: Comparó el texto de post-corrección natural contra prefijos en tema de la misma longitud para aislar el efecto del condicionamiento autoregresivo.
     • Ablación Aleatoria: Control para efectos no específicos de la desactivación de latentes activos.

Contribuciones Clave y Resultados

1. Caracterización Empírica de ESR

El estudio identifica un fenómeno denominado Resistencia a la Dirección Endógena (ESR): la capacidad del modelo para recuperarse de la dirección de activación irrelevante.

• Dependencia de la Escala: Solo el modelo más grande probado, Llama-3.3-70B, exhibió una ESR explícita sustancial (tasa del 3.8%). Los modelos más pequeños (Llama-3.1-8B, variantes de Gemma-2) mostraron tasas inferiores al 1%.
• Generalización: La ESR no es específica de las direcciones derivadas de SAE; la dirección con vectores contrastivos derivados de Wikipedia en Llama-3.3-70B produjo una tasa de ESR comparable del 3.6%.

2. Descomposición de Detección vs. Resistencia

Los autores disocian el evento de autocorrección en dos componentes:

• Detección (Condicionada por el Texto): Un control de prefilling mostró que un modelo no dirigido, al recibir un prefijo fuera de tema, se autocorrige entre el 7 y el 13.5% de las veces con un éxito de ~95%. Esto sugiere que el disparador para el reinicio está mayormente condicionado por el texto (leer su propia salida fuera de tema) en lugar de requerir un monitor de estado interno de la perturbación de la dirección.
• Resistencia (Sostenida): Un experimento de prefijo emparejado reveló que, si bien el condicionamiento autoregresivo en tokens recientes "en tema" explica aproximadamente la mitad de la calidad de la post-corrección, el texto de post-corrección natural bajo dirección funciona 2.1 veces mejor que un prefijo en tema genérico de la misma longitud. Esto indica un componente de "resistencia sostenida" que no se explica totalmente por el simple condicionamiento de texto.

3. Identificación Mecanicista

• Identificación de Latentes: Mediante búsqueda contrastiva, se identificaron 26 latentes de SAE asociados con la autocorrección.
• Ablación Causal: La ablación a cero de estos 26 latentes redujo la tasa de ESR en un 27% (de 3.8% a 2.8%) y la tasa de múltiples intentos en un 25%.
• Especificidad: La ablación aleatoria de latentes (emparejada por frecuencia de activación) no redujo la ESR, confirmando la especificidad del conjunto identificado.
• Dinámicas Temporales: Los rastros de activación muestran que estos latentes se activan 4.4 veces más alto durante el contenido fuera de tema y declinan después de que comienza la autocorrección, aunque permanecen elevados en comparación con la línea base.

4. Mejora Deliberada y Ajuste Fino

• Meta-Prompting: Instruir al modelo para "detenerse y obligarse a retomar el camino" aumentó la tasa de múltiples intentos en 4.3 veces en Llama-3.3-70B (de 7.4% a 31.7%).
• Ajuste Fino (Fine-Tuning): Entrenar Llama-3.1-8B con ejemplos sintéticos de autocorrección aumentó la tasa de intentos, pero no mejoró la tasa de éxito de las correcciones. Esto sugiere que, si bien el patrón de comportamiento de reiniciar es entrenable, la capacidad subyacente para una resistencia efectiva y sostenida puede no ser inducida únicamente por esta receta de entrenamiento específica.

Significado e Implicaciones

El artículo plantea que la ESR tiene implicaciones duales para la seguridad y la alineación de la IA:

1. Potencial Defensivo: La ESR podría endurecer a los modelos contra manipulaciones adversarias en el espacio de activación, ya que el modelo puede detectar y rechazar espontáneamente derivas fuera de tema inducidas por atacantes.
2. Interferencia con Intervenciones de Seguridad: Por el contrario, la ESR puede interferir con intervenciones de seguridad basadas en la dirección (por ejemplo, Intervención en Tiempo de Inferencia o Ingeniería de Representación). Dado que el modelo no puede distinguir entre perturbaciones adversarias y beneficiosas, puede resistirse a la dirección alineada con la seguridad de la misma manera que resiste la dirección adversaria.

Los autores concluyen que, si bien la detección de la deriva fuera de tema parece estar mayormente condicionada por el texto, la resistencia sostenida a la perturbación involucra mecanismos que van más allá del simple condicionamiento autoregresivo, involucrando potencialmente circuitos internos específicos que son sensibles a la escala del modelo y al entrenamiento. El trabajo destaca una brecha en la comprensión actual de cómo los modelos rastrean la coherencia de sus propios resultados bajo perturbación externa continua.