Resumen Técnico: Escalando la Monosemanticidad a Claude 3 Sonnet

Declaración del Problema

La pregunta abierta central abordada por este trabajo es si los métodos de aprendizaje de diccionarios, específicamente los autoencoders dispersos (SAE), pueden escalar desde transformadores pequeños y de juguete hasta modelos de lenguaje a escala de producción para extraer características interpretables y monosémicas. Trabajos anteriores demostraron que los SAE podían recuperar características monosémicas de un transformador de una sola capa, pero seguía sin estar claro si estos métodos seguirían siendo factibles o efectivos para modelos de última generación como Claude 3 Sonnet. Una preocupación importante era que las restricciones de ingeniería o las diferencias fundamentales en la forma en que operan los modelos grandes podrían impedir que estos métodos se generalizaran, limitando así su contribución práctica a la seguridad de la IA y a la interpretabilidad mecánica.

Metodología

Arquitectura del Autoencoder Disperso (SAE)

Los autores entrenaron autoencoders dispersos sobre las activaciones del flujo residual de Claude 3 Sonnet, específicamente en la capa intermedia. El SAE consta de:

1. Codificador: Una transformación lineal seguida de una no linealidad ReLU, que mapea el vector de activación de entrada $x \in \mathbb{R}^D$ a un espacio de características de mayor dimensión de tamaño $F$.
2. Decodificador: Una transformación lineal que intenta reconstruir el vector de activación original $\hat{x}$.

El modelo se entrena para minimizar una función de pérdida $L$ que combina el error de reconstrucción (L2) y una penalización de regularización L1 sobre las activaciones de las características para incentivar la dispersión:
$$L = \mathbb{E}_x \left[ \|x - \hat{x}\|_2^2 + \lambda \sum_i f_i(x) \cdot \|W_{\text{dec}, \cdot, i}\|_2 \right]$$
donde $f_i(x)$ es la activación de la característica $i$, y la inclusión de la norma de los pesos del decodificador en el término de penalización permite interpretar los vectores del decodificador normalizados por unidad como direcciones de características.

Escalado y Entrenamiento

• Modelo: Claude 3 Sonnet (la versión ajustada y de producción lanzada el 4 de marzo de 2024).
• Tamaños de SAE: Se entrenaron tres SAE con tamaños de diccionario variables: ~1M, ~4M y ~34M características.
• Selección de Hiperparámetros: Los autores utilizaron leyes de escalado para guiar la selección de hiperparámetros. Trataron el aprendizaje de diccionarios como un problema estándar de aprendizaje automático, explorando el número de características y los pasos de entrenamiento para encontrar configuraciones óptimas en cuanto a cómputo que minimicen la pérdida. Observaron que la pérdida disminuye según una ley de potencias con respecto al cómputo, y que las asignaciones óptimas para características y pasos también siguen leyes de potencias.
• Datos: El entrenamiento se realizó en un conjunto de datos solo de texto similar a la distribución de preentrenamiento del modelo. Cabe destacar que los SAE no se entrenaron con datos formateados como "Human:/Assistant:" ni con imágenes, y sin embargo demostraron generalización a ambos.

Contribuciones y Resultados Clave

1. Escalabilidad de los Autoencoders Dispersos

La contribución principal es la demostración de que los SAE pueden extraer con éxito características de alta calidad e interpretables de un modelo a escala de producción. El SAE de 34M características explicó al menos el 65% de la varianza en las activaciones del flujo residual del modelo, con menos de 300 características activas en promedio por token.

2. Propiedades de las Características

Las características extraídas exhiben varias propiedades robustas:

• Multilingüismo y Multimodalidad: Las características responden a los mismos conceptos en diferentes idiomas y se generalizan a imágenes a pesar de haber sido entrenadas únicamente sobre texto.
• Generalización Concreta y Abstracta: Las características se activan tanto en instancias concretas (por ejemplo, código específico con un error) como en discusiones abstractas sobre el mismo concepto (por ejemplo, discutir vulnerabilidades de seguridad).
• Monosemanticidad: Las características corresponden a conceptos específicos, que van desde entidades famosas (por ejemplo, Richard Feynman, el Puente Golden Gate) hasta conceptos abstractos (por ejemplo, sarcasmo, errores de código, engaño).

3. Interpretabilidad y Causalidad de las Características

Los autores validaron las interpretaciones de las características mediante:

• Especificidad: La puntuación automatizada utilizando Claude 3 Opus confirmó que las entradas de alta activación coincidían fuertemente con las interpretaciones de características propuestas.
• Influencia en el Comportamiento (Dirigido): Al "fijar" las activaciones de las características a valores altos o bajos durante el paso hacia adelante, los autores demostraron un control causal sobre las salidas del modelo. Por ejemplo:
  • Fijar una característica de "Puente Golden Gate" indujo al modelo a autoidentificarse como el puente.
  • Fijar una característica de "error de código" hizo que el modelo alucinara errores en código libre de errores o reescribiera código defectuoso para que fuera correcto.
  • Fijar una característica de "engaño/conflicto interno" hizo que el modelo revelara información que intentaba "olvidar".

4. Características Relevantes para la Seguridad

El estudio identificó características correspondientes a conceptos críticos para la seguridad, incluyendo:

• Engaño y Búsqueda de Poder: Características relacionadas con mentiras, giros traicioneros y IA de auto-mejora.
• Sesgo y Sycophancia: Características que detectan sesgo de género, insultos raciales y elogios excesivos.
• Contenido Peligroso: Características que se activan en discusiones sobre armas biológicas, correos electrónicos de estafa y puertas traseras.
• Influencia Causal: Dirigir estas características confirmó que influyen causalmente en el comportamiento del modelo (por ejemplo, fijar una característica de "correo electrónico de estafa" hizo que el modelo generara correos electrónicos de estafa a pesar del entrenamiento de seguridad).

5. Geometría y Completitud de las Características

• Vecindades de Características: Las características están organizadas en clusters geométricos en el espacio del decodificador que reflejan relaciones semánticas (por ejemplo, una característica de "San Francisco" en el SAE de 1M se divide en características más finas en el SAE de 34M).
• Frecuencia vs. Tamaño del Diccionario: Se encontró una relación sistemática entre la frecuencia de un concepto en los datos de entrenamiento y el tamaño del diccionario necesario para resolver una característica para él. Los conceptos raros requieren diccionarios significativamente más grandes.
• Comparación con Neuronas: Se encontró que las características del SAE son significativamente más interpretables y específicas que las neuronas individuales de la MLP, con la gran mayoría de las características mostrando ninguna correlación fuerte con ninguna neurona individual.

Significado y Afirmaciones

El artículo afirma haber escalado con éxito la monosemanticidad a un modelo de producción de tamaño mediano, abordando la preocupación de que el aprendizaje de diccionarios podría no generalizarse más allá de los transformadores pequeños. Los autores argumentan que esto proporciona un "conjunto de pruebas para la seguridad" al permitir que los investigadores inspeccionen las representaciones internas de los modelos grandes.

Afirmaciones Modestas y Limitaciones:
Los autores advierten explícitamente contra la sobreinterpretación de la mera existencia de características relevantes para la seguridad. Afirman:

• Existencia vs. Capacidad: La presencia de características para el engaño o el contenido peligroso no implica que el modelo sea actualmente engañoso o peligroso; refleja la exposición del modelo a tales conceptos durante el preentrenamiento.
• Incompletitud: El conjunto de características es incompleto. Los autores no afirman haber encontrado "todas" las características y señalan que los métodos actuales pueden pasar por alto características debido a la "superposición entre capas" (donde las características se difuminan a través de múltiples capas) o problemas de contracción en la regularización L1.
• Evaluación: Actualmente no existe un método riguroso de "verdad fundamental" para evaluar si las características capturan fielmente todos los cálculos del modelo. La función de pérdida utilizada es un proxy, no una medida definitiva de interpretabilidad.
• Utilidad para la Seguridad: Si bien las características son plausiblemente útiles para la seguridad, el artículo no afirma que sean actualmente suficientes para implementar mecanismos de seguridad. El trabajo se describe como "preliminar", destinado a fomentar más investigación sobre la comprensión de las implicaciones de estas características.

En resumen, el artículo establece que los autoencoders dispersos pueden escalar a modelos grandes para revelar un conjunto rico, interpretable y causalmente influyente de características, proporcionando una nueva herramienta para la interpretabilidad mecánica mientras reconoce desafíos significativos pendientes en completitud y evaluación.