💬 NLP

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

Este artículo presenta el Aprendizaje por Refuerzo de Control (CRL), un marco que entrena una política para seleccionar y amplificar dinámicamente características interpretables de Autoencoders Escasos a nivel de token para dirigir las salidas de los LLM, proporcionando así registros de intervención por token y nuevas perspectivas mecanicistas sobre el comportamiento del modelo en diversos puntos de referencia.

Autores originales: Seonglae Cho, Zekun Wu, Adriano Koshiyama

Publicado 2026-05-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seonglae Cho, Zekun Wu, Adriano Koshiyama

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje grande (como el que impulsa este chat) como una orquesta masiva y compleja. Dentro de esta orquesta, hay miles de músicos (neuronas) tocando a la vez. A veces, tocan una hermosa sinfonía, pero otras veces se confunden y tocan las notas equivocadas, lo que lleva a alucinaciones o respuestas incorrectas.

Durante mucho tiempo, los científicos han intentado entender esta orquesta escuchando la música y adivinando qué instrumentos están tocando. Han encontrado "Autoencoders Dispersos" (SAE), que actúan como un ingeniero de sonido superpoderoso. El SAE puede descomponer la música en pistas individuales y nombradas: "Pista de Matemáticas", "Pista de Seguridad", "Pista de Gramática", etc.

El Problema:
Saber qué pistas están sonando no es suficiente. Solo porque la "Pista de Matemáticas" esté activa no significa que subir su volumen solucionará un problema matemático. A veces, subir una pista empeora las cosas. Los métodos anteriores podían decirte qué estaba sonando, pero no qué pasaría si cambiaras el volumen.

La Solución: Aprendizaje por Refuerzo de Control (CRL)
Este artículo introduce un nuevo método llamado Aprendizaje por Refuerzo de Control (CRL). Piensa en el CRL como contratar a un director de orquesta inteligente que se para justo al lado de la orquesta durante la actuación.

Así es como funciona, paso a paso:

1. El Trabajo del Director (La Política)

En cada palabra (token) que el modelo está a punto de decir, este director observa el estado actual de la orquesta. El director tiene un control remoto con botones para cada "pista" (característica) que el SAE identificó.

La Decisión: El director decide: "Ahora mismo, necesitamos subir el volumen de la pista de 'Razonamiento Lógico'", o "Bajemos el volumen de la pista de 'Sesgo Emocional'".
La Acción: El director ajusta instantáneamente el volumen de esa pista específica solo para esa palabra.

2. Aprendiendo Haciendo (Aprendizaje por Refuerzo)

El director no conoce las reglas al principio. Aprende jugando el juego:

Si la orquesta toca una respuesta correcta, el director recibe una "recompensa" (un punto).
Si la orquesta toca una respuesta incorrecta, el director no recibe puntos.
Con el tiempo, el director aprende exactamente qué pistas potenciar en qué momentos para obtener los mejores resultados.

3. La "Máscara Adaptativa" (Prevenir Malos Hábitos)

Un director inteligente podría volverse perezoso y seguir subiendo el volumen de la misma "Pista de Matemáticas" para cada problema. Para evitar esto, el artículo utiliza un truco llamado Enmascaramiento Adaptativo de Características.

Imagina que el director tiene una regla: "No puedes usar el mismo instrumento dos veces seguidas a menos que hayas probado otros primero".
Esto obliga al director a explorar diferentes partes de la orquesta, descubriendo nuevas formas de solucionar problemas en lugar de depender de un solo truco.

4. El "Libro de Registro" (Interpretabilidad)

Este es el mayor avance del artículo. Como el director toma una decisión específica para cada palabra, obtenemos un libro de registro detallado de toda la actuación.

Podemos mirar hacia atrás y decir: "Ah, en la palabra número 5, el director subió el volumen de la pista de 'Seguridad', lo que impidió que el modelo dijera algo grosero".
Podemos ver exactamente por qué el modelo tuvo éxito o falló. Es como tener una transcripción de los pensamientos del director para cada nota tocada.

¿Qué Descubrieron?

Al utilizar este método en un modelo llamado Gemma 2, los investigadores encontraron cosas fascinantes:

Capas Tempranas vs. Tardías: La orquesta tiene diferentes secciones. Las secciones "tempranas" (capas) manejan la gramática y la estructura (como la puntuación y el flujo de las oraciones). Las secciones "tardías" manejan el significado profundo y la lógica. El artículo encontró que para solucionar un problema matemático, a menudo necesitas ajustar las secciones "tardías" donde vive la lógica, no solo las secciones "tempranas" donde se forman las palabras.
Los "Puntos de Ramificación": A veces, dos preguntas muy similares requieren acciones del director completamente diferentes para obtener la respuesta correcta. El sistema puede identificar el momento exacto donde el camino se divide entre una respuesta correcta y una incorrecta.
Seguridad vs. Sesgo: El sistema aprendió que solucionar el "sesgo" (injusticia) y solucionar la "seguridad" (rechazar solicitudes dañinas) requieren estrategias diferentes. Para algunas tareas, el director necesita ser muy específico; para otras, necesita explorar muchas pistas diferentes.

Los Resultados

El artículo probó esto en varios desafíos:

Matemáticas (GSM8K): El director ayudó al modelo a resolver más problemas matemáticos potenciando las pistas lógicas correctas.
Seguridad (HarmBench): El modelo se volvió mejor rechazando hacer cosas dañinas sin ser excesivamente cauteloso.
Conocimiento (MMLU): El modelo dio respuestas más precisas a preguntas de cultura general.

En Resumen:
Este artículo no solo nos dice qué está pensando la IA; nos da una herramienta para dirigir el pensamiento de la IA en tiempo real, palabra por palabra. Convierte una "caja negra" en una máquina transparente donde podemos ver exactamente qué interruptores internos se activaron para obtener la respuesta correcta. Es como darle a un humano un control remoto para guiar los pensamientos internos de la IA, asegurando que se mantenga en el camino correcto.

Resumen Técnico: Aprendizaje por Refuerzo de Control (CRL)

1. Declaración del Problema

Los Autoencoders Esparsos (SAE) han surgido como una herramienta poderosa para descomponer las activaciones de modelos de lenguaje en características interpretables y legibles por humanos. Sin embargo, los métodos de análisis existentes son en gran medida estáticos: identifican qué características se activan en entradas específicas, pero no revelan qué características, al amplificarse, cambian realmente las salidas del modelo. Las técnicas actuales de ingeniería de activaciones a menudo dependen de conjuntos de datos contrastivos para la selección de características o de un almacenamiento extensivo de activaciones para la optimización de coeficientes, careciendo de mecanismos de retroalimentación adaptativa para ajustar las estrategias de dirección basándose en la calidad de la generación.

El artículo aborda la brecha entre la identificación estática de características y la intervención dinámica e interpretable. El desafío central es desarrollar un marco que no solo seleccione características de SAE para dirigir un modelo, sino que también proporcione registros de intervención a nivel de token que expliquen por qué se seleccionó una característica y cómo afectó la salida, transformando así la dirección en una herramienta de interpretabilidad mecánica.

2. Metodología: Aprendizaje por Refuerzo de Control (CRL)

Los autores proponen Aprendizaje por Refuerzo de Control (CRL), un marco que trata el control de las representaciones de transformadores como un Proceso de Decisión de Markov (MDP) sobre características de SAE.

2.1. Formulación del MDP

Estado ( $S$ ): La observación es la activación del flujo residual ( $x \in \mathbb{R}^d$ ) en una capa específica $\ell$ para la posición del token actual.
Acción ( $A$ ): Un vector binario que selecciona una o más características de SAE para amplificar. La política selecciona las $k$ mejores características (típicamente $k=1$ para la interpretabilidad).
Transición ( $P$ ): Determinista, gobernada por el paso hacia adelante del transformador con la intervención de característica seleccionada aplicada.
Recompensa ( $R$ ): Recompensas específicas de la tarea basadas en la calidad de la salida final (por ejemplo, corrección en MMLU, rechazo en tareas de seguridad).

2.2. CRL-Token y Dirección de Características

En cada paso de generación $t$ , el marco realiza intervenciones a nivel de token:
$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$
Donde $a_t$ es el vector de selección binaria esparcida, $c$ es el coeficiente de dirección y $W_{dec}$ es el decodificador de SAE. La red de política $\pi_\theta$ mapea las activaciones del flujo residual a logits de selección de características, implementada como un MLP de 2 capas.

2.3. Enmascaramiento Adaptativo de Características (AFM)

Para evitar que la política colapse en un conjunto estrecho de características activas con frecuencia, CRL introduce Enmascaramiento Adaptativo de Características.

Una máscara booleana por muestra restringe las opciones de selección de características.
La máscara comienza con un subconjunto pequeño de características y se expande progresivamente a medida que avanza la generación, incorporando características que se activaron naturalmente en pasos anteriores.
Este mecanismo fomenta el descubrimiento diverso de características mientras mantiene la interpretabilidad de las intervenciones de una sola característica.

2.4. Optimización

La política y una red crítica (que estima valores de estado) se entrenan utilizando Optimización de Política Proximal (PPO).

Coeficiente de Dirección ( $c$ ): Determinado adaptivamente promediando las magnitudes de activación de muestras de entrenamiento predichas correctamente, eliminando la necesidad de ajuste manual entre capas.
Red Crítica: Un MLP de 2 capas que estima la función de valor $V_\phi(s)$ , permitiendo la separación de las limitaciones de la política de los errores de estimación de valor durante el análisis.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Registros de Intervención Interpretables a Nivel de Token: Un marco que produce registros que identifican exactamente qué característica de SAE se seleccionó en cada token y su efecto en la salida, permitiendo un análisis de comportamiento fino.
Herramientas de Diagnóstico:
- Rastreo de Puntos de Bifurcación: Identifica puntos de decisión críticos donde prefijos idénticos producen resultados diferentes basados en la selección de características.
- Análisis de Trayectoria de la Red Crítica: Utiliza la función de valor aprendida para distinguir entre fallos de la política (selección de características) y fallos de la red crítica (estimación de recompensa).
Enmascaramiento Adaptativo de Características (AFM): Un mecanismo que equilibra la exploración y la explotación para asegurar un descubrimiento diverso de características sin sacrificar la interpretabilidad de una sola característica.
Caracterización Empírica de la Semántica de Características: Demuestra que las capas tempranas codifican la estructura sintáctica mientras que las capas posteriores capturan semánticas abstractas, y que diferentes tareas exhiben patrones de cuello de botella distintos.

4. Resultados Experimentales

El marco se evaluó en Gemma 2 2B (y LLaMA-3.1 8B) utilizando SAEs de Gemma Scope y LLaMA Scope en cinco puntos de referencia: MMLU, BBQ, GSM8K, HarmBench y XSTest.

Mejoras de Rendimiento: CRL logró mejoras en todos los puntos de referencia. Las ganancias notables incluyen:
- HarmBench: +7.66 puntos porcentuales (41.46% $\to$ 49.12%).
- BBQ (Ambiguo): +5.69 puntos porcentuales.
- MMLU: +3.31 puntos porcentuales.
- GSM8K: +1.03 puntos porcentuales.
Complementariedad: CRL proporciona ganancias aditivas cuando se aplica sobre modelos Entrenados con Supervisión (SFT) (por ejemplo, la precisión en MMLU aumentó del 55.2% al 56.1% con SFT + CRL).
Semántica Específica por Capa:
- Capa 10: Las características capturan propiedades concretas y sintácticas (por ejemplo, "notación matemática", "referencias de pronombres").
- Capa 20: Las características capturan semánticas abstractas y contextuales (por ejemplo, "estructura de derivación lógica", "pruebas matemáticas").
- Las capas de intervención óptimas varían según la tarea (por ejemplo, Capa 5 para BBQ, Capa 24 para MMLU).
Análisis de la Red Crítica:
- BBQ: Muestra una coordinación efectiva entre política y red crítica con una clara discriminación de muestras.
- MMLU: Exhibe un "cuello de botella de la red crítica" donde las muestras corregidas y las mal dirigidas son casi indistinguibles, lo que sugiere que la red crítica tiene dificultades para estimar el valor en tareas de razonamiento complejo.
- HarmBench vs. XSTest: HarmBench muestra brechas claras entre muestras correctas e incorrectas, mientras que XSTest muestra patrones de estimación invertidos, indicando desafíos dependientes de la tarea en la estimación de recompensas.

5. Significado y Afirmaciones

El artículo posiciona a CRL como un avance significativo en la interpretabilidad mecánica. Su significado principal radica en cambiar el paradigma del análisis estático de características (observar qué se activa) a sondas de intervención dinámica (observar qué cambia el modelo).

Interpretabilidad: Al imponer la selección de una sola característica y registrar las intervenciones, CRL proporciona una visión "mecánica" del comportamiento del modelo, revelando que características como "operaciones matemáticas" pueden generalizarse léxicamente a unidades cuantitativas como "bebés" en problemas de palabras.
Capacidad de Diagnóstico: El marco sirve como herramienta de diagnóstico tanto para el modelo como para el SAE. Si una política colapsa hacia características semánticamente incoherentes a pesar del AFM, esto señala una deficiencia en el SAE (por ejemplo, conceptos faltantes o polisemántica) en lugar de un fallo del método de control.
Practicidad: CRL opera con una sobrecarga de inferencia baja (8–9% de latencia) y no requiere reentrenar los pesos del modelo base, ofreciendo un mecanismo de mejora ligero y post-hoc.

Los autores concluyen que la dirección de características aprendida, cuando se combina con aprendizaje por refuerzo, establece una herramienta práctica para comprender y controlar modelos de lenguaje, complementando el análisis estático con conocimientos dinámicos y específicos de la tarea.