Resumen Técnico: Localización del uso de herramientas inducido por RL en una única característica de Crosscoder

Declaración del Problema

Si bien el ajuste fino mediante Aprendizaje por Refuerzo (RL) permite eficazmente que los Grandes Modelos de Lenguaje (LLMs) realicen comportamientos agénticos, como la invocación estructurada de herramientas, la base mecánica de estos cambios en las representaciones internas sigue siendo poco comprendida. Específicamente, no está claro qué características emergen durante el RL, cuáles se preservan y si estas características pueden aislarse para permitir el control del comportamiento sin necesidad de reentrenamiento. Las herramientas existentes de interpretabilidad mecánica, como los Autoencoders Dispersos (SAEs) y los Crosscoders, ofrecen marcos para descomponer las activaciones del modelo, pero su capacidad para aislar las diferencias específicas de capacidad entre un modelo base y un modelo ajustado mediante RL no ha sido evaluada sistemáticamente.

Metodología

Los autores investigan estas cuestiones utilizando una arquitectura de Crosscoder de Características Dedicadas (DFC) aplicada a un par de modelos que comparten la arquitectura Qwen2.5-3B:

• Modelo A (RL): Una variante ajustada con ToolRL capaz de invocación estructurada de herramientas.
• Modelo B (Base): El original, sin modificar, Qwen2.5-3B.

Arquitectura y Entrenamiento:
El DFC particiona un diccionario disperso conjunto en tres subdiccionarios: exclusivo de A, exclusivo de B y compartido. El enmascaramiento de gradiente impone la exclusividad, obligando a cada modelo a leer de y escribir en su partición designada. El objetivo de entrenamiento minimiza la pérdida de reconstrucción (MSE) mientras aplica restricciones de dispersión (Top-k) y penalizaciones específicas ($\lambda_{excl}$) a las particiones exclusivas para probar si actúan como "sumideros" (aislando todas las diferencias de capacidad) o como "filtros".

Diseño Experimental:

• Barrido de Hiperparámetros: Los autores entrenaron y evaluaron 48 variantes (36 DFCs y 12 Crosscoders estándar) a través de un barrido sistemático de tamaños de diccionario ($D$), presupuestos de dispersión ($k$), proporciones de partición exclusiva ($p$) y magnitudes de penalización ($\lambda_{excl}$).
• Métricas de Evaluación: El rendimiento se midió mediante tool_correctness (coincidencia difusa de herramientas llamadas con el prompt) y format_accuracy (presencia de la estructura JSON correcta).
• Protocolo de Dirección (Steering): Las características se clasificaron por la $d$ de Cohen (diferencia en la activación entre contextos de uso de herramientas y de texto general). La dirección dirigida consistió en añadir un vector de corrección al flujo residual del Modelo A basado en subconjuntos de características específicos ($S$).

Principales Contribuciones y Resultados

1. Desbordamiento de Capacidad y Fidelidad de Reconstrucción

El estudio demuestra que ocurre un desbordamiento de capacidad (capability spillover): pasar las activaciones del modelo base congelado (Modelo B) a través de un crosscoder entrenado conjuntamente y reconstruirlas transfiere pasivamente la capacidad de llamada a herramientas sin necesidad de ajuste fino.

• Resultado: La corrección de herramientas del Modelo B aumentó de 0% a 6.8% ± 5.0 pp tras la reconstrucción.
• Implicación: La intención de llamada a herramientas se deslocaliza en los pesos del decodificador compartidos durante el entrenamiento conjunto. Sin embargo, la precisión del formato (la forma superficial específica de XML/JSON) no se desbordó, lo que sugiere que, si bien la intención semántica es compartida, la maquinaria de la plantilla estructural permanece aislada en características estrechas específicas de RL.

2. El DFC como Filtro, no como Sumidero

Los autores probaron si la partición exclusiva aisla perfectamente las capacidades inducidas por RL (un "sumidero").

• Hallazgo: Penalizar la partición exclusiva ($\lambda_{excl} > 0$) degradó la fidelidad del Modelo A, empujando la información relevante para las herramientas de vuelta a la partición compartida.
• Conclusión: La partición exclusiva actúa como un filtro que concentra las características más fuertes específicas del modelo, pero no desvincula completamente el contenido específico de la capacidad del sustrato representacional compartido.

3. Saturación de Dirección de una Única Característica

Un hallazgo principal es que la capacidad de uso de herramientas inducida por RL puede localizarse en un conjunto mínimo de características, a menudo una sola neurona.

• Resultado: Dirigir una única neurona exclusiva de A ($|S|=1$) logró un incremento de +65.0 pp en la corrección de herramientas (95% IC [+47.9, +82.1]).
• Comparación: Esta intervención de una sola neurona igualó el rendimiento de dirigir las 7 neuronas exclusivas de A disponibles. En contraste, un CrossCoder estándar requirió dirigir 33 características para alcanzar su rendimiento máximo.
• Generalización: Este efecto de saturación de una sola neurona se generalizó en la mayoría de las capas probadas (7 de 9), con una mejora media de +43.3 pp.

4. Separación Geométrica

El análisis UMAP de los pesos del decodificador confirmó que la arquitectura DFC crea regiones espacialmente distintas para las características exclusivas de A, exclusivas de B y compartidas. En contraste, los Crosscoders estándar (sin enmascaramiento de gradiente) mostraron una mezcla uniforme de características sesgadas, lo que indica que la separación limpia es un artefacto de la partición arquitectónica, no meramente un desequilibrio de etiquetas.

5. Interferencia en la Dirección Combinada

Dirigir tanto las características exclusivas de A como las compartidas simultáneamente resultó en una interferencia destructiva, produciendo un rendimiento inferior (+35.0 pp) al de dirigir las características exclusivas de A por sí solas (+65.0 pp). Esto sugiere que las direcciones del decodificador no ortogonales amplifican el ruido cuando se dirigen con coeficientes iguales.

Significado y Reivindicaciones

El artículo afirma que los Crosscoders de Características Dedicadas proporcionan una herramienta prometedora para identificar y modular las representaciones introducidas por el post-entrenamiento de RL. La importancia radica en tres áreas principales:

1. Control del Comportamiento en Tiempo de Ejecución: La capacidad de dirigir LLMs agénticos mediante una sola característica sin reentrenamiento ofrece un mecanismo de control en tiempo de inferencia, libre de gradientes, para la modificación de la seguridad y el comportamiento. Esto posiciona la dirección basada en DFC como un enfoque complementario al RLHF, DPO y SFT para la seguridad y la modificación del comportamiento.
2. Interpretabilidad Mecanística: Los hallazgos sugieren que las capacidades agénticas (específicamente el uso de herramientas) pueden comprimirse en un conjunto de características dispersas y dirigibles. El fenómeno de "desbordamiento de capacidad" resalta que las descomposiciones dispersas conjuntas pueden reintroducir inadvertidamente capacidades en los modelos base, una consideración crítica para la seguridad y el lanzamiento de modelos.
3. Limitaciones y Modestia: Los autores señalan explícitamente que sus métricas miden la propensión a emitir llamadas a herramientas correctas bajo prompts fijos, no la instalación de una capacidad totalmente nueva en el modelo base. Reconocen que la prueba t del efecto de la arquitectura está subdimensionada (12 ejecuciones de CrossCoder frente a 36 de DFC) y que los resultados de la mejor celda de dirección no han sido replicados en una muestra nueva. No afirman que el RL instale una capacidad de uso de herramientas que el modelo base carece por completo, sino que modula una propensión.

En resumen, el trabajo demuestra que el uso de herramientas inducido por RL no es un cambio difuso e ininterpretable, sino que se concentra en un conjunto de características mínimas y dirigibles que pueden aislarse y manipularse mediante DFCs, permitiendo un control preciso del comportamiento sin necesidad de reentrenamiento.