Resumen Técnico: La recuperación es suficiente: Interpretabilidad sin entrenamiento con un agente de uso de herramientas

Declaración del Problema

El campo de la interpretabilidad de redes neuronales se ha desplazado cada vez más hacia métodos basados en el entrenamiento, tales como los Autoencoders Dispersos (SAEs) y los Oráculos de Activación. Estos métodos dependen de grandes conjuntos de datos de entrenamiento para aprender diccionarios de características o para ajustar modelos de lenguaje (LLMs) para verbalizar vectores de activación. El supuesto prevalente es que estos sistemas aprendidos extraen conocimientos que van más allá de lo que es recuperable de los datos de entrenamiento mediante una simple recuperación y álgebra lineal clásica.

Este artículo desafía ese supuesto, planteando la pregunta central: ¿Logran los métodos basados en el entrenamiento extraer conocimientos que vayan más allá de lo que es recuperable de sus datos de entrenamiento mediante recuperación y herramientas clásicas? Los autores hipotetizan que los métodos actuales basados en el entrenamiento pueden funcionar principalmente como "bases de datos con pérdida", comprimiendo pares de activación-contexto en un diccionario fijo o un modelo ajustado, perdiendo así la capacidad de descubrir conceptos pobremente representados en el corpus original sin un reentrenamiento.

Metodología: HARP

Para probar esta hipótesis, los autores proponen HARP (Agente de Recuperación y Sondeo Dirigido por Hipótesis), un flujo de trabajo agéntico y libre de entrenamiento para interpretar vectores de activación.

Componentes Principales

1. Construcción de la Base de Datos Vectorial:

   • Las activaciones se extraen de un corpus genérico (un subconjunto de The Pile) emparejadas con sus contextos textuales.
   • Para cada posición de token, se registra la activación del flujo residual y una ventana de texto circundante.
   • Las activaciones son corregidas por sesgo (centradas mediante la resta de la media del corpus) para eliminar la varianza sin contenido.
   • La base de datos se indexa usando Milvus con búsqueda de producto interno aproximado.

2. El Bucle Agéntico:

   • HARP emplea un agente de LLM (usando gpt-4o-mini) equipado con un conjunto de herramientas específicas de álgebra lineal y herramientas de recuperación de bases de datos.
   • Recuperación: El agente consulta la base de datos para encontrar los $k$ vecinos más cercanos de una activación objetivo (después de proyectar fuera los componentes principales superiores para evitar vecinos genéricos).
   • Formación de Hipótesis: El agente inspecciona los fragmentos de texto recuperados para identificar un tema semántico coherente.
   • Construcción de Conceptos: El agente construye un "vector de concepto" que representa este tema. Esto se realiza mediante difference_of_means (promediando vectores recuperados positivos y restando un vector cero o muestras negativas) o subspace_projection (ajustando componentes principales a un clúster de vectores).
   • Verificación e Iteración: El vector de concepto construido se proyecta fuera de la activación objetivo original. El agente luego vuelve a consultar la base de datos con el vector residual. Si el tema original desaparece de los $k$ resultados más cercanos, el concepto es aceptado. El proceso se repite sobre el residual para "pelar las capas" y descubrir múltiples conceptos distintos dentro de una sola activación.

3. Conjunto de Herramientas (Toolset):

   • query_vector_db: Recupera activaciones similares.
   • get_activations: Genera ejemplos negativos dirigidos mediante la ejecución de textos de sondeo escritos por el agente a través del modelo.
   • difference_of_means / subspace_projection: Construye direcciones o subespacios de conceptos.
   • project_out: Elimina conceptos identificados de la activación objetivo.
   • check_reconstruction / dot_product: Herramientas de diagnóstico para la verificación.

4. Habilidades (Skills):

   • El comportamiento del agente es guiado por "habilidades" ligeras (instrucciones de alto nivel) adaptadas a tareas específicas (por ejemplo, discover_concepts, elicit_secrets, detect_specific_concept). Esto permite que HARP sea reutilizado en diversas tareas sin necesidad de reentrenamiento.

Contribuciones Clave

1. Reencuadre de la Interpretabilidad: El artículo postula que los métodos basados en el entrenamiento pueden actuar como compresiones con pérdida de sus datos de entrenamiento, mientras que un enfoque basado en la recuperación con herramientas lineales puede lograr un rendimiento comparable o superior sin la rigidez de un conjunto de entrenamiento fijo.
2. Sistema HARP: La introducción de un agente modular, libre de entrenamiento, que combina la recuperación de vectores con la manipulación de álgebra lineal para descubrir, detectar y dirigir conceptos.
3. Evidencia Empírica: Demostración de que HARP iguala o supera el rendimiento de los SAE y los Oráculos de Activación en cuatro tareas distintas de interpretabilidad.
4. Flexibilidad y Costo: Destacar que HARP permite la expansión de conjuntos de datos bajo demanda (indexando nuevos documentos) sin reentrenamiento, una capacidad ausente en los SAE y los Oráculos.

Resultados Experimentales

Los autores evalúan HARP contra un SAE preentrenado (gemma-scope-9b-pt-res) y un Oráculo de Activación (Gemma-2-9B-IT ajustado) en el modelo gemma-2-9b.

1. Descubrimiento de Conceptos No Supervisado:

   • Tarea: Identificar conceptos principales en vectores de activación de los conjuntos de datos BILLS (resúmenes legislativos) y WIKI.
   • Métrica: Cobertura (cuántos conceptos reales se encuentran) e Importancia (especificidad del concepto).
   • Resultado: HARP supera a ambos baselines en cobertura (ganancia de 1.9× sobre el SAE, 1.6× sobre el Oráculo) e importancia. Crucialmente, el bucle iterativo de "proyectar fuera" de HARP evita la redundancia, mientras que el Oráculo frecuentemente repite el mismo tema.
   • Caso de Estudio: Cuando el corpus inicial carecía de documentos legales, HARP recuperó el rendimiento simplemente indexando un pequeño conjunto de textos legales. Los SAE y los Oráculos no pudieron adaptarse sin reentrenamiento.

2. Detección y Dirección de Conceptos:

   • Tarea: Detectar conceptos específicos (del benchmark AXBENCH) y dirigir el modelo para generar texto que contenga dichos conceptos.
   • Métrica: ROC-AUC para detección; puntuación LM-judge para la calidad de la dirección (steering).
   • Resultado: HARP logra un AUC medio de 0.892 (frente al 0.877 del Oráculo y el 0.704 del SAE). En "negativos difíciles" (distractores estrechamente relacionados con el concepto), HARP supera significativamente al Oráculo (0.856 vs. 0.756), lo que sugiere que el Oráculo depende de pistas superficiales. En la dirección de conceptos, HARP supera a los SAE por un margen amplio (0.20 vs. 0.02 en la puntuación LM-judge).

3. Elicitación de Secretos:

   • Tarea: Recuperar atributos ocultos (palabras secretas o género del usuario) de modelos ajustados para no verbalizarlos.
   • Resultado:
     • Palabras Secretas: El Oráculo lidera (80% de precisión) debido a su entrenamiento en preguntas tipo LatentQA, pero HARP cierra la brecha significativamente (73%) usando solo una búsqueda de vecino más cercano. Esto sugiere que la ventaja del Oráculo es principalmente de capacidad de recuperación.
     • Género: HARP supera al Oráculo (94% vs. 91% de precisión) construyendo un sondeo de par de contraste preciso, demostando un rendimiento superior cuando el atributo oculto corresponde a una dirección de baja dimensión.

Significado y Reivindicaciones

El artículo concluye que la recuperación es a menudo suficiente para las tareas de interpretabilidad. Los resultados sugieren que los métodos actuales basados en el entrenamiento aún no extraen conocimientos que vayan más allá de lo que puede recuperarse de sus datos de entrenamiento mediante la recuperación y las herramientas de álgebra lineal clásica.

• Límite Inferior vs. Límite Superior: Los autores enmarcan sus resultados como un límite inferior de lo que la recuperación puede lograr, implicando que los métodos basados en el entrenamiento deben demostrar una capacidad de extraer conocimientos más allá de la pura recuperación para justificar su complejidad y costo.
• Modularidad: El diseño de HARP permite que los componentes modulares (conjunto de datos, agente, kit de herramientas) se intercambien o extiendan de forma independiente, ofreciendo una flexibilidad que carecen los métodos basados en el entrenamiento.
• Dirección Futura: El trabajo motiva la creación de benchmarks que requieran explícitamente que los métodos de interpretabilidad demuestren conocimientos que no puedan recuperarse mediante la simple recuperación, impulsando el campo hacia métodos que realmente aprendan nuevas representaciones en lugar de solo comprimir datos existentes.

Los autores publican su código en https://github.com/SriramB-98/HARP.