Resumen Técnico: Interpretabilidad Automatizada y Descubrimiento de Características en Modelos de Lenguaje con Agentes

Declaración del Problema

La interpretabilidad mecanicista busca comprender las representaciones internas de los grandes modelos de lenguaje (LLM) para determinar cómo se codifican conceptos, comportamientos o propiedades de seguridad específicos. Aunque avances recientes como los Autoencoders Dispersos (SAE) han descompuesto las activaciones densas en características dispersas e interpretables, los métodos existentes de interpretabilidad automatizada adolecen de dos limitaciones principales:

1. Fragilidad de las Explicaciones de Un Solo Intento: Los enfoques automatizados actuales generan típicamente una única descripción en lenguaje natural de una característica basada en sus ejemplos de activación más altos. Estas etiquetas de "un solo intento" a menudo se basan en evidencia limitada, no tienen en cuenta restricciones específicas (por ejemplo, lingüísticas o estructurales) y son propensas a ser refutadas por contraejemplos.
2. El Cuello de Botella del Descubrimiento: La mayoría de los flujos de trabajo asumen que la característica de interés ya es conocida. En escenarios realistas, los usuarios comienzan con preguntas de alto nivel (por ejemplo, "encuentra características relacionadas con un idioma específico" o "encuentra características relevantes para la seguridad") sin saber cuáles de las miles de características disponibles deben inspeccionar. El descubrimiento sistemático y no supervisado de características sigue siendo un cuello de botella significativo y poco abordado en el campo.

Metodología: InterpAgent

Los autores presentan InterpAgent, un marco autónomo de múltiples agentes que unifica el descubrimiento de características y el refinamiento de hipótesis en un único bucle empírico iterativo. El sistema opera mediante un supervisor que coordina dos subagentes especializados dentro de un entorno de ejecución compartido:

1. FeatureFinder (Descubrimiento Estadístico)

Este agente aborda el cuello de botella del descubrimiento. Dado un conjunto de prompts etiquetados por categorías de alto nivel (por ejemplo, idioma, tema o seguridad), identifica características candidatas que diferencian de manera confiable estos grupos.

• Proceso: Construye una matriz de activación a partir de las representaciones internas del modelo, aplica PCA para la reducción de dimensionalidad y construye un grafo de k-vecinos más cercanos (k-NN) en el espacio incrustado.
• Agrupación y Pruebas: Utilizando la detección de comunidades en grafos (algoritmo Leiden), agrupa los prompts. Luego realiza pruebas estadísticas (prueba de suma de rangos de Wilcoxon con corrección de Benjamini–Hochberg) para encontrar características enriquecidas en grupos específicos.
• Filtrado: Los candidatos se filtran por significancia ajustada, tamaño del efecto (d de Cohen) y cambio logarítmico para garantizar la relevancia práctica, generando una lista clasificada de IDs de características con evidencia de apoyo.

2. FeatureExplainer (Refinamiento Iterativo de Hipótesis)

Este agente transforma una característica candidata en una explicación robusta y auditable mediante un bucle de "proponer–probar–revisar".

• Generación de Hipótesis: Comienza con hipótesis semilla (de líneas base o activaciones superiores) y mantiene hipótesis competitivas.
• Pruebas de Estrés: Para cada hipótesis, el agente genera suites de prompts contrastantes (positivos predichos y controles negativos emparejados) y las ejecuta en el modelo objetivo para registrar las activaciones.
• Evaluación Multimétrica: Las hipótesis se puntúan en una batería de siete métricas:
  1. F1 de Detección (discriminabilidad)
  2. F1 de Fuzzing (robustez ante perturbaciones de tokens)
  3. AUROC de Sorpresa (coherencia)
  4. Similitud de Incrustación (alineación semántica)
  5. Separabilidad Estadística (valor p)
  6. Tamaño del Efecto (d de Cohen)
  7. Coherencia de LLM como Juez
• Refinamiento: El agente clasifica las hipótesis, identifica modos de fallo en las métricas más débiles y propone revisiones dirigidas. El bucle continúa hasta la convergencia o hasta alcanzar un presupuesto fijo.
• Detección de Polisemicidad: Si múltiples hipótesis semánticamente distintas logran un apoyo comparable, la característica se marca como polisémica y se reportan todas las interpretaciones competitivas en lugar de forzar una única etiqueta.

Contribuciones Clave

1. Marco Unificado: La introducción de InterpAgent, que combina el descubrimiento no supervisado de características y el refinamiento iterativo de hipótesis en un único bucle impulsado por lenguaje natural, produciendo trazas auditable para cada paso.
2. Algoritmo de Descubrimiento Estadístico: Una nueva tubería (FeatureFinder) que utiliza la agrupación de grafos k-NN y el análisis de activación diferencial para recuperar características marcadoras específicas de categorías sin conocimiento previo de los IDs de características.
3. Tubería de Refinamiento Iterativo: Un proceso de explicación riguroso (FeatureExplainer) que utiliza una batería de evaluación de 7 métricas para afinar hipótesis, detectar polisemicidad y producir explicaciones falsables.
4. Generalizabilidad: Demostración de que el marco se aplica no solo a características de SAE, sino también directamente a activaciones de neuronas MLP crudas en transformadores dispersos en pesos, recuperando circuitos identificados manualmente sin SAE.

Resultados

El marco fue evaluado en la familia de modelos Gemma-2 y en transformadores dispersos en pesos.

• Rendimiento de Refinamiento: El refinamiento iterativo superó consistentemente a las autointerpretaciones de un solo intento. En la familia Gemma-2, las hipótesis refinadas fueron seleccionadas como la mejor explicación para aproximadamente el 80% de las características (usando Gemini 2.5 Pro y Claude 4 Sonnet) y el 64% (usando GPT-4o-mini). Las mejoras corrigieron principalmente restricciones faltantes y etiquetas demasiado amplias dentro de las primeras una o dos iteraciones.
• Precisión del Descubrimiento: El algoritmo FeatureFinder recuperó con éxito características específicas de idiomas (en 20 idiomas) y categorías no lingüísticas (codificación, matemáticas, seguridad) con alta significancia estadística. El enfoque de grafos k-NN superó significativamente a las líneas base de agrupación estándar (K-Means, Aglomerativa) en la alineación del espacio de activación con la identidad del idioma.
• Estudios de Caso:
  • Convergencia Monosémica: El agente refinó con éxito una etiqueta vaga de "conocimiento tecnológico" en una explicación específica de "sintaxis francesa informal en solución de problemas técnicos".
  • Detección de Polisemicidad: El sistema identificó correctamente una característica con hipótesis competitivas de "codificación/ecuaciones" y "discurso técnico-científico", marcándola como polisémica en lugar de forzar una única etiqueta.
  • Auditoría de Seguridad: El agente descubrió una característica relacionada con "explosivos", la validó y demostró que la intervención causal (dirección de activación negativa) redujo el comportamiento de rechazo en prompts sensibles a la seguridad, confirmando el papel funcional de la característica en el circuito de rechazo.
• Descubrimiento de Neuronas Crudas: Aplicado a neuronas MLP crudas en un transformador disperso en pesos, el agente redescubrió automáticamente neuronas previamente identificadas por expertos humanos mediante análisis manual de circuitos, logrando una precisión media de validación superior al 75%.

Significado y Afirmaciones

El artículo argumenta que la interpretabilidad no debe tratarse como una tarea de etiquetado estático, sino como un proceso experimental que implica la propuesta, prueba y revisión de hipótesis. Al automatizar este flujo de trabajo, InterpAgent produce explicaciones que son:

• Más Precisas y Falsables: Avanzando más allá de las etiquetas frágiles de un solo intento hacia explicaciones validadas contra contraejemplos y métricas cuantitativas.
• Auditable: Proporcionando una traza completa de hipótesis, casos de prueba, métricas e intervenciones.
• Escalable: Capaz de manejar el descubrimiento de características desde cero, abordando el cuello de botella de identificar qué características explicar en modelos grandes.

Los autores afirman que este enfoque impulsado por agentes genera conocimientos más robustos que los métodos automatizados actuales y destaca el potencial para la auditoría sistemática de bibliotecas de características a escalas actualmente imprácticas para el análisis manual. Señalan que la efectividad del sistema escala con las capacidades del LLM subyacente utilizado para la generación y refinamiento de hipótesis.