Resumen Técnico: Descubrimiento de Características No Supervisado mediante la Alineación de Semántica y Mecanismos

Planteamiento del Problema

A medida que los modelos de lenguaje de gran tamaño (LLM) se despliegan en dominios de alto riesgo, surge una necesidad creciente de auditar no solo las salidas del modelo, sino también los cálculos internos que las generan. Si bien la interpretabilidad mecanicista ofrece herramientas para explicar comportores específicos, el enfoque dominante, el análisis de circuitos, es típicamente condicionado al objetivo. Esto significa que los analistas deben especificar un único prompt y una salida objetivo elegida para identificar el circuito causal.

Esta configuración condicionada al objetivo presenta dos limitaciones críticas:

1. Generalizabilidad: No está claro si un mecanismo identificado para una completación específica se generaliza a paráfrasis semánticamente similares o si refleja una dependencia frágil de una forma superficial específica.
2. Heterogeneidad Oculta: Incluso para un objetivo fijo, el análisis de un solo objetivo puede oscurecer la heterogeneidad en el cálculo interno. Las salidas semánticamente similares pueden depender de patrones de activación internos distintos que el análisis de un solo objetivo no logra capturar.

Las evaluaciones conductuales actuales se limitan a correlaciones entrada-salida, mientras que los métodos mecanicistas existentes a menudo requieren la especificación manual de objetivos, lo que puede omitir los diversos "modos de continuación" que un modelo puede producir para un mismo prompt.

Metodología

Los autores proponen un marco para el descubrimiento de características no supervisado a nivel de distribución. En lugar de analizar un único objetivo, el método agrupa la distribución de continuaciones muestreadas de un modelo mediante la alineación conjunta de contenido semántico y atribuciones mecanicistas a nivel de secuencia.

El marco opera en tres etapas:

1. Muestreo de Continuación

Dado un prefijo de entrada $x$, el modelo muestrea $N$ continuaciones distintas $y^{(n)}$ utilizando el muestreo de núcleo (nucleus sampling). A cada continuación se le asigna una probabilidad de longitud normalizada $P_n$, que representa su verosimilitud bajo la distribución del modelo. Estas probabilidades se utilizan para ponderar las contribuciones de cada continuación durante el agrupamiento (clustering).

2. Representación Dual

Cada continuación muestreada se representa mediante dos visiones complementarias:

• Embedding Semántico ($e_n$): Captura el significado lingüístico de la continuación en contexto, derivado típicamente de un modelo de embeddings preentrenado (por ejemplo, EmbeddingGemma).
• Embedding Mecanicista ($a_n$): Captura cómo las características del prefijo afectan los logits de la continuación. Esto se calcula utilizando transcodificadores (autoencoders dispersos entrenados para aproximar capas MLP) para descomponer los cálculos de MLP en características dispersas interpretables. El vector de atribución $a_n$ agrega la atribución lineal directa de las características del prefijo a los logits desmeados a lo largo de todo el intervalo de la continuación.

3. Agrupamiento Conjunto mediante Rate-Distortion (Tasa-Distorsión)

La innovación central es formular el descubrimiento de latentes como un problema de optimización de tasa-distorsión. El objetivo es encontrar un agrupamiento que minimice la distorsión (error de reconstrucción) tanto en las visiones semántica como mecanicista, mientras se minimiza la tasa (entropía de las asignaciones de clústeres).

La función objetivo es:
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
Donde:

• $H(C)$ es la entropía de la distribución previa de los clústeres (Tasa).
• $D(e)$ y $D(a)$ son las distorsiones ponderadas por probabilidad en los espacios semántico (L2) y de atribución (L1), respectivamente.
• $\beta$ controla el compromiso entre compresión (menos clústeres) y fidelidad (baja distorsión).
• $\gamma$ equilibra el peso entre las visiones semántica y mecanicista ($\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$).

Operaciones Adaptativas: A diferencia de K-means, que fija $K$ a priori, este marco utiliza operaciones de División (Split) y Basura (Junk) para ajustar adaptativamente el número de clústeres:

• División (Split): Divide un clúster heterogéneo si la reducción en la distorsión supera el costo del aumento de la entropía (tasa).
• Basura (Junk): Elimina clústeres espurios que capturan ruido en lugar de modos coherentes si la reasignación de sus miembros reduce el objetivo total.

Contribuciones Clave

1. Análisis a Nivel de Distribución: El artículo introduce el primer marco para agrupar la distribución de continuaciones de un modelo utilizando tanto la estructura semántica como la atribución mecanicista a nivel de secuencia, yendo más allá del análisis de un solo objetivo.
2. Optimización Conjunta: Demuestra que la optimización conjunta de la coherencia semántica y la consistencia mecanicista revela modos de continuación que las líneas base de una sola visión (solo semántica o solo atribución mediante K-means) pasan por alto.
3. Validación Causal mediante Dirección (Steering): Los autores proporcionan evidencia intervencionista de que las firmas de los clústeres descubiertos corresponden a factores mecanicistas accionables. Al dirigir el modelo a lo largo de las direcciones derivadas de los clústeres (usando los medoides), demuestran cambios consistentes y direccionales en la preferencia del modelo por las continuaciones dentro de ese clúster.
4. Control de Granularidad: El marco permite a los usuarios controlar la granularidad de los modos descubiertos mediante el enfriamiento (annealing) del parámetro $\beta$, revelando estructuras jerárquicas donde los clústeres más finos heredan firmas mecanicistas de los más gruesos.

Resultados Experimentales

El método fue evaluado en AmbigQA (usando Qwen3-8B) y MMLU, con experimentos adicionales en Gemma3 y tareas de razonamiento (GSM8K, MATH500).

• Rendimiento de Agrupamiento: En comparaciones de tasa igualada, el agrupamiento de Tasa-Distorsión (RD) propuesto logró la menor distorsión mixta ($D_\gamma$) en el 94% de los casos en comparación con las líneas base de K-means (KM-S para solo semántica, KM-A para solo atribución). KM-S preservó la coherencia semántica pero falló en la consistencia mecanicista, mientras que KM-A mostró el modo de fallo opuesto.
• Análisis de Granularidad: La variación de $\beta$ reveló una estructura jerárquica. Por ejemplo, un clúster grueso definido por el "estilo de formato" (ej. solista vs. banda) se dividió en clústeres más finos basados en detalles de contenido específicos (ej. listar miembros de la banda vs. descripciones de género) a medida que $\beta$ aumentaba.
• Validación de Dirección (Steering): Los experimentos de dirección confirmaron las relaciones causales. Las direcciones de los medoides derivadas de RD produjeron correlaciones fuertes y monótonas entre la fuerza de la dirección ($\epsilon$) y los cambios en los logits del objetivo del clúster. En contraste, las líneas base puramente semánticas (KM-Sem) mostraron correlaciones cercanas a cero, y las líneas base de un solo objetivo fueron más débiles e inconsistentes.
• Tareas de Razonamiento: En los benchmarks de razonamiento, el método identificó con éxito que pasos de razonamiento previos específicos influyen causalmente en clústeres de pasos objetivo específicos, observándose los efectos más fuertes entre los pasos iniciales de la fuente y los objetivos posteriores.

Significado y Reivindicaciones

El artículo afirma que este enfoque complementa el análisis de circuitos convencional y la evaluación conductual al proporcionar una auditoría escalable de los mecanismos subyacentes a la distribución de continuaciones de un modelo.

• Complementariedad: Reduce la dependencia de objetivos elegidos manualmente, haciendo emerger hipótesis mecanicistas respaldadas por la dirección de clústeres. Los usuarios pueden primero descubrir clústeres y luego rastrear los circuitos específicos asociados a un clúster seleccionado.
• Mecanismos Accionables: Los modos descubiertos no son meramente descriptivos; corresponden a factores mecanicistas accionables que pueden manipularse para cambiar el comportamiento del modelo de maneras predecibles.
• Limitaciones: Los autores reconocen limitaciones respecto a la carga computacional (debido a la necesidad de pasadas hacia atrás para la atribución) y la falta de un marco principista para asignar etiquetas interpretables por humanos a los clústeres. Señalan que la validación bajo intervención no garantiza la unicidad de las características identificadas, lo que requiere una inspección contrafactual adicional.

En resumen, el trabajo propone un cambio del análisis de pares aislados de entrada-salida al análisis de la distribución de continuaciones, ofreciendo una lente más robusta para comprender los cálculos internos heterogéneos de los modelos de lenguaje de gran tamaño.