🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

Este artículo introduce la "rivalidad de características" como pares de características de Autoencoders Dispersos negativamente correlacionados que sirven como una firma mecanística de la incertidumbre del modelo en Gemma-2-2B, demostrando que los prompts de alta entropía desencadenan una rivalidad más intensa en capas específicas, que la dirección a lo largo de los ejes de rivalidad influye causalmente en las salidas y que las puntuaciones de rivalidad pueden predecir la corrección de las respuestas.

Autores originales: Harshavardhan

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Harshavardhan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como Gemma-2 como una ciudad masiva y bulliciosa donde millones de trabajadores diminutos (neuronas) se pasan notas constantemente entre sí para responder preguntas. Por lo general, estos trabajadores están organizados en equipos especializados. Pero a veces, cuando el modelo no está seguro de la respuesta, dos equipos diferentes aparecen al mismo tiempo, gritándose unos a otros, tratando de tomar el control de la conversación.

Este artículo denomina ese caos "Rivalidad de Características".

Aquí tienes un desglose sencillo de lo que descubrieron los investigadores, utilizando analogías cotidianas:

1. La Idea Central: El "Debate" en el Cerebro

Los investigadores utilizaron una herramienta especial llamada Autoencoder Disperso (SAE). Imagina esta herramienta como un par de gafas de alta tecnología que nos permiten ver los "conceptos" individuales en los que el modelo está pensando, en lugar de solo ver la respuesta final.

Cuando el modelo está seguro: Es como un coro cantando en perfecta armonía. Una melodía clara (un concepto dominante) se eleva por encima del resto.
Cuando el modelo está inseguro: Es como un debate acalorado en un ayuntamiento. Dos ideas opuestas (características rivales) comienzan a gritarse mutuamente, tratando de suprimir a la otra. El artículo encontró que, cuando el modelo no está seguro, estos conceptos "rivales" se vuelven fuertemente correlacionados negativamente: luchan activamente para anularse mutuamente.

2. Experimento 1: ¿Dónde ocurre la pelea?

Los investigadores hicieron 400 preguntas al modelo. Las dividieron en dos grupos:

Preguntas Fáciles: El modelo conocía la respuesta al instante (Baja Entropía).
Preguntas Difíciles/Ambiguas: El modelo estaba confundido y daba respuestas diferentes cada vez (Alta Entropía).

El Descubrimiento:
Descubrieron que la "pelea" entre conceptos no ocurría en todas partes. Se concentraba en dos "habitaciones" (capas) específicas del cerebro del modelo:

Habitación 0 (La Entrada): La pelea comienza inmediatamente cuando la pregunta entra en el sistema. Incluso antes de que el modelo comience a procesar la lógica, la incertidumbre ya está causando una lucha de tira y afloja entre conceptos.
Habitación 12 (El Medio): La pelea vuelve a estallar en medio de la cadena de procesamiento, donde el modelo intenta armar el significado.

Analogía: Imagina una carrera de relevos. Si el corredor no está seguro de la ruta, tropieza justo en la línea de salida (Capa 0) y de nuevo justo antes del pase del testigo en medio de la pista (Capa 12). Si está seguro, corre sin problemas.

3. Experimento 2: ¿Podemos inclinar la balanza?

Los investigadores querían saber si esta pelea realmente causa que el modelo cambie su respuesta, o si es solo un efecto secundario.

Utilizaron una técnica llamada Dirigimiento de Activación. Imagina que el cerebro del modelo es un barco y la "rivalidad" es una fuerte corriente que lo empuja hacia la izquierda o hacia la derecha. Los investigadores agarraron el timón y lo empujaron en la dirección de la rivalidad (la dirección donde los dos conceptos están luchando).

El Descubrimiento:

Cuando dieron un pequeño empujón en la dirección de la rivalidad, el modelo cambió su respuesta con más frecuencia que cuando lo empujaron en una dirección aleatoria.
Analogía: Es como un columpio con dos niños luchando por el puesto superior. Si empujas suavemente el columpio hacia el lado de la "pelea", puedes inclinar el equilibrio y hacer que el modelo elija la idea del otro niño. Esto demuestra que la rivalidad no es solo ruido; es una fuerza real y activa que moldea la salida.

4. Experimento 3: ¿Podemos predecir errores?

Finalmente, preguntaron: "¿Podemos observar esta pelea interna para adivinar si el modelo está a punto de equivocarse en la respuesta?"

Crearon una "Puntuación de Rivalidad" para cada pregunta.

Puntuación Alta: Mucha pelea entre conceptos.
Puntuación Baja: Los conceptos están tranquilos y de acuerdo.

El Descubrimiento:

La Puntuación de Rivalidad fue bastante buena para predecir errores (aproximadamente un 69% de precisión).
No fue tan buena como el propio "medidor de confianza" del modelo (que fue aproximadamente un 81% preciso), pero tenía una superpoder única: No necesitaba ver la respuesta final para saber que el modelo estaba inseguro.
Analogía: El medidor de confianza del modelo es como revisar el pronóstico del tiempo después de que ha llovido. La Puntuación de Rivalidad es como mirar las nubes oscuras reuniéndose antes de que comience a llover. Ofrece una advertencia temprana basada en la tormenta interna, no en el resultado.

Resumen

Este artículo muestra que cuando una IA está confundida, sus "trabajadores" internos comienzan a pelear entre sí. Esta pelea:

Ocurre en etapas específicas del proceso de pensamiento de la IA.
Realmente cambia lo que dice la IA si la empujas en la dirección correcta.
Puede utilizarse como un "detector de humo" para indicarnos que la IA está insegura, incluso antes de que nos dé una respuesta incorrecta.

Los investigadores enfatizan que esto es una forma de entender cómo piensa el modelo, en lugar de solo qué piensa, ofreciendo una nueva ventana a la "caja negra" de la incertidumbre de la IA.

Resumen Técnico: Rivalidad de Características en Representaciones de Autoencoders Dispersos

Declaración del Problema

Aunque los Autoencoders Dispersos (SAE) se han convertido en una herramienta estándar para descomponer las representaciones de Modelos de Lenguaje Grandes (LLM) en características interpretables y monosémicas, los mecanismos que rigen cómo interactúan estas características bajo condiciones de incertidumbre siguen siendo poco comprendidos. Específicamente, no está claro si la competencia entre múltiples características que se activan simultáneamente sirve como una firma mecánica de la incertidumbre del modelo. Este artículo investiga la Rivalidad de Características—definida como la presencia de pares de características SAE fuertemente correlacionados negativamente en una capa dada—como un indicador potencial de ambigüedad en el procesamiento del modelo.

Metodología

El estudio utiliza Gemma-2-2B y SAE de Gemma Scope (ancho 16k) a través de 13 capas (0–24, paso 2). El diseño experimental se basa en el conjunto de datos PopQA, empleando una división de entropía dentro del dominio para aislar la incertidumbre del modelo de los factores de confusión a nivel de conjunto de datos.

Preparación de Datos: Los autores muestrearon 20 completaciones por pregunta a una temperatura de 1.0 para calcular la entropía de Shannon normalizada ( $H(q)$ ). Las preguntas se dividieron en dos condiciones:
- Ambiguas (Alta Entropía): $H(q) > 0.7$ (200 preguntas).
- No ambiguas (Baja Entropía): $H(q) < 0.5$ (200 preguntas).
- Este diseño asegura que el dominio, el formato y los tipos de respuesta permanezcan constantes, atribuyendo las diferencias observadas únicamente a la incertidumbre del modelo.
Experimento 1: Localización de la Rivalidad:
- Métrica: El "Puntaje de Rivalidad" se define como el percentil 5 de todas las correlaciones de Pearson por pares de activaciones de características a través de los prompts en una capa específica. Valores más negativos indican una rivalidad más fuerte.
- Análisis: Las pruebas U de Mann-Whitney compararon las distribuciones de rivalidad entre las condiciones ambiguas y no ambiguas a través de las capas.
Experimento 2: Intervención Causal (Dirigido de Activación):
- Configuración: Se identificaron los 20 pares de características rivales principales. Se construyó un vector de "eje de rivalidad" ( $v_{rivalry}$ ) restando los vectores del decodificador de las dos características rivales ( $W_{dec}[A] - W_{dec}[B]$ ).
- Intervención: Durante la generación en la capa 10, este vector se añadió al estado oculto del último token.
- Comparación: La "tasa de cambio" (fracción de salidas que cambian) para el dirigido por eje de rivalidad se comparó contra una línea base de dirección aleatoria en multiplicadores de dirigido de 5, 10 y 20.
Experimento 3: Utilidad Predictiva:
- Métrica: Se calculó un puntaje de rivalidad por prompt en la capa 10 utilizando el percentil 5 de las similitudes coseno entre los vectores del decodificador de las 50 características activas principales.
- Evaluación: Este puntaje se probó como predictor de la corrección de la respuesta (binario: verdad fundamental presente en la salida) y se comparó contra la confianza softmax (probabilidad del token superior) utilizando AUROC.

Resultados Clave

1. Localización de la Incertidumbre

La rivalidad de características es significativamente más fuerte para preguntas ambiguas en comparación con las no ambiguas, pero este efecto no es uniforme en toda la red.

Capa 0: Diferencia altamente significativa ( $p = 5.3 \times 10^{-26}$ ), lo que sugiere que la incertidumbre se manifiesta como competencia de características inmediatamente después de la codificación inicial.
Capa 12: Un segundo pico significativo ( $p = 5.8 \times 10^{-5}$ ), correspondiente a la integración semántica de nivel medio.
Otras capas no mostraron diferencias significativas después de la corrección de Bonferroni.

2. Influencia Causal

El dirigido de activación a lo largo del eje de rivalidad produjo un efecto causal medible en las salidas del modelo.

Con un multiplicador de dirigido bajo (5), el dirigido por eje de rivalidad resultó en tasas de cambio de salida más altas que el dirigido aleatorio en 15 de 20 pares rivales (75%).
La brecha media en la tasa de cambio fue de +0.06 (Rivalidad: 0.20 vs. Aleatorio: 0.14).
El efecto disminuyó en multiplicadores más altos (10 y 20), donde las perturbaciones se volvieron demasiado grandes e indiscriminadas.

3. Rendimiento Predictivo

El puntaje de rivalidad por prompt sirve como una señal de incertidumbre válida, aunque imperfecta.

AUROC para Predicción de Corrección: El puntaje de rivalidad alcanzó 0.689, superando significativamente al azar (0.500) pero quedando por debajo de la confianza softmax (0.808).
Calibración: Ambas señales mostraron tendencias monótonas donde puntajes más altos se correlacionaron con mayor precisión.
Valor Distinto: A diferencia de la confianza softmax, el puntaje de rivalidad se deriva puramente de representaciones internas sin requerir muestreo de salida ni acceso a la verdad fundamental.

Significado y Afirmaciones

El artículo postula que la Rivalidad de Características es una señal de incertidumbre con base mecánica que ofrece tres contribuciones principales:

Localización Mecanística: Identifica etapas específicas en la corriente residual (codificación temprana e integración semántica de nivel medio) donde la incertidumbre se manifiesta como competencia entre representaciones de conceptos, en lugar de ser una propiedad monolítica del modelo.
Validación Causal: Proporciona evidencia causal de que la competencia entre características rivales es anterior a las salidas del modelo; dirigir a lo largo de la dirección de rivalidad influye directamente en la generación, confirmando que estas características compiten activamente durante la inferencia.
Señal de Incertidumbre Interpretable: Demuestra que la competencia interna de características puede predecir la corrección de la respuesta sin depender de distribuciones de salida. Aunque es menos precisa que la confianza softmax, ofrece interpretabilidad (identificando qué conceptos están compitiendo) y computabilidad en escenarios de un solo paso.

Los autores enfatizan que su división de entropía dentro del dominio es una mejora metodológica sobre las comparaciones entre conjuntos de datos, asegurando que las diferencias de rivalidad sean atribuibles a la incertidumbre del modelo y no a artefactos del conjunto de datos. Concluyen que, aunque la rivalidad no supera a la confianza softmax en poder predictivo bruto para preguntas y respuestas cortas, proporciona una ventana única e interpretable a la dinámica interna de la incertidumbre.