💬 NLP

Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

Este estudio demuestra que las estructuras de interferencia derivadas de la polisemicidad en modelos pequeños se transfieren de manera predecible a modelos más grandes, revelando una organización interna convergente que permite el control de modelos sin acceso a sus parámetros internos.

Autores originales: Bofan Gong, Shiyang Lai, James Evans, Dawn Song

Publicado 2026-03-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bofan Gong, Shiyang Lai, James Evans, Dawn Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los modelos de lenguaje (como los que usas para chatear o escribir) son como gigantescas orquestas internas. Dentro de estas orquestas, hay miles de músicos (neuronas) tocando al mismo tiempo.

El problema que descubren los autores de este paper es que muchos de estos músicos son "músicos polifacéticos". Un solo músico no solo toca el violín (una idea), sino que a veces toca el violín, la batería y el saxofón al mismo tiempo, dependiendo de la canción. En el mundo de la IA, esto significa que una sola parte del cerebro de la máquina puede significar "perro", "velocidad" y "pelaje" todo a la vez. A esto se le llama polisemanticidad.

Aquí te explico los hallazgos clave usando analogías sencillas:

1. El "Efecto Mariposa" Inverso (Interferencia)

Normalmente, pensamos que si quieres cambiar una canción, tienes que tocar la nota correcta. Pero los investigadores descubrieron algo extraño: puedes cambiar la canción tocando una nota que parece totalmente diferente.

La Analogía: Imagina que quieres que la orquesta toque una canción triste (el objetivo). En lugar de tocar una nota triste, tocas una nota que significa "comida rápida". Sorprendentemente, la música se vuelve triste.
¿Por qué? Porque en el cerebro de la máquina, la idea de "comida rápida" y la idea de "tristeza" comparten el mismo "músico" (neuronas) en su interior. Al activar uno, activas al otro sin querer. Es como si dos cables diferentes estuvieran conectados al mismo interruptor en la pared.

2. El Mapa del Tesoro Oculto (SAEs)

Para encontrar estos cables conectados, los autores usaron unas herramientas llamadas Autoencoders Escasos (SAEs).

La Analogía: Imagina que la orquesta es un caos de ruido. Los SAEs son como unos auriculares de realidad aumentada que te permiten ver qué nota está tocando realmente cada músico, separando el ruido de la melodía. Usando estos auriculares, los investigadores pudieron ver que, aunque dos ideas parecen no tener nada que ver (como "geografía" y "programación"), en el cerebro de la máquina a veces están sentadas en la misma silla.

3. El Truco del "Prompt" (Inyección de Prompts)

No necesitas ser un ingeniero experto para hacer esto. Puedes hacerlo simplemente escribiendo.

La Analogía: Si quieres que un modelo hable de "política", pero le pides que hable de "licencias de software" (algo que parece aburrido y sin relación), el modelo podría empezar a hablar de política.
¿Por qué? Porque en el cerebro de la máquina, las palabras sobre "licencias" activan al mismo "músico" que las palabras sobre "política". Es como si dijeras una palabra clave en un idioma secreto que, sin que te des cuenta, le da la orden a la IA de cambiar de tema.

4. El Secreto que Viaja (Transferencia)

Lo más asombroso es que descubrieron que este mapa de cables conectados es el mismo en modelos pequeños y en modelos gigantes.

La Analogía: Imagina que aprendes a hackear un juguete pequeño (un modelo de 70 millones de parámetros) encontrando un botón secreto. Luego, vas a un robot gigante (un modelo de 70 mil millones de parámetros) y descubres que tiene el mismo botón secreto en el mismo lugar.
Esto significa que, aunque los modelos crezcan y cambien, mantienen una estructura interna muy similar. Lo que funciona en uno, funciona en el otro.

5. Los "Super-Músicos" (Neurones Super-Polisémicas)

Encontraron algunos músicos que tocan demasiados instrumentos a la vez (más de 500 conceptos).

La Analogía: Hay un director de orquesta que controla todo. Si lo apagas, la música apenas cambia. Pero si lo subes de volumen (le das más energía), la orquesta cambia drásticamente y empieza a tocar cosas completamente diferentes. Estos "super-músicos" son puntos débiles críticos en la estructura de la IA.

¿Por qué es importante esto?

Seguridad: Nos dice que las IAs son más frágiles de lo que pensábamos. Se pueden manipular con señales que parecen inocentes o sin sentido.
Comprensión: Nos dice que la IA no es un caos aleatorio. Tiene una estructura lógica y predecible, incluso si esa lógica es extraña para los humanos (como conectar "Beethoven" con "frustración" porque ambos comparten un cable interno).
Control: Nos da nuevas formas de controlar a la IA sin necesidad de reprogramarla, simplemente "tocando" los cables internos correctos.

En resumen: Los autores demostraron que dentro de la "mente" de la IA, las ideas que parecen muy diferentes a veces están sentadas muy cerca. Si empujas una, la otra se mueve. Y lo mejor (o peor, dependiendo de cómo lo veas) es que este mapa de conexiones es el mismo en todos los modelos, grandes o pequeños.

Resumen Técnico: Señal en el Ruido – Interferencia Polisemántica y Transferencia de Influencia entre Modelos

1. Planteamiento del Problema

La polisemanticidad (la capacidad de una sola neurona o grupo de neuronas para codificar múltiples conceptos distintos) es un fenómeno omnipresente en los modelos de lenguaje grandes (LLMs). Aunque esta propiedad mejora la eficiencia del aprendizaje y la capacidad del modelo al permitir la "superposición" de características, presenta dos desafíos críticos:

Interpretabilidad: Dificulta la comprensión de cómo se codifican los conceptos humanos dentro de la estructura interna del modelo.
Vulnerabilidad Sistémica: La superposición crea interferencias entre características semánticamente distintas pero que comparten direcciones de activación en el espacio latente. La literatura existente ha pasado por alto cómo estas estructuras polisemánticas pueden ser explotadas para manipular el comportamiento del modelo de manera sistemática y transferible entre diferentes arquitecturas.

El objetivo del trabajo es identificar estas estructuras de interferencia en modelos pequeños, demostrar su vulnerabilidad ante intervenciones y probar si estas vulnerabilidades se transfieren a modelos más grandes y de caja negra.

2. Metodología

Los autores emplean una combinación de técnicas de interpretabilidad mecánica y experimentos de intervención en cuatro niveles de granularidad:

Herramientas Principales:
- Autoencoders Escasos (SAEs): Se utilizan SAEs preentrenados (de Neuronpedia) para descomponer las activaciones de los modelos en características monosemánticas. Se enfocan en dos modelos pequeños: Pythia-70M y GPT-2-Small.
- Definición de Interferencia: Se mide la interferencia entre dos características $f_i$ y $f_j$ como la similitud coseno entre sus direcciones en el espacio de activación del modelo ( $A_\ell$ ), incluso si sus significados semánticos en el manifiesto simbólico humano ( $M$ ) son ortogonales (distintos).
- Agrupamiento Jerárquico (Agglomerative Clustering): Se utiliza para alinear las características a un nivel semántico consistente y aislar grupos de características que son semánticamente distintos pero que interfieren fuertemente.
Estrategias de Intervención (Pruebas de Vulnerabilidad):
1. Intervención de Dirección de Característica (Feature Steering): Se inyectan vectores de dirección derivados de características SAE que son semánticamente irrelevantes para la meta, pero que interfieren con ella en el espacio de activación.
2. Intervención de Gradiente de Token (Token-Gradient Steering): Se calculan los gradientes de los tokens que activan más fuertemente las características interferentes y se usan como vectores de dirección para manipular el modelo sin necesidad de acceder a los pesos del SAE.
3. Inyección de Prompt (Prompt Injection): Se añaden fragmentos de texto que activan fuertemente las características interferentes al inicio del prompt para inducir cambios en la predicción del siguiente token.
4. Intervención a Nivel de Neurona: Se manipulan (enmascaran o amplifican) las activaciones de neuronas individuales, clasificándolas por su grado de polisemanticidad (número de características conectadas).
Métricas de Evaluación:
- Se mide el cambio en la distribución de probabilidad del siguiente token utilizando similitud coseno ponderada y superposición ponderada (weighted overlap) entre la salida del modelo y un conjunto de tokens objetivo asociados a la característica deseada.
Validación de Transferencia:
- Las intervenciones derivadas de Pythia-70M y GPT-2-Small se aplican a modelos más grandes y de caja negra: Llama-3.1-8B/70B-Instruct y Gemma-2-9B-Instruct.

3. Contribuciones Clave

El trabajo presenta cuatro hallazgos fundamentales:

Manipulación Efectiva mediante Interferencia: Se demuestra experimentalmente que es posible manipular la salida de un modelo dirigiendo características o tokens que no están alineados semánticamente con el objetivo, pero que interfieren con él en el espacio latente. Esto permite inducir la expresión de un significado deseado de manera encubierta.
Estructuras Polisemánticas Persistentes y Transversales: Se identifican estructuras de interferencia que persisten a través de diferentes modelos (desde 70M hasta 70B parámetros). Las intervenciones diseñadas en modelos pequeños se transfieren con éxito a modelos grandes e instruidos, revelando una arquitectura de significado compartida que trasciende la implementación específica.
Patrones de Interferencia Contra-intuitivos: Se descubren pares de características que interfieren fuertemente pero carecen de una relación semántica de alto orden obvia para los humanos (menos del 30% de los casos analizados mostraron asociaciones plausibles). Esto sugiere que los modelos aprenden regularidades robustas y opacas a la interpretación humana.
Vulnerabilidad Asimétrica en "Super-Neuronas": Se identifica que las neuronas altamente polisemánticas (conectadas a >500 características) son puntos críticos de vulnerabilidad.
- Amplificación: Aumentar la activación de estas "super-neuronas" altera exponencialmente el comportamiento del modelo.
- Enmascaramiento: Desactivarlas tiene un efecto notablemente menor, sugiriendo que actúan como uniones críticas en la arquitectura semántica.

4. Resultados Principales

Eficacia de Intervención: Las intervenciones basadas en gradientes de tokens y la inyección de prompts logran desviar las predicciones hacia la semántica deseada. En modelos pequeños, la intervención por gradiente de token es aproximadamente 10 veces más efectiva que la basada en direcciones de características SAE.
Transferencia a Modelos Grandes:
- En modelos de caja negra (Llama-3, Gemma-2), el uso de tokens de interferencia derivados de modelos pequeños logró aumentar la presencia de tokens objetivo en las predicciones superiores con una tasa de éxito superior al 95% en categorías como ubicación, nombre y emoción.
- Se observó que ciertas interferencias (ej. entre "ubicación" y "tipos de datos de programación") se mantienen consistentes a través de múltiples arquitecturas.
Análisis de Regularidades Ocultas: La anotación automática de pares de características interferentes reveló que la mayoría de las conexiones no son explicables por asociaciones semánticas superficiales, apoyando la hipótesis de una organización de orden superior latente.

5. Significado e Implicaciones

Desafío a la Teoría Actual: Los resultados desafían la visión de que la polisemanticidad es meramente un artefacto estocástico del entrenamiento. En su lugar, sugieren una organización convergente y de orden superior de las representaciones internas, estructurada por regularidades latentes.
Seguridad y Control (Black-Box): Demuestra que es posible controlar modelos grandes sin acceso a sus parámetros internos, utilizando solo intervenciones derivadas de modelos pequeños o análisis de gradientes. Esto tiene implicaciones profundas para la seguridad (ataques adversarios) y la alineación (defensas y control de comportamiento).
Nueva Perspectiva Cognitiva: La existencia de interferencias estables y contra-intuitivas sugiere que los LLMs pueden estar codificando estructuras de conocimiento que imitan asociaciones humanas "débiles" o inconscientes, ofreciendo nuevas vías para estudiar la cognición artificial y humana.
Fragilidad Estructural: Identifica a las "super-neuronas" como puntos de fallo críticos, lo que podría guiar futuras investigaciones en robustez y mecanismos de defensa.

En conclusión, el artículo establece que la "señal" en el ruido de la polisemanticidad no es aleatoria, sino una estructura sistémica que permite la transferencia de vulnerabilidades y el control predictivo de modelos de lenguaje a través de escalas y arquitecturas.