Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

1. El Problema: La Confusión entre Poliseemia y Superposición

El artículo aborda una limitación crítica en la interpretación de los Grandes Modelos de Lenguaje (LLM): la poliseemia neuronal.

• Contexto actual: La hipótesis de la superposición sugiere que las neuronas en los LLMs activan para múltiples conceptos no relacionados porque el modelo carece de dimensiones suficientes para representar todos los conceptos de forma separada, obligándolo a "comprimir" variables en direcciones casi ortogonales.
• La métrica estándar: Las métricas actuales asumen que si una neurona se activa tanto para "banco" (institución financiera) como para "banco" (ribera del río), es evidencia de superposición (dos conceptos distintos comprimidos en una sola neurona).
• La hipótesis de los autores: Este trabajo propone que una gran parte de esta "poliseemia" no es un artefacto de compresión, sino un confundidor léxico. Las neuronas pueden activarse para ambas acepciones simplemente porque comparten la misma forma de palabra ("bank"), antes de que el modelo disambigüe el significado. Las métricas actuales no distinguen entre "comprimir conceptos" y "detectar la identidad de la palabra", lo que lleva a una sobreestimación de la superposición.

2. Metodología: Descomposición Factorial 2x2

Para aislar la contribución de la forma léxica frente al significado semántico, los autores diseñaron un marco experimental riguroso basado en una descomposición factorial de 2x2.

• Diseño Experimental: Se construyeron pares de oraciones cruzando dos factores binarios:

  1. Misma/Diferente Palabra (Forma Léxica).
  2. Mismo/Diferente Significado (Semántica).

• Las 4 Condiciones:

  1. SL (Same-Lemma): Misma palabra, mismo significado (ej. "bank" financiero vs. "bank" financiero). Solapamiento máximo (léxico + semántico).
  2. PS (Polysemantic): Misma palabra, diferente significado (ej. "bank" financiero vs. "bank" río). Solapamiento puramente léxico.
  3. SYN (Synonym): Diferente palabra, mismo significado (ej. "bank" financiero vs. "institución"). Solapamiento puramente semántico.
  4. CL (Cross-Lemma): Diferente palabra, diferente significado (ej. "bank" vs. "planta"). Línea base.

• Métricas Principales:

  • Rlex (Lexical Contribution Ratio): Una métrica normalizada que cuantifica cuánto del solapamiento neuronal se debe a la forma de la palabra en lugar del significado.
    $$R_{lex} = \frac{\overline{M}_{PS} - \overline{M}_{SYN}}{\overline{M}_{SL} - \overline{M}_{CL}}$$
    Donde un $R_{lex} > 0$ indica que la forma de la palabra genera más solapamiento que el significado compartido.
  • SSI (Sense Selectivity Index): Un índice basado en la distancia de Cohen's $d$ para clasificar neuronas como selectivas al sentido (activan para un significado específico) o ciegas al sentido (activan para la palabra independientemente del significado).
  • Intervenciones Causales: Ablación de neuronas (mean-ablation) y edición de modelos (ROME) para probar el impacto causal de eliminar neuronas "ciegas al sentido" frente a las "selectivas".

• Escala de Evaluación: El estudio abarcó 9 modelos Transformer (desde 110M hasta 70B parámetros), incluyendo familias como GPT-2, BERT, Pythia y LLaMA-2, utilizando el corpus SemCor y validando en Wikipedia.

3. Resultados Clave

Los resultados demuestran consistentemente que la identidad léxica es el motor principal del solapamiento neuronal, superando a la superposición semántica.

• Dominio de la Forma Léxica: En todos los modelos y capas, la condición PS (misma palabra, distinto sentido) superó consistentemente a la condición SYN (diferente palabra, mismo sentido). Esto significa que compartir la forma de la palabra genera más solapamiento neuronal que compartir el significado.
• Rlex Alto: El valor de $R_{lex}$ fue significativamente mayor que cero en todas las capas, indicando que la contribución léxica es sustancial. En modelos autoregresivos, $R_{lex}$ disminuye con la profundidad pero nunca llega a cero.
• Impacto en Autoencoders Escasos (SAEs): El confundidor se propaga a los SAEs. Entre el 18% y el 36% de las características aprendidas por los SAEs para palabras polisémicas son "ciegas al sentido" (detectan la forma de la palabra, no el concepto). Esto desafía la suposición de que los SAEs recuperan características monosemánticas puras.
• Estructura Geométrica Compacta: El confundidor no está disperso; reside en un subespacio compacto de aproximadamente 20 dimensiones (≤1% del espacio de activación). Eliminar este subespacio (LIS - Lexical Identity Subspace) reduce o invierte la brecha entre PS y SYN.
• Validación Causal:
  • Las neuronas "ciegas al sentido" tienen un impacto causal mínimo en la discriminación de significados (precisión de sondeo ~42%, cerca del azar).
  • Las neuronas "selectivas al sentido" son las que realmente codifican el significado (precisión >90%).
  • La ablación de neuronas selectivas afecta desproporcionadamente la precisión del sentido específico, mientras que la ablación de neuronas ciegas tiene un efecto negligible.

4. Contribuciones Principales

1. Reevaluación de la Poliseemia: Demuestran que una porción sustancial de lo que las métricas actuales llaman "poliseemia" (y atribuyen a superposición) es en realidad identidad léxica.
2. Nueva Métrica y Clasificación: Introducen $R_{lex}$ y el índice SSI para separar cuantitativamente la detección de formas de palabras de la codificación de conceptos.
3. Corrección de Métricas: Proponen un método para ajustar las puntuaciones de poliseemia eliminando la contribución léxica, lo que revela que la verdadera superposición es menor de lo que se pensaba.
4. Mejora en Tareas de Edición y Desambiguación:
   • Desambiguación de Sentidos (WSD): Usar solo neuronas selectivas mejora la precisión en un 5-6 puntos porcentuales.
   • Edición de Conocimiento (ROME): Al filtrar las neuronas ciegas al sentido antes de editar, se reduce significativamente el "daño colateral" (interferencia en otros sentidos de la misma palabra), haciendo las ediciones más selectivas ($p = 0.002$).

5. Significado e Implicaciones

Este trabajo tiene profundas implicaciones para la interpretabilidad de modelos:

• Para la Hipótesis de Superposición: Sugiere que la superposición real es menos prevalente de lo que indican las métricas actuales. Antes de atribuir el solapamiento a la falta de capacidad del modelo, se debe descontar la señal léxica compartida.
• Para Autoencoders Escasos (SAEs): Advierte que muchos "caracteres" extraídos por SAEs pueden ser detectores de formas de palabras en lugar de conceptos semánticos puros. Esto requiere nuevos criterios de evaluación para asegurar la monosemanticidad real.
• Para la Ingeniería de Modelos: Proporciona una herramienta práctica para realizar ediciones de modelos más precisas. Al proteger las neuronas que solo detectan la forma de la palabra, se evita alterar accidentalmente otros significados de la misma palabra durante el ajuste o la edición de conocimientos.
• Conclusión Final: La señal léxica debe separarse antes de atribuir el solapamiento restante a la compresión. Los autores ofrecen herramientas ($R_{lex}$, clasificación SSI, subespacio LIS) para comenzar a medir la poliseemia distinguiendo entre forma de palabra y concepto.