Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

1. Planteamiento del Problema

El artículo aborda limitaciones críticas en el enfoque estándar de Sonda de Decodificación utilizado para analizar Modelos de Lenguaje Grandes (LLM) y modelos de habla. Aunque las sondas de decodificación (que mapean representaciones del modelo $X$ a propiedades lingüísticas $Y$) determinan si la información está presente, adolecen de dos problemas principales:

1. Contribuciones de Características Incomparables: Las puntuaciones de precisión de decodificación (por ejemplo, 95% para identificación de hablante frente a 58% para fonética) no pueden compararse directamente para determinar la importancia relativa, ya que dependen de factores específicos de la tarea, como el número de clases y las distribuciones de etiquetas.
2. Artefactos de Correlación de Características: Las altas correlaciones entre características (por ejemplo, identidad de la palabra y categoría gramatical) pueden llevar a las sondas a depender de una característica (identidad léxica) para predecir otra (sintaxis), generando conclusiones engañosas sobre lo que el modelo codifica realmente.

Los autores argumentan que el campo necesita un método para cuantificar las contribuciones relativas de las características mientras se controlan las correlaciones.

2. Metodología: La Sonda de Codificación

Los autores proponen una novedosa Sonda de Codificación que invierte la dirección tradicional de la sondeo. En lugar de mapear representaciones a etiquetas ($f: X \to Y$), la Sonda de Codificación mapea características interpretables a las representaciones del modelo ($g: Y \to X$).

• Mecanismo Central: La sonda utiliza Regresión Ridge Multivariante para reconstruir las activaciones del estado oculto interno ($X$) de un modelo objetivo basándose en un conjunto de características de entrada interpretables ($Y$).
• Conjuntos de Características: El estudio utiliza diversos conjuntos de características derivados de ondas de audio y texto, que incluyen:
  • Acústica: Tono, formantes, MFCC.
  • Fonética: Posteriogramas fonéticos (PPG).
  • Identidad del Hablante: Etiquetas de hablante codificadas en one-hot.
  • Sintaxis: Etiquetas POS, etiquetas de dependencia, profundidad del árbol.
  • Léxico: Incrustaciones estáticas de palabras FastText.
• Métrica de Evaluación: El rendimiento se mide mediante la Varianza No Explicada (UV), definida como $1 - R^2$. Una UV más baja indica una mejor reconstrucción.
• Estrategia de Ablación: Para cuantificar la contribución de características específicas, los autores realizan ablación de características. Comparan la UV de una sonda "Completa" (todas las características) frente a sondas donde se eliminan características específicas (por ejemplo, $Completa \setminus Sintaxis$).
  • El aumento en la UV al eliminar una característica representa la contribución única y condicional de esa característica a la representación, independiente de otras características correlacionadas.
• Modelos Probados:
  • Habla: Wav2vec2 (Base, ajustado para ASR, ajustado para Identificación de Hablante).
  • Texto: BERT (Base).
  • Datos: LibriSpeech (habla) y corpus de texto estándar.

3. Contribuciones Clave

1. Cambio de Paradigma: Introduce la Sonda de Codificación como una herramienta complementaria a la Sonda de Decodificación, desplazando el enfoque de "¿podemos extraer esto?" a "¿cuánto explica esto la representación?".
2. Rigor Estadístico: Aplica principios estándar de análisis de regresión (específicamente descomposición de varianza) a la interpretabilidad, permitiendo la comparación directa de la importancia de las características entre diferentes tipos de características (por ejemplo, acústicas vs. semánticas).
3. Control de Correlación: Demuestra un método robusto para desentrañar características correlacionadas (por ejemplo, separar la contribución de la sintaxis de la identidad de la palabra) al condicionar la reconstrucción en múltiples conjuntos de características simultáneamente.
4. Marco Unificado: Proporciona un único marco para analizar tanto modalidades de texto como de habla, revelando cómo los objetivos de entrenamiento (auto-supervisado, ASR, SID) alteran el espacio de representación interno.

4. Resultados Clave

Experimento 1: Identidad del Hablante en Modelos de Habla

• Decodificación vs. Codificación: Aunque la identidad del hablante es decodificable de todas las variantes de Wav2vec2, la Sonda de Codificación revela que su contribución real varía drásticamente según los objetivos de entrenamiento.
• Modelos Base y ASR: En modelos estándar y ajustados para ASR, las características acústicas y fonéticas contribuyen significativamente más a la reconstrucción de los estados ocultos que la identidad del hablante. La identidad del hablante contribuye con una fracción menor de la varianza.
• Modelos Ajustados para SID: En modelos ajustados específicamente para Identificación de Hablante (SID), las capas superiores están dedicadas casi exclusivamente a codificar la identidad del hablante. Aquí, eliminar las características del hablante provoca un aumento masivo en el error de reconstrucción, mientras que eliminar características fonéticas/acústicas tiene un efecto negligible.
• Perspectiva: Las sondas de decodificación mostraron que la ID del hablante está presente en los modelos ASR, pero las sondas de codificación revelaron que es marginal para la estructura de la representación en comparación con la fonética.

Experimento 2: Sintaxis vs. Léxico

• Independencia: El estudio confirma que las características sintácticas y léxicas hacen contribuciones independientes a las representaciones del modelo. Eliminar la sintaxis aumenta el error de reconstrucción incluso cuando están presentes las características léxicas.
• Importancia Relativa: Las características léxicas consistentemente representan una fracción mayor de la varianza que las características sintácticas en ambos modelos de texto (BERT) y de habla.
• Diferencias de Modalidad: La contribución de la sintaxis y el léxico es más prominente en BERT (texto) que en Wav2vec2 (habla), lo que sugiere que los modelos de habla dependen más fuertemente de señales acústicas/fonéticas.
• Impacto del ASR: El ajuste fino para ASR hace que las representaciones sean más difíciles de reconstruir en términos absolutos, pero aumenta la contribución relativa de las características léxicas y sintácticas en comparación con el modelo base.

5. Significado y Conclusión

El artículo establece que la decodabilidad no equivale a importancia. Una característica podría ser fácilmente decodificable (alta precisión) y sin embargo contribuir muy poco a la estructura general de la representación del modelo (baja explicación de varianza).

• Perspectiva Complementaria: La Sonda de Codificación proporciona un contrapeso necesario a las sondas de decodificación. Mueve el campo de preguntas binarias "sí/no" sobre la presencia de información a preguntas cuantitativas sobre la composición de la información.
• Implicaciones para la Interpretabilidad: Al controlar las correlaciones, los investigadores pueden evitar falsos positivos donde una sonda tiene éxito debido a una característica proxy correlacionada en lugar de la característica objetivo en sí misma.
• Futuras Direcciones: Los autores señalan limitaciones, como la dependencia de la regresión lineal (que podría pasar por alto relaciones no lineales) y la naturaleza observacional del método (muestra asociación, no causalidad). Sin embargo, el marco ofrece un método riguroso y estadísticamente fundamentado para diseccionar la "caja negra" de las representaciones de transformadores.

En resumen, la Sonda de Codificación es una herramienta poderosa para cuantificar las contribuciones relativas y condicionales de las características lingüísticas a las representaciones neuronales, ofreciendo una comprensión más matizada de cómo los modelos codifican el lenguaje y el habla.