Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

1. Declaração do Problema

O artigo aborda limitações críticas na abordagem padrão de Sonda de Decodificação (Decoding Probe) utilizada para analisar Modelos de Linguagem de Grande Escala (LLMs) e modelos de fala. Embora as sondas de decodificação (mapeando representações do modelo $X$ para propriedades linguísticas $Y$) determinem se a informação está presente, elas sofrem de dois problemas principais:

1. Contribuições de Características Incomparáveis: As pontuações de precisão de decodificação (por exemplo, 95% para identificação do locutor vs. 58% para fonética) não podem ser comparadas diretamente para determinar a importância relativa, pois dependem de fatores específicos da tarefa, como o número de classes e distribuições de rótulos.
2. Artefatos de Correlação de Características: Correlações elevadas entre características (por exemplo, identidade da palavra e categoria gramatical) podem levar as sondas a depender de uma característica (identidade lexical) para prever outra (sintaxe), criando conclusões enganosas sobre o que o modelo realmente codifica.

Os autores argumentam que o campo precisa de um método para quantificar contribuições relativas de características enquanto controla correlações.

2. Metodologia: A Sonda de Codificação

Os autores propõem uma nova Sonda de Codificação (Encoding Probe) que inverte a direção tradicional de sondagem. Em vez de mapear representações para rótulos ($f: X \to Y$), a Sonda de Codificação mapeia características interpretáveis para representações do modelo ($g: Y \to X$).

• Mecanismo Central: A sonda utiliza Regressão Ridge Multivariada para reconstruir as ativações do estado oculto interno ($X$) de um modelo-alvo com base em um conjunto de características de entrada interpretáveis ($Y$).
• Conjuntos de Características: O estudo utiliza conjuntos de características diversos derivados de ondas sonoras e texto, incluindo:
  • Acústica: Pitch, formantes, MFCCs.
  • Fonética: Posterogramas fonéticos (PPGs).
  • Identidade do Locutor: Rótulos de locutor codificados one-hot.
  • Sintaxe: Tags POS, rótulos de dependência, profundidade da árvore.
  • Lexicão: Embeddings estáticos de palavras FastText.
• Métrica de Avaliação: O desempenho é medido pela Variância Não Explicada (UV), definida como $1 - R^2$. Uma UV menor indica uma melhor reconstrução.
• Estratégia de Ablação: Para quantificar a contribuição de características específicas, os autores realizam ablação de características. Eles comparam a UV de uma sonda "Completa" (todas as características) com sondas onde características específicas são removidas (por exemplo, $Completa \setminus Sintaxe$).
  • O aumento na UV ao remover uma característica representa a contribuição única e condicional dessa característica para a representação, independente de outras características correlacionadas.
• Modelos Testados:
  • Fala: Wav2vec2 (Base, ajustado para ASR, ajustado para ID de Locutor).
  • Texto: BERT (Base).
  • Dados: LibriSpeech (fala) e corpora de texto padrão.

3. Principais Contribuições

1. Mudança de Paradigma: Introduz a Sonda de Codificação como uma ferramenta complementar à Sonda de Decodificação, deslocando o foco de "podemos extrair isso?" para "quanto isso explica a representação?".
2. Rigor Estatístico: Aplica princípios padrão de análise de regressão (especificamente decomposição de variância) à interpretabilidade, permitindo a comparação direta da importância das características entre diferentes tipos de características (por exemplo, acústica vs. semântica).
3. Controle de Correlação: Demonstra um método robusto para desvendar características correlacionadas (por exemplo, separando a contribuição da sintaxe da identidade da palavra) condicionando a reconstrução a múltiplos conjuntos de características simultaneamente.
4. Estrutura Unificada: Fornece um único framework para analisar tanto as modalidades de texto quanto de fala, revelando como os objetivos de treinamento (auto-supervisionado, ASR, SID) alteram o espaço de representação interno.

4. Principais Resultados

Experimento 1: Identidade do Locutor em Modelos de Fala

• Decodificação vs. Codificação: Embora a identidade do locutor seja decodificável de todas as variantes do Wav2vec2, a Sonda de Codificação revela que sua contribuição real varia drasticamente com base nos objetivos de treinamento.
• Modelos Base e ASR: Nos modelos padrão e ajustados para ASR, as características acústicas e fonéticas contribuem significativamente mais para a reconstrução dos estados ocultos do que a identidade do locutor. A identidade do locutor contribui com uma fração menor da variância.
• Modelos Ajustados para SID: Nos modelos ajustados especificamente para Identificação de Locutor (SID), as camadas superiores são quase exclusivamente dedicadas à codificação da identidade do locutor. Aqui, remover características do locutor causa um aumento massivo no erro de reconstrução, enquanto remover características fonéticas/acústicas tem efeito negligenciável.
• Insight: As sondas de decodificação mostraram que o ID do locutor está presente nos modelos ASR, mas as sondas de codificação revelaram que é marginal à estrutura da representação em comparação com a fonética.

Experimento 2: Sintaxe vs. Lexicão

• Independência: O estudo confirma que as características sintáticas e lexicais fazem contribuições independentes para as representações do modelo. Remover a sintaxe aumenta o erro de reconstrução mesmo quando as características lexicais estão presentes.
• Importância Relativa: As características lexicais consistentemente representam uma fração maior da variância do que as características sintáticas em ambos os modelos de texto (BERT) e de fala.
• Diferenças de Modalidade: A contribuição da sintaxe e do lexicão é mais proeminente no BERT (texto) do que no Wav2vec2 (fala), sugerindo que os modelos de fala dependem mais fortemente de sinais acústicos/fonéticos.
• Impacto do ASR: O ajuste fino para ASR torna as representações mais difíceis de reconstruir em termos absolutos, mas aumenta a contribuição relativa das características lexicais e sintáticas em comparação com o modelo base.

5. Significado e Conclusão

O artigo estabelece que decodificabilidade não equivale a importância. Uma característica pode ser facilmente decodificável (alta precisão) e, ainda assim, contribuir muito pouco para a estrutura geral da representação do modelo (baixa explicação de variância).

• Perspectiva Complementar: A Sonda de Codificação fornece um contrapeso necessário às sondas de decodificação. Ela move o campo de perguntas binárias "sim/não" sobre a presença de informação para perguntas quantitativas sobre composição da informação.
• Implicações para Interpretabilidade: Ao controlar correlações, os pesquisadores podem evitar falsos positivos onde uma sonda tem sucesso devido a uma característica proxy correlacionada, em vez da própria característica-alvo.
• Direções Futuras: Os autores notam limitações, como a dependência de regressão linear (que pode perder relações não lineares) e a natureza observacional do método (mostra associação, não causalidade). No entanto, o framework oferece um método rigoroso e estatisticamente fundamentado para dissecar a "caixa preta" das representações de transformadores.

Em resumo, a Sonda de Codificação é uma ferramenta poderosa para quantificar as contribuições relativas e condicionais de características linguísticas para representações neurais, oferecendo uma compreensão mais matizada de como os modelos codificam linguagem e fala.