Resumo Técnico: LLMs Não Explicam: Um Pós-Morte sobre a Interpretabilidade Semântica em Modelos Transformer

Declaração do Problema

O artigo aborda uma lacuna crítica na interpretabilidade de Grandes Modelos de Linguagem (LLMs), particularmente no contexto da computação ubíqua e distribuída, onde os modelos são comprimidos e implantados como componentes de sistemas. Embora métodos como análise de cabeças de atenção e inferência de propriedades baseada em embeddings sejam amplamente utilizados para alegar que os LLMs possuem estruturas semânticas internas (ex: relações linguísticas, conhecimento conceitual), os autores argumentam que os fundamentos metodológicos dessas técnicas permanecem não comprovados. O problema central é que esses métodos de interpretabilidade podem produzir visualizações convincentes ou pontuações preditivas elevadas que são, na verdade, artefatos da estrutura do conjunto de dados ou de restrições metodológicas, em vez de evidência de um entendimento genuíno do modelo. Os autores investigam se as pipelines estabelecidas para detectar abstração linguística em LLMs resistem a um escrutínio sistemático.

Metodologia

Os autores conduziram uma análise de "pós-morte" replicando duas pipelines de interpretabilidade padrão usando experimentos controlados e transparentes. Eles utilizaram modelos baseados em transformer (incluindo o BERT) e conjuntos de dados padrão, garantindo que sua configuração correspondesse à literatura prevalecente para isolar falhas metodológicas em vez de erros de implementação.

1. Explicações Relacionais Baseadas em Atenção

• Hipótese: Pesos de atenção indicam influência de token para token, refletindo relações semânticas ou sintáticas (ex: hiperonímia entre "cachorro" e "Labradoodle").
• Suposições Testadas:
  1. Persistência de Identidade do Token: A representação oculta em uma posição específica em camadas mais profundas ainda corresponde ao token de entrada original.
  2. Interpretabilidade da Atenção: Distribuições de atenção codificam fluxos de informação significativos.
• Procedimento: Os autores extraíram matrizes de atenção de todas as camadas e cabeças, gerando mapas de calor e diagramas de dependência do tipo de grafo. Eles introduziram perturbações, incluindo embaralhamento de embeddings de tokens, injeção de ruído nos logits de atenção e troca de posições, para testar a robustez das visualizações resultantes.

2. Inferência de Propriedade Baseada em Embeddings

• Hipótese: Se um modelo preditivo pode mapear embeddings de palavras para características semânticas interpretáveis por humanos (ex: propriedades perceptuais, categorias taxonômicas), os embeddings devem codificar esse conhecimento semântico.
• Suposições Testadas: A suposição de "predição como explicação" — que o sucesso da predição implica conhecimento internalizado.
• Procedimento:
  • Conjuntos de Dados: Três conjuntos de dados de normas de características foram usados: McRae (categórico), Buchanan (categórico) e Binder (contínuo).
  • Mapeamento: Embeddings de nível de tipo (da 0ª camada) foram mapeados para características usando Regressão de Mínimos Quadrados Parciais (PLSR) e Redes Neurais Feedforward (FFNN).
  • Controles: Para distinguir codificação semântica de artefatos metodológicos, os autores realizaram estudos de ablação:
    • Experimentos de limite superior (upper-bound): Mapeamento de matrizes de características para si mesmas.
    • Baselines Aleatórios/Embaralhados: Substituição de características por ruído aleatório ou embaralhamento de valores preservando a esparsidade.
    • Corrupção Semântica: Substituição de relações taxonômicas corretas por alternativas aleatórias.
    • Nonsense Estruturado: Substituição de valores contínuos por diferenças de comprimento de caracteres.

Principais Resultados

Falha da Pipeline Baseada em Atenção

Os autores descobriram que a suposição de persistência de identidade do token é inválida em camadas mais profundas.

• Perda de Identidade do Token: O rastreamento do fluxo residual revelou que as representações dos tokens tornam-se rapidamente misturas de múltiplas posições anteriores. Em camadas de profundidade média, o alinhamento de cosseno entre o estado oculto de um token e seu embedding original caiu substancialmente.
• Estrutura Artificial: Visualizações de atenção mantiveram estruturas linguisticamente plausíveis mesmo quando os embeddings dos tokens foram embaralhados ou ruído foi injetado. Isso indica que a "estrutura" observada nos mapas de atenção é um resultado das propriedades de mistura do mecanismo de atenção e das transformações não lineares (MLP, normalização de camada) em vez de um raciocínio genuíno por token.

Falha da Inferência de Propriedade Baseada em Embeddings

Os autores demonstraram que as altas pontuações preditivas na inferência de propriedades são impulsionadas pela geometria e esparsidade do conjunto de dados, não pelo conteúdo semântico.

• Previsibilidade do Nonsense: Modelos alcançaram desempenho substancial (aproximando-se dos limites metodológicos superiores) mesmo quando as características foram aleatoriamente embaralhadas ou substituídas por valores sem sentido (ex: diferenças de comprimento de caracteres).
• Insensibilidade à Semântica: A substituição de hiperônimos taxonômicos significativos por alternativas aleatórias resultou em uma degradação de desempenho negligenciável (ex: o F1@10 do McRae caiu de apenas 0,25 para 0,23).
• Geométrico vs. Semântico: Análises de precisão de vizinhança mostraram que os métodos de mapeamento reproduzem principalmente estruturas de clusters geométricos inerentes aos dados. As pontuações elevadas refletem as restrições de baixo rank e a esparsidade das normas de características, em vez da decodificação de propriedades semânticas.

Principais Contribuições

1. Refutação Empírica de Suposições Centrais: O artigo fornece evidência sistemática de que a suposição de "continuidade do token" na análise de atenção e a suposição de "predição como explicação" na inferência de propriedades são metodologicamente frágeis.
2. Identificação de Artefatos: Os autores identificam que o sucesso aparente desses métodos de interpretabilidade deve-se frequentemente a limites metodológicos superiores, esparsidade de dados e similaridade geométrica, que podem ser confundidos com compreensão semântica.
3. Framework Metodológico para Resultados Negativos: O estudo estabelece um protocolo rigoroso para testar as afirmações de interpretabilidade através de ablações controladas (embaralhamento, corrupção, estimativa de limite superior) para distinguir o mecanismo genuíno do artefato.
4. Relevância Contextual: Os achados destacam riscos específicos para a computação ubíqua e distribuída, onde a interpretabilidade é utilizada para depuração e compressão, alertando que suposições não testadas podem levar a conclusões errôneas em nível de sistema.

Significância e Alegações

O artigo alega modestamente que sua principal contribuição não é derrubar a utilidade dos LLMs, mas demonstrar que duas das técnicas de interpretabilidade mais confiáveis atualmente são "melhores em produzir histórias convincentes do que em produzir explicações reais".

Os autores argumentam que:

• A plausibilidade visual e a precisão preditiva não equivalem ao entendimento. Mapas de atenção e inferência de propriedades podem ser enganosos se as suposições subjacentes (identidade do token, codificação semântica) não forem explicitamente testadas.
• Resultados negativos são essenciais. Documentar essas falhas é necessário para evitar que o campo construa sobre premissas falhas e para guiar o desenvolvimento de ferramentas de interpretabilidade mais rigorosas e conscientes de mecanismos.
• Risco Sistêmico: Na implantação no mundo real (ex: Edge AI), confiar nesses métodos de interpretabilidade não verificados para compressão e depuração de modelos acarreta o risco de falsa confiança e falha do sistema.

O artigo conclui que, embora esses métodos produzam saídas fáceis de interpretar, eles carecem atualmente do rigor científico necessário para explicar como os LLMs representam estrutura e significado. Os autores pedem uma mudança em direção a uma pesquisa de interpretabilidade que priorize o teste de suposições em vez da geração de narrativas intuitivas.