Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

Resumo Técnico: Recuperação de Parâmetros de Lesão a partir de Perfis de Erro de Nomeação de Imagens em Afasia

Definição do Problema
Os métodos atuais de interpretabilidade para Grandes Modelos de Linguagem (LLMs) — incluindo classificadores de sondagem, visualização de atenção, rastreamento causal e activation patching — descrevem primariamente estados internos do modelo e suas correlações com o comportamento. No entanto, esses métodos não testam diretamente se um estado interno inferido é causalmente suficiente para produzir o comportamento observado. Eles identificam o que correlaciona com o comportamento, não o que, se intervindo, o produziria. Este artigo aborda essa lacuna ao propor uma questão inversa: dado um output comportamental específico (um perfil de erro de nomeação de imagens afásico), é possível recuperar os parâmetros de lesão específicos (índice da camada, porcentagem de modificação e magnitude do ruído) que o produziram? Além disso, a estrutura deste problema inverso revela propriedades fundamentais do cálculo de transformadores?

Metodologia
O estudo utiliza o modelo multimodal LLaVA-Vicuna 1.6 13B (combinando um codificador de visão CLIP e um decodificador de linguagem Vicuna de 40 camadas). A metodologia envolve uma fase de perturbação direta (forward) seguida por uma fase de mapeamento inverso.

1. Perturbação Direta (Geração de Dados):

   • Espaço de Parâmetros: Os autores definiram uma grade de 4.840 configurações variando três parâmetros:
     • Índice da Camada ($L$): 0–39 (apenas camadas do decodificador de linguagem).
     • Porcentagem de Modificação ($M$): 0–100% (fração das unidades ocultas afetadas).
     • Sigma de Ruído ($\sigma$): 1.0–2.0 (intensidade do ruído Gaussiano).
   • Mecanismo de Lesão: Para uma configuração dada $(L, M, \sigma)$, os pesos na camada $L$ associados a uma fração $M$ das unidades ocultas foram modificados multiplicando-os por $(1 + \varepsilon)$, onde $\varepsilon \sim N(0, \sigma^2)$.
   • Output Comportamental: Cada modelo perturbado foi avaliado no teste de nomeação de Philadelphia (PNT) de 175 itens. As respostas foram classificadas em uma taxonomia clínica de sete tipos de erro: correto, semântico, não relacionado, formal, misto, neologismo e ausência de resposta.
   • Extração de Características: O input do modelo inverso foi um vetor de 166 dimensões composto por:
     • Nível 1: Taxas de erro classificadas pelo BERT (7 itens).
     • Nível 2: 5 estatísticas derivadas (ex: taxa de erro total, entropia).
     • Nível 3: 13 estatísticas de nível textual (comprimento, classes de caracteres).
     • Nível 4: 10 momentos de probabilidade (métricas de incerteza).
     • Nível 5: 8 características de diversidade lexical.
     • Nível 6: 116 estatísticas de embedding de sentence-transformer.
   • Datasets: As 4.840 configurações foram divididas em 70/15/15 para treinamento, validação e teste. Um conjunto de validação independente foi gerado usando uma semente aleatória distinta para evitar vazamento de dados (data leakage). Adicionalmente, dados comportamentais de 278 sobreviventes de AVC (dataset CSTAR) foram usados para testes fora da distribuição (out-of-distribution).

2. Arquitetura do Modelo Inverso:

   • Uma rede neural multitarefa foi treinada para mapear o perfil comportamental de 166 dimensões de volta aos três parâmetros de perturbação.
   • Encoder: Três blocos totalmente conectados (256 $\to$ 128 $\to$ 64 unidades) com normalização de lote (batch normalization), ReLU e dropout.
   • Heads (Cabeças):
     • Cabeça de Camada: Uma camada linear para classificação de 40 vias (perda de Entropia Cruzada).
     • Cabeças de Intensidade: Duas cabeças de regressão paralelas para Porcentagem de Modificação e Sigma de Ruído, usando perda de log-verossimilhança negativa gaussiana heterocedástica para prever média e variância.
   • Treinamento: Otimizado com AdamW ao longo de 500 épocas. A perda total é uma soma ponderada das três perdas de tarefa.

3. Estrutura de Validação:

   • Validação Contrafactual: Para verificar a suficiência causal, os parâmetros previstos pelo modelo inverso foram aplicados a uma instância nova e não perturbada do modelo LLaVA-Vicuna. O perfil de erro resultante foi comparado ao perfil alvo original usando similaridade de cosseno e correlação de Pearson. Alta fidelidade foi definida como similaridade > 0.85 e correlação > 0.90.
   • Aplicação Clínica: O modelo inverso treinado (sem retreinamento) foi aplicado aos 278 sobreviventes de AVC para testar se os parâmetros recuperados podiam discriminar entre as síndromes de afasia clínica (ex: Broca, Anômica, Global).

Resultados Principais

1. Recuperação Parcial de Parâmetros:

   • Intensidade é Recuperável: O modelo recuperou com sucesso a intensidade da perturbação. A previsão da porcentagem de modificação alcançou $R^2 = 0.570$ e Pearson $r = 0.771$. A previsão do sigma de ruído alcançou $R^2 = 0.315$ e $r = 0.581$.
   • Localização é Ambígua: A previsão do índice da camada foi significativamente menos precisa. A acurácia Top-1 foi de 14,8% (o acaso é 2,5%), embora a acurácia dentro-de-5 tenha sido de 77,6% (o acaso é 27,5%). Isso sugere que o modelo pode identificar o entorno da lesão, mas não a camada exata.

2. Fidelidade Contrafactual:

   • Apesar da dificuldade em localizar a camada exata, os parâmetros recuperados foram causalmente suficientes para reproduzir o comportamento alvo. Na grade completa independente de validação (4.840 configurações), 81,4% dos casos atingiram alta fidelidade de reprodução.
   • Crucialmente, previsões com índices de camada incorretos, mas com intensidade correta, geraram reconstruções de alta fidelidade. Por outro lado, intensidades incorretas levaram a baixa fidelidade mesmo se a camada estivesse correta. Isso indica que a intensidade da perturbação é o principal determinante da fidelidade comportamental, enquanto a localização é secundária.

3. Redundância Funcional:

   • A dissociação entre a baixa acurácia de recuperação de camada e a alta fidelidade contrafactual sugere redundância funcional entre as camadas do transformador. Muitas camadas do meio da pilha produzem pegadas comportamentais funcionalmente equivalentes quando perturbadas em intensidades correspondentes.
   • A análise por camada mostrou um padrão em forma de U assimétrico: as camadas na interface de embedding (0–2) e na interface de saída (36–39) foram mais recuperáveis do que as do meio da pilha (3–35), consistente com a localização de informação nas fronteiras da rede.

4. Generalização Clínica (Fora da Distribuição):

   • Ao ser aplicado aos 278 sobreviventes de AVC, o modelo inverso recuperou parâmetros que eram discriminativos de síndromes.
   • Porcentagem de Modificação: Mostrou a maior discriminação ($\eta^2 = 0.288$), com gradientes de severidade alinhados com as síndromes clínicas (ex: afasias Global e de Broca mapearam para porcentagens de modificação mais altas do que a Anômica ou controles).
   • Índice de Camada: Mostrou discriminação moderada ($\eta^2 = 0.130$), com síndromes não-fluentes severas mapeando para camadas iniciais.
   • Sigma de Ruído: Não discriminou significativamente entre as síndromes.
   • Análises de sensibilidade através de cinco esquemas de agrupamento confirmaram que esses achados são robustos e não são impulsionados apenas por contrastes de grupos de controle ou amostras pequenas.

Significância e Alegações

O artigo afirma estabelecer um arcabouço metodológico geral para a interpretabilidade de LLMs baseado em validação contrafactual. Suas principais contribuições são:

• Teste de Suficiência Causal: Ele vai além da interpretabilidade correlacional ao demonstrar que os estados internos inferidos (parâmetros de lesão) podem ser recuperados e reaplicados para reproduzir comportamentos específicos.
• Insight Arquitetural: Os resultados revelam uma propriedade da arquitetura de transformadores não capturada pelos métodos de interpretabilidade padrão: redundância funcional. A descoberta de que o comportamento é determinado mais por quanto uma camada é perturbada do que por qual camada é perturbada desafia a suposição de que comportamentos específicos mapeiam unicamente para camadas específicas.
• Ponte entre Dados Sintéticos e Clínicos: O estudo demonstra que um modelo inverso treinado inteiramente em perturbações sintéticas de LLM pode generalizar para dados clínicos reais, recuperando parâmetros que se alinham com síndromes clínicas estabelecidas. Isso sugere que o mapeamento comportamento-perturbação aprendido captura propriedades estruturais do processamento de linguagem que transcendem a distribuição de treinamento específica do LLM.

Os autores observam modestamente que estas descobertas são uma "prova de existência" para um modelo multimodal específico (LLaVA-Vicuna 13B) e que o grau de recuperabilidade pode variar entre diferentes arquiteturas de transformadores. Eles não alegam ter mapeado camadas específicas de transformadores a regiões cerebrais específicas, mas sim que a estrutura do problema inverso revela propriedades computacionais do próprio modelo.