Lesioned Multimodal Language Models Reproduce Aphasic Picture-Naming Patterns

Resumo Técnico: Modelos de Linguagem Multimodais Lesionados Reproduzem Padrões de Nomeação de Imagens de Afasia

Definição do Problema
A afasia decorrente de acidente vascular cerebral (AVC) produz padrões de erro sistemáticos e não aleatórios na produção da linguagem, caracterizados por perfis específicos, como erros semânticos, parafasias formais e neologismos. Embora esforços computacionais anteriores tenham modelado esses erros usando arquiteturas conexionistas criadas para fins específicos com ajuste de parâmetros específicos para a tarefa, permanece não testado se modelos de linguagem multimodais de propósito geral e larga escala (LLMs) podem reproduzir esses perfis de erro clínicos sem serem projetados para simulação clínica. Uma questão central é se o "espaço de perturbação" de um modelo de propósito geral contém trajetórias que podem replicar as distribuições conjuntas de erros de indivíduos com afasia (PWAs), servendo assim como potenciais análogos cognitivos para o processamento de linguagem humano.

Metodologia
O estudo utiliza o modelo de linguagem multimodal LLaVA 1.6, selecionado por seus pesos abertos, arquitetura transparente (um codificador visual CLIP alimentando uma base de linguagem Vicuna-13B) e ausência de dispositivos arquiteturais intervenientes como especialistas com portão (gated experts). O design experimental envolve um protocolo de perturbação controlado aplicado às representações internas do modelo durante uma tarefa padronizada de nomeação de imagens, o Teste de Nomeação de Philadelphia (PNT).

• Protocolo de Perturbação: Os pesquisadores aplicaram ruído Gaussiano multiplicativo a "unidades" específicas (dimensões ocultas) dentro das 40 camadas de decodificador do modelo. A perturbação é definida por um trio de parâmetros:

  1. Camada Alvo ($l$): Uma das 40 camadas do decodificador (0–39).
  2. Proporção de Modificação ($p$): A fração de unidades na camada alvo selecionadas aleatoriamente para perturbação (10% a 100%).
  3. Nível de Ruído ($\sigma$): O desvio padrão do ruído Gaussiano (1.1 a 2.0).
     Isso cria um espaço de parâmetros de 4.000 condições ($40 \text{ camadas} \times 10 \text{ proporções} \times 10 \text{ níveis de ruído}$).

• Dados e Classificação: O estudo avaliou 278 PWAs do conjunto de dados C-STAR. As saídas do modelo foram classificadas em sete categorias que espelham taxonomias clínicas: Correto, Semântico, Formal, Misto, Não Relacionado, Neologismo e Sem Resposta. Para garantir a consistência metodológica entre as saídas do modelo e os dados clínicos, um classificador neural aumentado por características (baseado em DeBERTa-v3-small) foi ajustado (fine-tuned) em 3.160 respostas anotadas por especialistas. Este classificador alcançou um acordo "Quase Perfeito" (Kappa de Cohen = 0,87) com especialistas humanos, superando notavelmente os métodos baseados em regras na detecção de erros de "Sem Resposta".

• Análise de Correspondência: Para cada PWA, os pesquisadores buscaram no espaço de perturbação a configuração $(l, p, \sigma)$ que melhor reproduzia a distribuição conjunta de erros do paciente através das sete categorias. A correspondência foi avaliada contra um limiar de tolerância derivado de reteste (2 SD) e validada contra baselines de Monte Carlo para garantir que os resultados refletissem a estrutura conjunta intercategorias, em vez de apenas sobreposição marginal.

Resultos Principais

1. Reprodução de Categorias de Erro: As perturbações controladas geraram com sucesso seis das sete categorias clínicas (Correto, Semântico, Não Relacionado, Misto, Neologismo, Sem Resposta) em proporções clinicamente comparáveis. Regiões distintas no espaço de parâmetros foram associadas a tipos de erro específicos (ex: camadas inferiores com alto ruído produziram erros de "Sem Resposta", enquanto camadas superiores produziram "Neologismos").

   • Exceção: Parafasias formais (palavras reais fonologicamente semelhantes) foram sistematicamente subproduzidas no modelo (atingindo o pico em ~3,5% das respostas) em comparação com perfis clínicos onde elas podem ser dominantes. Os autores atribuem isso ao acesso ao vocabulário ao nível de token do modelo, que favorece a geração de sequências não lexicais fonologicamente relacionadas (neologismos) em vez da recuperação de vizinhos de palavras reais específicos.

2. Correspondência de Perfil Individual: O framework de perturbação reproduziu com sucesso os perfis de erro completos de PWAs individuais.

   • 97,8% dos PWAs tiveram uma configuração que correspondeu a pelo menos seis de sete categorias de erro dentro da tolerância.
   • 79,5% dos PWAs tiveram uma configuração que correspondeu a todas as sete categorias.
   • Baselines de Monte Carlo confirmaram que essas correspondências não foram por acaso; o baseline de "Seleção Real" (preservando a estrutura conjunta) superou o baseline "Gerado" (preservando apenas as marginais) por um fator de 1,35 no limiar de alta qualidade, indicando que o manifesto de perturbação do modelo captura a complexa estrutura conjunta dos erros de afasia.

3. Sensibilidade de Parâmetros: O parâmetro "camada" atuou como um eixo primário de diferenciação. Perturbar camadas iniciais (0–9) levou ao colapso rápido em saídas de sem resposta, enquanto perturbar camadas tardias (30–39) permitiu uma transição gradual de respostas corretas para erros semânticos e neologismos.

Significância e Alegações
O artigo estabelece um framework quantitativo para reproduzir padrões de erro de nomeação de imagens de afasia individuais usando um modelo de linguagem multimodal de propósito geral. Os autores alegam que:

• Modelos de propósito geral, quando submetidos a perturbações focais controladas, podem exibir distribuições de erro no espaço de saída que correspondem a indivíduos com afasia pós-AVC sem design específico para a tarefa ou ajuste de parâmetros por paciente.
• Essa capacidade sugere que tais modelos podem servir como "gêmeos digitais" para indivíduos com afasia pós-AVC.
• O trabalho demonstra o potencial dos modelos de linguagem não apenas como ferramentas computacionais, mas como modelos cognitivos do processamento de linguagem no cérebro humano.
• O framework oferece uma base para futuros estudos translacionais, como o teste e desenvolvimento de terapias, ao caracterizar perfis de erro individuais em um espaço comportamental compacto definido pelos parâmetros de perturbação.

Os autores limitam explicitamente suas alegações à correspondência no espaço de saída. Eles não afirmam que as perturbações específicas aplicadas ao modelo são biologicamente equivalentes às lesões neurais nos pacientes, nem alegam que o modelo replica os mecanismos subjacentes de recuperação ou outros domínios de linguagem (ex: compreensão, repetição) além do escopo da tarefa de nomeação de imagens. A falha residual em modelar parafasias formais é identificada como uma limitação arquitetural do acesso ao léxico do modelo específico, não uma falha fundamental da abordagem.