Resumo Técnico: LMs como Bases de Conhecimento Específicas para Tarefas: Uma Análise de Interpretabilidade

Declaração do Problema

Modelos de linguagem (LMs) são frequentemente concebidos como bases de conhecimento, onde os parâmetros armazenam informações factuais acessíveis por meio de várias consultas. Uma propriedade fundamental de bases de conhecimento bem projetadas é a invariância de tarefa: diferentes consultas para o mesmo fato devem recuperar resultados consistentes de uma única fonte de verdade. Por exemplo, um banco de dados tradicional deve retornar "Paris" tanto para "Qual é a capital da França?" quanto para "A capital da França é ___.".

Este artigo investiga se os LMs satisfazem essa propriedade de invariância de tarefa. Especificamente, questiona se o conhecimento factual é armazenado de maneira independente da tarefa ou se a representação interna de um fato pelo modelo está entrelaçada com o formato da tarefa específica (ex: múltipla escolha vs. geração de texto aberto) usada para consultá-lo. Se os LMs carecem de invariância de tarefa, a analogia de "base de conhecimento" é prejudicada, com implicações para a confiabilidade, consistência e controlabilidade do conhecimento factual nesses sistemas.

Metodologia

Os autores empregam uma abordagem dupla combinando análise comportamental (rastreamento da emergência do conhecimento durante o treinamento) e análise mecanística (localização de subconjuntos específicos de parâmetros).

1. Análise Comportamental: Hipótese de Co-emergência

Os autores rastreiam a aquisição de conhecimento factual através de checkpoints de treinamento do modelo OLMo-3-7B IT.

• Dados: Cinco conjuntos de dados relacionais (ex: país-capital, ponto turístico-país) formulados como tripletos (sujeito, relação, objeto).
• Tarefas: Seis formatos de tarefas distintos: completamento de próximo token (COMPLETION), preenchimento de lacunas (FITB), QA de texto aberto (OPENQA), QA de múltipla escolha de quatro vias (MCQA), MCQA negativa e Verificação Binária.
• Hipótese: Se o conhecimento for invariante à tarefa, um fato adquirido para uma tarefa deve co-emergir (aparecer simultaneamente) em outras tarefas nas quais o modelo já é competente. Formalmente, se um fato $f$ emerge na tarefa $t$ no checkpoint $E(f, t)$, e o modelo é competente na tarefa $t'$ no checkpoint $E(\cdot, t')$, então $E(f, t')$ deve ser $\le \max(E(f, t), E(\cdot, t'))$.
• Teste Estatístico: Os autores formalizam a invariância de tarefa como independência condicional entre fatos e tarefas ($P(\text{correto} | f, t) = P(\text{correto} | f) \cdot P(\text{correto} | t)$) e testam termos de interação usando uma ANOVA de duas vias sobre log-probabilidades.

2. Análise Mecanística: Localização de Parâmetros

Para determinar se diferentes tarefas dependem de diferentes parâmetros para o mesmo fato, os autores adaptam um framework de localização (Bayazit et al., 2024) para identificar subconjuntos esparsos de parâmetros (cabeças de atenção e neurônios MLP) específicos para pares individuais de (fato, tarefa).

• Objetivo: Aprender máscaras binárias $m$ sobre os parâmetros do modelo para minimizar uma função de perda composta por quatro termos:
  • Necessidade: Remover os parâmetros mascarados deve degradar o desempenho no par (fato, tarefa) alvo.
  • Suficiência: Os parâmetros mascarados devem ser suficientes para recuperar o desempenho em um prompt corrompido (onde o sujeito é substituído por placeholders) quando suas ativações são injetadas (patched in).
  • Especificidade: Remover ou injetar esses parâmetros deve ter efeito mínimo sobre o mesmo fato sob outras tarefas ou outros fatos sob a mesma tarefa.
  • Esparsidade: A máscara deve ser o menor possível.
• Modelos: Experimentos foram conduzidos no OLMo-2-7B IT, OLMo-2-13B IT e Gemma-2-9B IT.

3. Entrelaçamento entre Tarefas e Análise de CoT

• Métricas de Entrelaçamento: Os autores definem uma pontuação para quantificar o quão "limpo" um codificação de (fato, tarefa) pode ser ablado sem afetar outros pares.
• Cadeia de Pensamento (CoT): Os autores testam se o raciocínio CoT recupera o conhecimento inacessível à resposta direta ao engajar parâmetros específicos da tarefa além daqueles ligados à tarefa de avaliação. Eles comparam a resposta direta vs. CoT sob zero-ablação dos parâmetros localizados.

Principais Resultados

1. Violação da Invariância de Tarefa (Comportamental)

• Co-emergência Limitada: A hipótese de co-emergência é frequentemente violada. Em 47,9% dos pares (fato, tarefa), um fato não emerge em uma tarefa alvo no passo esperado, mesmo quando o modelo é competente nessa tarefa e o fato emergiu em outro lugar.
• Rejeição Estatística: A hipótese nula de independência condicional (sem interação entre fato e tarefa) é rejeitada em cada checkpoint de treinamento ($p \approx 0$). O termo de interação explica até 23% da variância no modelo final, indicando que a recuperação de conhecimento é altamente dependente do formato da tarefa.

2. Subconjuntos de Parâmetros Distintos (Mecanístico)

• Codificações Específicas de Tarefa: Os experimentos de localização identificaram com sucesso subconj sets esparsos e distintos de parâmetros para cada par (fato, tarefa).
• Necessidade e Especificidade: A ablação zero dos parâmetros localizados para um par (fato, tarefa) específico causou quedas significativas de desempenho (diminuição relativa de 29%–89%) naquele par. Crucialmente, o desempenho no mesmo fato avaliado sob outras tarefas, e outros fatos sob a mesma tarefa, permaneceu amplamente inalterado (quedas $\le 8\%$).
• Suficiência: Injetar as ativações localizadas de volta em um prompt corrompido recuperou com sucesso o desempenho (taxa de reconstrução de 69%–102%) para o par alvo, confirmando que esses parâmetros carregam a informação necessária.

3. Padrões de Entrelaçamento

• Geração vs. Discriminação: O formato da tarefa é um preditor dominante de entrelaçamento. Tarefas de discriminação (MCQA, Verificação) são consistentemente mais entrelaçadas com outras tarefas do que as tarefas de geração (OPENQA, FITB).
• Assimetria: Fatos adquiridos via tarefas de geração tendem a co-emergir em outras tarefas, mas fatos adquiridos via tarefas de discriminação raramente co-emergem em tarefas de geração.

4. Papel da Cadeia de Pensamento (CoT)

• Recuperação: Quando os parâmetros localizados de uma tarefa são ablados, o raciocínio CoT recupera uma parte significativa do desempenho perdido (caindo apenas 12%–30% vs. 20%–72% para a resposta direta).
• Dependência de Cruzamento de Tarefas: O CoT sofre mais danos colaterais quando as codificações de outras tarefas são abladas em comparação com a resposta direta. Isso sugere que o CoT roteia através de múltiplas codificações específicas de tarefas para reconstruir a resposta, em vez de depender apenas dos parâmetros específicos da tarefa de avaliação.

Significância e Alegações

O artigo conclui que a analogia de "base de conhecimento" para LMs é falha porque o que o modelo sabe e como ele é questionado estão entrelaçados no espaço de parâmetros.

• Confiabilidade e Controlabilidade: A falta de invariância de tarefa implica que intervenções de edição ou desaprendizado de conhecimento direcionadas a um único formato de tarefa podem deixar o fato intacto em outros formatos. Inversamente, avaliações de tarefa única fornecem apenas uma visão parcial do conhecimento codificado de um modelo.
• Mecanismo de Raciocínio: As descobertas oferecem uma explicação mecanística para o porquê do raciocínio CoT desbloquear conhecimento inacessível à resposta direta: o CoT engaja codificações paramétricas de múltiplos formatos de tarefa, contornando efetivamente as limitações de uma única codificação específica de tarefa.
• Direções Futuras: Os autores sugerem que esquemas de treinamento que incentivem codificações factuais invariantes à tarefa (ex: incorporando raciocínio intermediário durante o treinamento) poderiam melhorar a confiabilidade e a controlabilidade dos LMs.

Os autores permanecem modestos, observando que seus achados descrevem primariamente conhecimento relacional bem conhecido e que a interação entre esses padrões e a escala do modelo permanece uma questão aberta. Eles não alegam que os LMs não possuam conhecimento compartilhado, mas sim que o armazenamento é organizado, pelo menos em parte, pelo formato da tarefa.