MoRFI: Monotonic Sparse Autoencoder Feature Identification

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) adquirem conhecimento factual principalmente durante o pré-treinamento. No entanto, estágios subsequentes de pós-treinamento, como o Ajuste Fino Supervisionado (SFT) em novos dados, frequentemente introduzem alucinações. A hipótese predominante é que expor os modelos a fatos desconhecidos para sua distribuição de pré-treinamento perturba sua capacidade de recuperar conhecimento paramétrico armazenado.

Embora estudos anteriores tenham estabelecido que o ajuste fino em dados desconhecidos aumenta as taxas de alucinação, as causas mecânicas internas permanecem pouco compreendidas. Especificamente, não está claro:

• Quais características latentes específicas no fluxo residual estão causalmente ligadas à degradação da recuperação de conhecimento.
• Se essas características podem ser identificadas e manipuladas para recuperar o conhecimento original do modelo sem re-treinamento.
• Como esses mecanismos diferem entre arquiteturas de modelos e durações de treinamento.

2. Metodologia: MoRFI

Os autores propõem o MoRFI (Identificação de Características de Relação Monotônica), um pipeline de duas etapas projetado para isolar características latentes causais usando Autoencoders Esparsos (SAEs).

A. Experimento de Ajuste Fino Controlado

Os autores realizam um experimento controlado em três modelos: Llama 3.1 8B, Gemma 2 9B e Mistral 7B v03.

• Conjunto de Dados: EntityQuestions (derivado do Wikidata).
• Variáveis:
  1. Proporção Desconhecida ($\uparrow$Unknown): Conjuntos de dados de treinamento são construídos com porcentagens variáveis (0% a 100%) de fatos "Desconhecidos" (fatos que o modelo base não conhece) misturados com fatos "Conhecidos".
  2. Épocas de Treinamento ($\uparrow$Epochs): Os modelos são treinados por durações variáveis (Parada Antecipada, 10, 20, 30, 40, 50 épocas).
• Observação: À medida que a proporção de fatos desconhecidos e as épocas de treinamento aumentam, a precisão nos testes de QA de livro fechado cai significativamente, confirmando o fenômeno de alucinação.

B. O Algoritmo MoRFI

O MoRFI analisa as ativações do SAE em um tensor 4D (Amostras $\times$ Propriedades $\times$ Latentes $\times$ Tempo/Épocas) para encontrar características com tendências monotônicas robustas.

1. Reamostragem e Agregação: Utiliza bootstrapping para gerar milhares de ambientes de teste simulados, calculando ativações médias para criar uma linha de base reduzida de ruído.
2. Validação de Tendência: Aplica correlação de posto de Spearman e testes de Mann-Kendall para verificar se a ativação de uma característica muda monotonicamente (aumentando ou diminuindo consistentemente) à medida que a proporção de dados desconhecidos ou as épocas de treinamento aumentam. Isso filtra flutuações espúrias.
3. Ordenação Direcional: Classifica as características em conjuntos de Crescimento (ativações crescem com dados desconhecidos) e Decrescimento (ativações diminuem).
4. Classificação Final: Classifica as características com base na frequência de aparecimento nas características alteradas top-$K$ em todas as réplicas de bootstrap.

C. Direcionamento de Ativação

Uma vez que os latentes candidatos são identificados, os autores realizam direcionamento de ativação (intervenção na camada intermediária do fluxo residual) para testar a causalidade:

• Intervenção: Adicionar ou subtrair o vetor decodificador do SAE de um latente específico do fluxo residual.
• Objetivo: Verificar se o direcionamento desses latentes pode recuperar a precisão perdida durante o ajuste fino em fatos desconhecidos.
• Grupo de Controle: Uma linha de base de latentes "sem tendência" é usada para garantir que os ganhos não sejam artefatos de perturbação arbitrária.

3. Principais Contribuições

1. Algoritmo MoRFI: Um método de propósito geral e estatisticamente rigoroso para identificar latentes de SAE que exibem tendências monotônicas em condições de ajuste fino controlado, distinguindo-os de ruído transitório.
2. Vínculo Causal com Alucinação: O artigo demonstra que a exposição a fatos desconhecidos perturba a recuperação de conhecimento ao longo de direções específicas e identificáveis no fluxo residual.
3. Recuperação de Conhecimento via Direcionamento: Os autores mostram que intervenções de latente único podem recuperar 69–85% do conhecimento perdido durante o ajuste fino em dados desconhecidos, revertendo efetivamente as alucinações no momento da inferência.
4. Assimetria na Dinâmica Latente:
   • Direcionamento Negativo é Superior: Suprimir (direcionar negativamente) características que aumentam com dados desconhecidos produz ganhos de precisão maiores do que amplificar características que diminuem.
   • Latentes Decrescentes são Impactantes: Características que naturalmente diminuem quando expostas a dados desconhecidos, quando direcionadas positivamente, também recuperam conhecimento significativo, sugerindo que elas codificam caminhos de acesso ao conhecimento armazenado que estão sendo suprimidos.

4. Principais Resultados

• Degradação de Desempenho: Aumentar a porcentagem de fatos desconhecidos na mistura de treinamento degrada consistentemente o desempenho do modelo, com o efeito exacerbado por treinamentos mais longos (mais épocas).
• Eficácia do Direcionamento:
  • No Llama 3.1 8B, o melhor latente direcionado negativamente recuperou 33,4% de precisão relativa (vs. uma linha de base de 17,8%).
  • No Mistral 7B, o melhor latente direcionado negativamente recuperou 39,77% de precisão relativa.
  • Grupo de Controle: O direcionamento com latentes sem tendência resultou em mudanças de desempenho negligenciáveis ou negativas, validando que os ganhos são específicos às características causais identificadas.
• Taxa de Recuperação de Conhecimento ($R_K$): Dos fatos recuperados pelo direcionamento, 69–85% eram originalmente conhecidos pelo modelo base (MD0). Isso confirma que a intervenção restaura o acesso ao conhecimento pré-treinado em vez de aprender novos fatos.
• Sinal Esparsos: Intervenções de latente único superaram o direcionamento com a direção composta "diferença de médias" ($\delta_u$). Isso indica que o sinal relevante para o conhecimento é esparso e concentrado em alguns latentes específicos, enquanto a direção composta contém ruído que dilui o efeito.
• Alinhamento Semântico: Os fatos recuperados relacionam-se predominantemente a predicados geográficos (ex: País, Capital, País de Origem), e os latentes de melhor desempenho mostram alinhamento semântico com esses conceitos em ferramentas externas como o Neuronpedia.

5. Significado e Implicações

• Interpretabilidade Mecânica: O artigo avança além da correlação para estabelecer um vínculo causal entre latentes específicos de SAE e a capacidade do modelo de acessar conhecimento armazenado. Sugere que o "esquecimento" durante o ajuste fino não é a eliminação do conhecimento, mas uma perturbação dos caminhos de acesso.
• Mitigação no Momento da Inferência: As descobertas sugerem que as alucinações causadas pelo ajuste fino podem ser mitigadas no momento da inferência por meio de direcionamento de ativação direcionado, sem a necessidade de re-treinamento ou sistemas complexos de geração aumentada por recuperação (RAG).
• Segurança e Alinhamento: Ao identificar as características específicas "desalinhadas" ou "perturbadoras do conhecimento", este trabalho fornece um caminho para práticas de ajuste fino mais seguras e intervenções direcionadas para evitar que os modelos alucinem ao serem expostos a informações novas ou conflitantes.
• Generalização: O framework MoRFI é agnóstico ao modelo e aplicável a qualquer variável controlada que induza uma sequência de checkpoints de modelo, oferecendo uma nova ferramenta para analisar mudanças no comportamento do modelo.

Em conclusão, o MoRFI fornece um método robusto para identificar os mecanismos internos da degradação de conhecimento em LLMs e demonstra que essas degradações são reversíveis por meio de intervenções precisas de latente único, oferecendo uma via promissora para reduzir alucinações em modelos pós-treinados.