Resumo Técnico: MeMo – Em Direção a Modelos de Linguagem com Mecanismos de Memória Associativa

Declaração do Problema

Os atuais Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformers alcançam alto desempenho ao aprender dependências sequenciais complexas por meio de um treinamento extensivo, onde a memorização é um subproduto emergente da otimização de pesos. Embora essa abordagem se destaque na generalização, ela frequentemente carece de transparência e controle explícito sobre a informação armazenada. Os autores argumentam que o paradigma prevalecente trata o aprendizado como o mecanismo primário, com a memorização como um resultado secundário. No entanto, para tarefas que exigem recuperação factual exata, resposta a perguntas e recuperação de informações, a capacidade de um modelo de memorizar dados explicitamente é crucial. Os métodos existentes para editar ou controlar LLMs geralmente dependem de intervenções post-hoc, enquanto os autores propõem uma mudança fundamental: projetar arquiteturas onde a memorização precede o aprendizado. O objetivo é criar um modelo de linguagem que armazene sequências de tokens de forma explícita, transparente e editável, permitindo o esquecimento controlado e a manipulação direta do conhecimento armazenado.

Metodologia

O artigo introduz o MeMo, uma nova arquitetura para modelagem de linguagem que substitui o aprendizado padrão baseado em pesos dos Transformers por Matrizes de Correlação de Camadas (CMMs - Correlation Matrix Memories). A arquitetura é construída sobre três pilares teóricos centrais:

1. Vetores Aleatórios Gaussianos Multivariados: Tokens e sequências são representados como vetores aleatórios em um espaço de alta dimensão. Aproveitando o Lema de Johnson-Lindenstrauss, esses vetores são mapeados em um espaço de menor dimensão ($R^d$) enquanto preservam suas distâncias. Isso garante que tokens distintos sejam quase ortogonais ($a^T b \approx 0$ se $a \neq b$) e tokens idênticos sejam altamente correlacionados ($a^T b \approx 1$ se $a = b$).
2. Matrizes de Correlação de Memória (CMMs): Em vez de aprender pesos, o MeMo armazena associações como a soma de produtos externos de pares chave-valor. Uma CMM $C$ é definida como $C = \sum k_i v_i^T$, onde $k_i$ representa uma sequência (chave) e $v_i$ representa o próximo token (valor). A recuperação é realizada multiplicando o vetor da sequência de entrada pela matriz CMM.
3. Transformada de Johnson-Lindenstrauss (JLT): Esta transformada é usada para codificar sequências de tokens no espaço alvo $R^d$, garantindo que tanto as sequências de entrada quanto os vetores de saída residam no mesmo espaço dimensional, facilitando o processo de recuperação associativa.

Variantes de Arquitetura

O artigo detalha duas configurações:

• MeMo de Camada Única: Utiliza uma única CMM para memorizar janelas de tamanho fixo de tokens ($h$) e prever o próximo token. Demonstra que uma única matriz pode generalizar sobre sequências parciais com base na sobreposição de tokens.
• MeMo de Múltiplas Camadas: Para lidar com sequências mais longas, a arquitetura empilha múltiplas camadas de CMM.
  • Fase de Memorização: As camadas inferiores codificam sequências de elementos em representações únicas. Essas representações são armazenadas como chaves na CMM, com os valores sendo a sequência codificada como um todo. A camada final armazena a relação entre sequências longas e o próximo token.
  • Fase de Recuperação: As camadas intermediárias recuperam codificações de comprimentos de sequência crescentes, que são somadas para consultar a camada final para a predição do próximo token.
  • Esquecimento: Uma característica única do MeMo é a capacidade de "esquecer" explicitamente textos armazenados. Isso é alcançado subtraindo o produto externo da sequência e do token da matriz CMM, apagando efetivamente a associação específica sem retreinamento.

Principais Contribuições

1. Mudança de Paradigma: O artigo propõe uma mudança de "aprender para memorizar" para "memorizar para aprender", projetando uma arquitetidade onde a memória é explícita e estrutural, em vez de implícita nos pesos.
2. Arquitetura MeMo: A introdução de um modelo de linguagem baseado em CMMs em camadas e representações de vetores aleatórios, oferecendo um mecanismo matematicamente transparente para a predição de sequências.
3. Editabilidade e Transparência: O design suporta inerentemente a edição de modelos, incluindo a capacidade específica de esquecer textos, fornecendo um mecanismo para mitigar vazamentos de dados e vieses sociais através da remoção de associações armazenadas específicas.
4. Modelagem de Conhecimento Explícito: A arquitetura abre a possibilidade de integrar a modelagem de conhecimento explícito (ex: grafos de conhecimento, ontologias linguísticas) diretamente em modelos de linguagem neurais, potencialmente reduzindo a necessidade de dados.

Resultados Experimentais

Os autores conduziram experimentos para avaliar a capacidade de memorização de ambas as configurações de camada única e múltiplas camadas:

• Capacidade de Camada Única: Experimentos com sequências aleatórias de símbolos mostraram uma relação linear entre o número total de parâmetros na CMM e o número de sequências que podem ser armazenadas com alta precisão (definida como precisão média > 0,9). Isso se alinha com as leis de escala lineares observadas em Transformers tradicionais, mas aplica-se à memorização explícita.
• Capacidade de Múltiplas Camadas:
  • Dimensionalidade: Aumentar a dimensão interna $d$ melhorou significativamente o desempenho de memorização. Uma dimensão de $d=4096$ foi necessária para manter alta precisão (>0,97) em sequências simples, enquanto $d=8192$ foi necessário para sequências complexas com altas taxas de "iscas" (tokens repetidos que requerem contextos diferentes).
  • Profundidade de Camadas: Aumentar o número de camadas ($l$) melhorou a capacidade de memorizar sequências mais longas e lidar com contextos complexos. Por exemplo, com 40 iscas, pelo menos três camadas foram necessárias para atingir uma capacidade de armazenamento acima de 0,88 para 250.000 sequências.
  • Generalização: A abordagem de múltiplas camadas expandiu com sucesso a capacidade de memorização além do que uma única camada poderia alcançar, validando a abordagem de CMM empilhada para contextos longos.

Significância e Alegações

O artigo afirma que o MeMo representa um passo significativo em direção a modelos de linguagem transparentes e editáveis. Ao desacoplar a memorização das atualizações de pesos opacas dos Transformers padrão, o MeMo oferece:

• Controle: Controle direto sobre o que é memorizado, como é armazenado e como é acessado.
• Segurança: A capacidade de mitigar vazamentos de dados e vieses sociais através de mecanismos de esquecimento explícito.
• Integração: O potencial de aproveitar estudos linguísticos tradicionais e estruturas de conhecimento explícito dentro da era dos grandes modelos de linguagem.

Os autores reconhecem limitações, observando que a implementação atual possui problemas de compatibilidade com o ecossistema existente do Hugging Face, o que impede a comparação direta com Transformers de última geração usando suítes de avaliação padrão. No entanto, eles afirmam que isso não diminui as capacidades de memorização demonstradas pela arquitetura. O trabalho visa devolver o controle aos especialistas em conhecimento e linguistas, oferecendo um caminho para reduzir a sede de dados dos LLMs ao tornar os mecanismos de memória explícitos e gerenciáveis.