Resumo Técnico: Co-LMLM (Modelos de Linguagem de Memória Limitada de Consulta Contínua)

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) tipicamente internalizam o conhecimento factual dentro de seus parâmetros. Esta abordagem apresenta limitações significativas: a recuperação factual escala com o tamanho do modelo e a frequência de exposição, tornando o conhecimento de cauda longa difícil de capturar; as associações factuais estão emaranhadas com representações linguísticas, tornando difícil atribuir, editar ou remover fatos individuais; e este emaranhamento contribui para alucinações e conhecimento defasado.

Trabalhos recentes introduziram os Modelos de Linguagem de Memória Limitada (LMLMs), que externalizam o conhecimento factual em uma Base de Conhecimento (KB) legível por humanos durante o pré-treinamento, em vez de memorizá-lo. No entanto, a implementação existente, referida como REL-LMLM (LMLM Relacional), baseia-se em uma KB relacional onde os fatos são armazenados como tuplas estruturadas de sujeito-relação-objeto. Este design impõe várias restrições:

1. Restrição de Dados: Restringe os dados externalizáveis a itens expressáveis como tuplas relacionais, limitando o escopo principalmente a dados estruturados do tipo Wikipédia.
2. Expressividade de Consulta: A recuperação depende da geração de consultas textuais explícitas e decodificadas (perguntas de assunto-relação em linguagem natural), o que introduz overhead de inferência e limita o mecanismo de recuperação a consultas simples.
3. Caminhos Pré-determinados: O processo de treinamento sintetiza consultas exatas durante o pré-processamento dos dados, mantendo os caminhos de recuperação constantes e restringindo a expressividade do mecanismo de recuperação aprendido.

Metodologia

Os autores propõem o Co-LMLM (Modelos de Linguagem de Memória Limitada de Consulta Contínua), um paradigma que aborda as limitações dos LMLMs relacionais enquanto retém os benefícios da memória externalizada e editável.

Arquitetura Central

O Co-LMLM funciona como um Transformer apenas decodificador (decoder-only) que atua tanto como um modelo de linguagem quanto como um recuperador denso.

• Consultas Contínuas: Em vez de decodificar uma consulta textual, o modelo emite um token especial <FACT>. O estado oculto (hidden state) nesta posição do token é extraído e usado diretamente como uma consulta de vetor denso.
• KB Não Estruturada: A Base de Conhecimento armazena pares de chaves vetoriais (as consultas contínuas) e valores de string (trechos de texto factual verbatim). Isso permite o armazenamento de trechos factuais de formato livre sem as restrições de tuplas sujeito-relação-objeto.
• Inferência: Durante a geração, quando o modelo emite <FACT>, ele aciona uma etapa de recuperação. O trecho de fato top-1 é inserido no contexto imediatamente após o <FACT>, seguido por um token de fechamento </FACT>, e a decodificação prossegue. Isso adiciona apenas um passo autorregressivo por recuperação.

Objetivo de Treinamento

O modelo é treinado conjuntamente em dois objetivos:

1. Predição do Próximo Token (NTP): O modelo prevê os tokens na sequência, mas, crucialmente, não é otimizado para memorizar os trechos factuais contidos entre <FACT> e </FACT>. A perda (loss) é calculada apenas nos tokens não factuais e no token de abertura <FACT> (que aciona a recuperação).
2. Perda de Recuperação Contrastiva: Uma perda InfoNCE bidirecional alinha a representação da consulta no token <FACT> no documento com a representação da consulta em um token <FACT-q> de uma pergunta em linguagem natural pareada. Isso ensina o modelo a emitir um estado oculto que recupera efetivamente o trecho de fato correto quando consultado.

Pipeline de Anotação de Dados

Para escalar além da Wikipédia, os autores desenvolveram um pipeline de anotação automatizado para processar textos arbitrários (ex: FineWeb-Edu):

1. Anotação de Semente (Seed): Um modelo de fronteira (Gemini 3.1 Pro) anota um pequeno conjunto de documentos semente, marcando trechos factuais com <FACT q="..." a="...">span</FACT>.
2. Destilação: Dois anotadores leves são treinados neste conjunto semente:
   • Um Anotador de Trechos de Fato (codificador ModernBERT) que realiza a marcação BIO para identificar trechos factuais em texto bruto.
   • Um Gerador de Perguntas (decodificador Qwen2.5) que gera um par de pergunta e resposta autônomos para cada trecho.
3. Processamento do Corpus: Estes anotadores processam o corpus completo de pré-treinamento, convertendo documentos brutos no formato anotado necessário para o treinamento do Co-LMLM. Este pipeline permite a extração de fatos de textos da web geral, não apenas de entradas enciclopédicas estruturadas.

Principais Contribuições

1. Mecanismo de Consulta Contínua: Substituição de consultas textuais decodificadas por consultas vetoriais contínuas emitidas a partir de estados ocultos. Isso reduz o overhead de inferência (sem decodificação de consulta) e permite que o mecanismo de recuperação utilize todo o contexto de geração, em vez de uma consulta textual curta e restrita.
2. Externalização de Conhecimento de Formato Livre: Transição de tuplas relacionais para trechos factuais não estruturados e de formato livre. Isso permite a externalização de um conjunto mais amplo de conhecimento sem restrições de papel ou relação, facilitando a escala para corpora gerais como o FineWeb-Edu.
3. Pipeline de Anotação Escalável: Um método para anotar centenas de bilhões de tokens com trechos factuais e perguntas pareadas, removendo a restrição à Wikipédia e permitindo o treinamento em dados diversos da web.
4. Controlabilidade e Desaprendizado (Unlearning): Demonstração de que a externalização do conhecimento permite o "desaprendizado" via operações simples de banco de dados (exclusão de entradas) sem retreinar o modelo ou sacrificar a utilidade geral, uma capacidade frequentemente perdida na edição de conhecimento paramétrico.

Resultados Experimentais

Os autores avaliaram o Co-LMLM contra LLMs padrão (STANDARD) e o baseline relacional (REL-LMLM) em escalas de 135M e 360M de parâmetros, treinados na Wikipédia e FineWeb-Edu.

• Perplexidade: O Co-LMLM alcança consistentemente uma perplexidade menor que modelos padrão do mesmo tamanho. Na escala de 360M, o Co-LMLM treinado na Wikipédia alcança uma perplexidade menor do que modelos off-the-shelf HF/SMOLLM2-360M treinados com 40× mais dados.
• Precisão Factual: O Co-LMLM melhora substancialmente a precisão factual em diversos benchmarks (TriviaQA, PopQA, SimpleQA, T-REx, FactScore).
  • Na escala de 360M, o Co-LMLM atinge um score de 21.2 no SimpleQA (21.7 com FineWeb-Edu), o que os autores observam estar em linha com o gpt-4o-mini e superior ao Claude Sonnet 4.5 de acordo com leaderboards públicos.
  • Ele supera o REL-LMLM, demonstrando que consultas contínuas e trechos de formato livre são mais robustos do que tuplas relacionais e consultas textuais.
• Desempenho de NLU: O modelo mantém o desempenho de Compreensão de Linguagem Natural (NLU) comparável a modelos padrão do mesmo tamanho, indicando que o descarregamento de fatos não degrada as capacidades linguísticas gerais.
• Desaprendizado (Unlearning): Nos experimentos de desaprendizado TOFU, o Co-LMLM esquece com sucesso fatos designados via exclusão direta da KB, mantendo alta utilidade no conhecimento retido, enquanto métodos de desaprendizado baseados em treinamento (como NPO) degradam a utilidade devido ao emaranhamento de parâmetros.
• Eficiência: O Co-LMLM reduz o custo de formação de consulta para uma única passagem direta de estado oculto (~2.2ms), comparado a ~28ms para métodos que exigem a decodificação de uma pergunta textual e subsequente codificação.

Significância e Alegações

O artigo afirma que o Co-LMLM fornece um método escalável para treinar LLMs com uso de conhecimento verificável, controlável e transparente. Ao externalizar o conhecimento em um índice sem esquema e usar consultas contínuas, a abordagem supera as limitações de expressividade e escala dos LMLMs relacionais anteriores.

Os autores enfatizam que este design estabelece uma base para estudar leis de escala de conhecimento (knowledge scaling laws) através de domínios mais amplos e tamanhos de memória. Eles reconhecem limitações atuais, observando que, embora o pipeline se estenda a corpora gerais, a avaliação sistemática através de diversos domínios de conhecimento permanece como um trabalho futuro. O artigo conclui que o Co-LMLM oferece um caminho viável para LLMs que não são apenas factualmente precisos, mas também editáveis e atribuíveis, abordando questões críticas de confiabilidade nos modelos atuais.