Resumo Técnico: Modelos de Linguagem Sem Conhecimento (KLLMs)

Definição do Problema

Grandes Modelos de Linguagem (LLMs) adquirem um conhecimento factual substancial durante o pré-treinamento, que é codificado em seus parâmetros. Embora isso possibilite uma ampla capacidade, frequentemente leva a um comportamento não confiável, especificamente a alucinação, quando o conhecimento paramétrico interno está desatualizado, incompleto ou desalinhado com o contexto fornecido. Estratégias de mitigação padrão, como a Geração Aumentada por Recuperação (RAG), frequentemente falham porque os modelos ainda são pré-treinados para memorizar e reproduzir fatos, criando um descompasso onde os modelos dependem da recuperação paramétrica em vez de evidências externas, mesmo quando o contexto está disponível. A questão central abordada é se o sinal de pré-treinamento pode ser modificado para deslocar sistematicamente os modelos do afastamento da recuperação paramétrica em direção ao raciocínio fundamentado em evidências, sem sacrificar a capacidade de raciocínio.

Metodologia

Os autores introduzem os Modelos de Linguagem Sem Conhecimento (KLLMs), um paradigma de treinamento que modifica o sinal de pré-treinamento ao anonimizar sistematicamente entidades nomeadas no corpus de treinamento.

• Anonimização do Corpus: Os dados de pré-treinamento são processados usando um modelo de Reconhecimento de Entidades Nomeadas (NER) de última geração (framework Flair com embeddings XLM-R). Todas as entidades nomeadas identificadas (ex: pessoas, organizações, locais) são substituídas por tokens de marcação únicos (ex: PESSOA184, ORG42). Crucialmente, valores numéricos e temporais são mantidos para preservar a coerência semântica e a legibilidade.
• Procedimento de Treinamento: Os KLLMs são treinados do zero neste corpus anonimizado usando objetivos padrão de previsão do próximo token autorregressivo. Nenhuma mudança arquitetural é feita; os modelos compartilham arquiteturas, tokenizadores e configurações de otimização idênticas com Modelos de Linguagem Padrão (SLMs) treinados nos dados originais, não anonimizados.
• Pipeline de Inferência: Durante a inferência, o mesmo procedimento de anonimização é aplicado à consulta e a qualquer contexto acompanhante. O modelo gera uma resposta baseada na entrada anonimizada, e os nomes das entidades são restaurados como uma etapa de pós-processamento para mapear a saída de volta à linguagem natural padrão.
• Configuração Experimental: O estudo avalia os modelos em múltiplas escalas (de 135M a 3B de parâmetros) e tamanhos de dados (2,5B, 10B e 20B de tokens). As comparações são feitas contra baselines SLM correspondentes e checkpoints pré-treinados originais.

Principais Contribuições

1. Paradigma de Treinamento Epistêmico: O artigo propõe uma mudança fundamental na forma como os LLMs adquirem conhecimento, demonstrando que a supressão da supervisão ligada a entidades durante o pré-treinamento induz uma dependência de evidências externas em vez de memória paramétrica.
2. Estudo Empírico Controlado: Através de estudos de ablação rigorosos e baselines correspondentes, os autores isolam o efeito da anonimização de entidades da corrupção genérica de dados ou regularização, mostrando que a estrutura específica da remoção de entidades é o mecanismo propulsor.
3. Avaliação Abrangente: O trabalho avalia os KLLMs através de quatro dimensões distintas:
   • Recuperação factual de livro fechado (para medir a supressão do conhecimento paramétrico).
   • Questionamento e raciocínio baseados em contexto.
   • Inferência fundamentada em recuperação (incluindo configurações esparsas, densas e aumentadas por ferramentas).
   • Calibração e predição seletiva (comportamento de abstenção).

Resultados

As descobertas empíricas revelam um padrão consistente através das escalas dos modelos:

• Supressão da Recuperação Paramétrica: Os KLLMs exibem um colapso quase completo na recuperação factual de livro fechado. Em benchmarks como LAMA e SQuAD sem contexto, a precisão do KLLM cai para níveis próximos ao acaso (ex: ~3-4% vs. ~35-40% para SLMs), confirmando a remoção bem-sucedida da memória factual ligada a entidades.
• Melhoria no Raciocínio Contextual: Quando informações relevantes são fornecidas como contexto, os KLLMs igualam ou superam os LLMs padrão. Eles mostram ganhos consistentes em QA factual, verificação de fatos (FEVER) e detecção de alucinação (HaluBench), com melhorias alcançando até +10,4% de precisão na detecção de alucinação.
• Robustez em Configurações Fundamentadas em Recuperação: Em configurações com evidências imperfeitas ou ruidosas, os KLLMs demonstram robustez superior. Eles alcançam ganhos relativos de 20–25% sobre os SLMs em QA aumentado por recuperação. Notavelmente, os KLLMs exibem taxas de abstenção mais altas quando a evidência é insuficiente, indicando melhor alinhamento com a qualidade da evidência.
• Calibração Aprimorada: Os KLLMs mostram calibração melhorada em múltiplas métricas, incluindo menores Erros de Calibração Esperada (ECE) e scores de Brier, além de maior AUROC. Eles fornecem sinais de confiança mais confiáveis e melhor separação entre predições corretas e incorretas.
• Raciocínio de Senso Comum: Contrariando a hipótese de que remover entidades poderia prejudicar o raciocínio geral, os KLLMs superam consistentemente os baselines em benchmarks de senso comum (CommonsenseQA, StrategyQA, PIQA), sugerindo que a anonimização incentiva a dependência de padrões estruturais e relacionais em vez de associações memorizadas.
• Dinâmica de Treinamento: Os KLLMs exibem um loss de pré-treinamento mais alto que os SLMs, indicando que o objetivo anonimizado é mais difícil e não é resultado de uma otimização mais fácil ou subtreinamento.

Significância e Alegações

O artigo afirma que os objetivos de pré-treinamento moldam fundamentalmente o comportamento epistêmico dos modelos de linguagem. Ao suprimir a supervisão ligada a entidades, os KLLMs são induzidos a depender menos do conhecimento paramétrico e mais de evidências externas. Isso sugere que o controle sobre a aquisição de conhecimento durante o pré-treinamento pode complementar sistemas aumentados por recuperação e baseados em ferramentas, fornecendo um modelo base que é inerentemente mais sensível à qualidade da evidência e menos propenso a alucinações.

Os autores posicionam os KLLMs não como um substituto para modelos padrão em todos os contextos, mas como uma solução especializada para cenários onde a confiabilidade, a fundamentação e a capacidade de se abster de respostas não suportadas são críticas. O trabalho demonstra que é possível desacoplar as capacidades de raciocínio da memorização factual, oferecendo um caminho para modelos de linguagem mais controláveis e confiáveis. Os efeitos observados persistem através das leis de escala e análises de ablação, apoiando a conclusão de que o mecanismo de anonimização é o principal motor desses desvios epistêmicos.