💬 NLP

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

Este artigo introduz o PEEK, um método computacionalmente eficiente que adapta modelos de incorporação pré-treinados com um decodificador linear para prever com precisão o conhecimento factual de Grandes Modelos de Linguagem em escala, evitando assim os altos custos das técnicas tradicionais de sondagem de passagem direta (forward-pass probing).

Autores originais: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Publicado 2026-01-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente inteligente (um Grande Modelo de Linguagem, ou LLM) que leu quase tudo na internet. Você quer saber exatamente quais fatos ela memorizou e o que ela esqueceu.

O Problema:
Atualmente, para verificar se uma biblioteca sabe um fato específico (como "Garífuna é uma população da Guatemala"), você tem que ir até o bibliotecário, fazer a pergunta e esperar por uma resposta. Se você quiser verificar milhões de fatos, isso é como tentar ler cada um dos livros da biblioteca um por um. É lento, caro e, se a biblioteca for uma "caixa preta" (você não consegue ver como ela pensa), você não pode espiar dentro do cérebro dela para ver o que ela sabe sem perguntar diretamente a ela.

A Solução (PEEK):
Os autores deste artigo propõem uma nova ferramenta chamada PEEK (Proxy Embeddings to Estimate Knowledge — Embeddings de Proximidade para Estimar o Conhecimento). Pense no PEEK como um "radar de conhecimento" de alta tecnologia ou um bibliotecário sombra.

Em vez de perguntar à biblioteca gigante cada pergunta individual, o PEEK usa um "scanner" menor e mais rápido (um modelo de embedding pré-treinado) para adivinhar o que a biblioteca grande sabe.

Veja como funciona, passo a passo:

A Fase de Treinamento (Ensinando o Scanner):
Primeiro, os pesquisadores pegam uma pequena amostra de fatos e perguntam à biblioteca grande: "Você sabe disso?". Eles registram a resposta da biblioteca (Sim/Não, ou o quão confiante ela está). Em seguida, pegam um scanner menor e mais rápido e mostram a ele o texto desses fatos. Eles ajustam as configurações do scanner (como sintonizar um rádio) até que o "palpite" do scanner corresponda à resposta real da biblioteca grande.
Analogia: Imagine que você tem um chef mestre (o LLM) e um subchefe (o modelo de embedding). Você prova a sopa do chef mestre e diz ao subchefe: "Isso está salgado". Você continua ajustando o tempero do subchefe até que ele consiga prever exatamente o quão salgada será a sopa do chef mestre, apenas olhando para a lista de ingredientes.
A Fase de Predição (O Radar):
Uma vez que o scanner está ajustado, você não precisa mais perguntar à biblioteca grande. Você apenas fornece um novo fato ao scanner. O scanner instantaneamente prevê: "A biblioteca grande sabe disso" ou "A biblioteca grande não sabe disso".
Analogia: Agora, em vez de perguntar ao chef mestre para provar cada novo ingrediente, o subchefe olha para a lista de ingredientes e diz instantaneamente: "O chef sabe cozinhar isso".

O Que Eles Descobriram:

Velocidade e Precisão: Este método de "scanner" é incrivelmente rápido e preciso. Em seus testes, ele conseguiu prever o que a biblioteca grande sabia com até 90% de precisão, sem nunca fazer uma única pergunta à biblioteca grande.
Texto vs. Mapas: Eles testaram dois tipos de scanners: um que lê frases (como um modelo de embedding de sentença) e um que lê mapas de conexões (como uma rede neural de grafos). Eles descobriram que o scanner de sentenças funcionou muito melhor. Parece que a biblioteca grande organiza seu conhecimento mais como uma coleção de sentenças do que como um mapa rígido de conexões.
Não é Necessário Espiar o Interior: Ao contrário de outros métodos que exigem olhar para as ondas cerebrais internas da biblioteca (camadas ocultas), o PEEK só precisa do texto do fato. Isso significa que ele funciona mesmo se a biblioteca for uma "caixa preta" que você não pode tocar.

Por Que Isso Importa:
O artigo sugere que, antes de deixarmos essas bibliotecas de IA gigantes ajudarem em tarefas importantes (como saúde ou direito), devemos usar este "scanner" para verificar rapidamente suas lacunas de conhecimento. É uma maneira barata e eficiente de dizer: "Ei, esta IA não sabe sobre X, então vamos corrigir isso antes de deixá-la falar com um paciente".

Em Resumo:
O PEEK é uma forma de construir um proxy rápido e barato que aprende a imitar a base de conhecimento de uma IA gigante. Uma vez treinado, esse proxy pode escanear milhões de fatos para dizer o que a IA gigante sabe, economizando seu tempo e dinheiro de perguntar diretamente à IA gigante.

Resumo Técnico: Sondagem Eficiente de Conhecimento de Grandes Modelos de Linguagem através da Adaptação de Embeddings Pré-treinados

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) adquirem vastas quantidades de conhecimento factual em diversos domínios durante o pré-treinamento generativo. No entanto, devido aos objetivos de aprendizagem estocásticos e dados de treinamento ruidosos, mapear o panorama específico do conhecimento de um LLM permanece desafiador. Os métodos atuais para sondar esse conhecimento — como a elaboração de prompts específicos, investigação de representações ocultas ou estimativa de incerteza epistêmica — exigem passagens de ida (forward passes) através do LLM subjacente. Essas abordagens são computacionalmente caras, demoradas e frequentemente inviáveis para modelos extremamente grandes ou de caixa-preta (black-box), limitando a capacidade de identificar eficientemente lacunas factuais antes da implantação em aplicações que exigem alto conhecimento, como saúde e direito.

Metodologia: PEEK (Proxy Embeddings to Estimate Knowledge)

Os autores propõem o PEEK, um framework que utiliza modelos de embedding pré-treinados como proxies para estimar o conhecimento de LLMs sem consultar os LLMs diretamente. A hipótese central é que os embeddings podem codificar efetivamente o conhecimento factual e, quando adaptados, podem prever as saídas de LLMs com alta precisão.

1. Funções de Sondagem de Conhecimento

Para estabelecer a verdade fundamental (ground truth) para os modelos proxy, os autores definem quatro estratégias de sondagem distintas para determinar se um LLM ( $M$ ) conhece um fato específico ( $f$ ):

Geração Binária: Prompting o LLM com perguntas de sim/não sobre a veracidade de uma afirmação.
Geração de Logits Binários: Extração dos logits dos tokens esperados ('sim'/'não') do LLM para medir a "confiança externa".
Predição de Ativação Binária: Treinamento de uma cabeça linear nas representações ocultas (ativações do último token) do LLM para prever a veracidade, medindo a "confiança interna".
Geração de Fatos: Uso de geração aberta (ex: biografias) e rotulagem de fatos atômicos como suportados (conhecidos) ou não suportados (desconhecidos) com base em bases de conhecimento externas.

2. Modelos de Embedding Proxy

O framework utiliza dois tipos de modelos de embedding pré-treinados para representar fatos:

Embeddings de Sentença: Modelos (ex: MPNET, NVE2, Linq, GTE) que codificam sentenças em espaços de baixa dimensão, treinados para representar similaridade semântica.
Redes Neurais de Grafos (GNNs): Especificamente o ULTRA, que codifica triplas de grafos de conhecimento (cabeça, relação, cauda) usando informações de caminho mais curto.

3. Ajuste de Proxy (Proxy Tuning)

Como os embeddings pré-treinados não estão nativamente alinhados com o conhecimento específico de um LLM, os autores os adaptam usando um pequeno conjunto de treinamento de fatos identificados via as estratégias de sondagem. A adaptação envolve minimizar uma função de perda para fazer a previsão baseada em embedding ( $\hat{P}_\theta$ ) corresponder à saída sondada pelo LLM ( $P_M$ ). Duas estratégias de ajuste são empregadas:

Ajuste Linear (Linear Tuning): Atualização apenas da camada de decodificador linear final ( $W$ ) enquanto mantém os parâmetros do embedding ( $E$ ) congelados.
Ajuste de Baixo Rank (LoRA): Atualização de parâmetros via adição de uma matriz de baixo rank.

A função de perda é a entropia cruzada binária para saídas discretas (0/1) e a perda de destilação de conhecimento (com temperatura $T$ ) para saídas contínuas (logits/ativações).

Principais Contribuições

Abordagem de Sondagem Inovadora: Introdução do PEEK, que utiliza cabeças lineares treináveis em modelos de embedding pré-treinados para sondar o conhecimento de LLMs, evitando passagens de ida custosas no LLM alvo.
Validação Multi-estratégia: Revelação do conhecimento factual através de diversas estratégias, incluindo consultas binárias, geração de formato livre e análise de ativação interna.
Avaliação Abrangente: Experimentos extensos em 4 LLMs (Llama-3.1-8B, GPT-4o, GPT-4o-mini), 3 datasets (DBP100k, YAGO310, FactScore) e 7 modelos de embedding.
Eficiência e Precisão: Demonstração de que embeddings podem prever o conhecimento de LLMs em conjuntos de teste (held-out sets) com até 90% de precisão e altos escores de AUC, superando significativamente os baselines como classificadores de maioria e tentativa aleatória.

Resultados Experimentais

Desempenho: Modelos de embedding de sentença (particularmente NVE2 e Linq) superaram consistentemente os embeddings de grafo (ULTRA) e os baselines. Na tarefa de geração binária no DBP100k, o NVE2 alcançou até 91,52% de precisão e 86,89% de AUC para o GPT-4o-mini.
Comparação de Modelos: Enquanto o Linq teve o melhor desempenho no YAGO310, o NVE2 se destacou no DBP100k. Notavelmente, o modelo baseado em grafos ULTRA teve um desempenho ruim, sugerindo que os LLMs não induzem fatos através dos mesmos mecanismos de caminho mais curto que as GNNs em grafos de conhecimento.
Eficiência de Ajuste: O ajuste linear mostrou-se tão eficaz quanto o ajuste LoRA, sugerindo que uma simples camada linear é suficiente para adaptar os embeddings ao espaço de conhecimento de um LLM.
Robustez: Os resultados permaneceram estáveis através de variações nas porcentagens de amostragem (0,1% a 10%) e razões de amostras negativas, embora o desempenho tenha melhorado geralmente com a inclusão de amostras negativas devido ao equilíbrio de classes.
Limitações Observadas: O método teve dificuldades com o Llama-3.3-70B, onde os modelos de embedding falharam em estimar o conhecimento melhor do que o acaso, indicando que estimar o conhecimento em modelos maiores e mais complexos continua sendo um desafio.

Significância e Alegações

O artigo afirma que o PEEK fornece uma alternativa escalável e de baixo custo para a sondagem tradicional de conhecimento. Ao usar embeddings proxy, pesquisadores e profissionais podem:

Identificar lacunas factuais em LLMs em escala sem consultar os modelos.
Obter insights sobre o viés indutivo interno dos LLMs em relação aos panoramas factuais.
Otimizar a Geração Aumentada de Recuperação (RAG) ao desconsiderar fatos que o modelo já conhece, melhorando assim a utilização de contexto.

Os autores enfatizam que, embora seu benchmark dependa de conhecimento derivado da Wikipedia, a metodologia não é inerentemente restrita a domínios fechados. No entanto, eles observam modestamente que o conhecimento de domínio especializado pode exigir o treinamento de embeddings específicos do domínio do zero. O trabalho conclui que os modelos de embedding devem ser utilizados na etapa de pré-implantação dos LLMs para encontrar e corrigir preventivamente as lacunas factuais.