💬 NLP

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

Dit artikel introduceert PEEK, een computationeel efficiënte methode die voorgetrainde embeddingmodellen aanpast met een lineaire decoder om de feitelijke kennis van Large Language Models op schaal accuraat te voorspellen, waardoor de hoge kosten van traditionele forward-pass probing-technieken worden vermeden.

Oorspronkelijke auteurs: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Gepubliceerd 2026-01-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk slimme bibliotheek hebt (een Large Language Model, of LLM) die bijna alles op het internet heeft gelezen. Je wilt precies weten welke feiten deze bibliotheek heeft onthouden en wat hij is vergeten.

Het Probleem:
Momenteel, om te controleren of de bibliotheek een specifiek feit kent (zoals "Garifuna is een populatie van Guatemala"), moet je naar de bibliothecaris lopen, een vraag stellen en wachten op een antwoord. Als je miljoenen feiten wilt controleren, is dit alsof je elk boek in de bibliotheek één voor één probeert te lezen. Het is traag, duur en als de bibliotheek een "black box" is (je kunt niet zien hoe hij denkt), kun je niet in zijn brein kijken om te zien wat hij weet zonder hem rechtstreeks iets te vragen.

De Oplossing (PEEK):
De auteurs van dit artikel stellen een nieuwe tool voor genaamd PEEK (Proxy Embeddings to Estimate Knowledge). Denk aan PEEK als een high-tech "kennisradar" of een schaduw-bibliothecaris.

In plaats van de gigantische bibliotheek elke vraag afzonderlijk te stellen, gebruikt PEEK een kleinere, snellere, vooraf getrainde "scanner" (een embedding model) om te raden wat de grote bibliotheek weet.

Zo werkt het, stap voor stap:

De Trainingsfase (De scanner leren):
Eerst nemen de onderzoekers een kleine steekproef van feiten en vragen ze aan de grote bibliotheek: "Ken je dit?" Ze leggen de reactie van de bibliotheek vast (Ja/Nee, of hoe zelfverzekerd hij is). Vervolgens laten ze een kleinere, snellere scanner de tekst van die feiten zien. Ze passen de instellingen van de scanner aan (zoals het afstemmen van een radio) totdat de "gok" van de scanner overeenkomt met het werkelijke antwoord van de grote bibliotheek.
- Analogie: Stel je voor dat je een meesterkok (de LLM) hebt en een sous-chef (het embedding model). Je proeft de soep van de meesterkok en zegt tegen de sous-chef: "Deze smaakt zout." Je blijft de kruiden van de sous-chef aanpassen totdat deze precies kan voorspellen hoe zout de soep van de meesterkok zal zijn, enkel door naar de ingrediëntenlijst te kijken.
De Voorspellingsfase (De radar):
Zodra de scanner is afgesteld, hoef je de grote bibliotheek niet meer te vragen. Je voert simpelweg een nieuw feit in de scanner. De scanner voorspelt direct: "De grote bibliotheek weet dit," of "De grote bibliotheek weet dit niet."
- Analogie: Nu, in plaats van de meesterkok te vragen om elke nieuwe ingrediënt te proeven, kijkt de sous-chef naar de ingrediëntenlijst en zegt direct: "De chef weet hoe hij dit moet bereiden."

Wat ze ontdekten:

Snelheid en Nauwkeurigheid: Deze "scanner"-methode is ongelooflijk snel en nauwkeurig. In hun tests kon het de kennis van de grote bibliotheek voorspellen met een nauwkeurigheid van tot wel 90%, zonder de grote bibliotheek ooit een enkele vraag te stellen.
Tekst vs. Kaarten: Ze probeerden twee soorten scanners: één die zinnen leest (een sentence-embedding model) en één die kaarten van verbindingen leest (een graph neural network). Ze ontdekten dat de zin-scanner veel beter werkte. Het lijkt erop dat de grote bibliotheek zijn kennis organiseert als een collectie zinnen in plaats van een rigide kaart van verbindingen.
Geen noodzaak om naar binnen te kijken: In tegen tegenstelling tot andere methoden die vereisen dat je naar de interne "hersengolven" (verborgen lagen) van de bibliotheek kijkt, heeft PEEK alleen de tekst van het feit nodig. Dit betekent dat het werkt, zelfs als de bibliotheek een "black box" is waar je niet bij kunt.

Waarom dit ertoe doet:
Het artikel suggereert dat we, voordat we deze gigantische AI-bibliotheken laten helpen bij belangrijke taken (zoals in de gezondheidszorg of de juridische sector), deze "scanner" moeten gebruiken om snel hun kennishiaten te controleren. Het is een goedkope, efficiënte manier om te zeggen: "Hé, deze AI weet niets over X, dus laten we dat oplossen voordat we hem met een patiënt laten praten."

In een notendop:
PEEK is een manier om een snelle, goedkope proxy te bouwen die leert om de kennisbasis van een gigantische AI na te bootsen. Eenmaal getraind, kan deze proxy miljoenen feiten scannen om je te vertellen wat de gigantische AI weet, wat je de tijd en het geld bespaart om de gigantische AI rechtstreeks te ondervragen.

Technische Samenvatting: Efficiënt Kennisonderzoek van Large Language Models door het Aanpassen van Pre-trained Embeddings

Probleemstelling

Large Language Models (LLM's) verwerven enorme hoeveelheden feitelijke kennis over diverse domeinen tijdens generatieve pre-training. Echter, vanwege stochastische leerdoelen en ruis in de trainingsdata, blijft het in kaart brengen van het specifieke kennisschap van een LLM een uitdaging. Huidige methoden om deze kennis te onderzoeken—zoals het opstellen van specifieke prompts, het onderzoeken van verborgen representaties, of het schatten van epistemische onzekerheid—vereisen forward passes door het onderliggende LLM. Deze benaderingen zijn computationeel duur, tijdrovend en vaak onhaalbaar voor extreem grote of black-box modellen, wat de mogelijkheid beperkt om efficiënt feitelijke hiaten te identificeren vóór de inzet in kennisintensieve toepassingen zoals de gezondheidszorg en de juridische sector.

Methodologie: PEEK (Proxy Embeddings to Estimate Knowledge)

De auteurs stellen PEEK voor, een framework dat gebruikmaakt van pre-trained embeddingmodellen als proxies om de kennis van LLM's te schatten zonder de LLM's direct te bevragen. De kernhypothese is dat embeddings effectief feitelijke kennis kunnen coderen en, wanneer aangepast, de outputs van een LLM met hoge nauwkeurigheid kunnen voorspellen.

1. Kennisonderzoekfuncties (Knowledge Probing Functions)

Om de grondwaarheid voor de proxy-modellen vast te stellen, definiëren de auteurs vier verschillende onderzoeksstrategieën om te bepalen of een LLM ( $M$ ) een specifieke feit ( $f$ ) kent:

Binair Genereren: Het prompten van het LLM met ja/nee-vragen over de waarheid van een bewering.
Binair Logit-genereren: Het extraheren van de logits van de verwachte tokens ('ja'/'nee') uit het LLM om "externe vertrouwen" te meten.
Binair Activatievoorspellen: Het trainen van een lineaire kop op de verborgen representaties (laatste token activaties) van het LLM om de waarheid te voorspellen, wat "interne vertrouwen" meet.
Feitgeneratie: Het gebruik van open eind generatie (bijv. biografieën) en het labelen van atomaire feiten als ondersteund (bekend) of niet-ondersteund (onbekend) op basis van externe kennisbronnen.

2. Proxy Embeddingmodellen

Het framework maakt gebruik van twee soorten pre-trained embeddingmodellen om feiten te representeren:

Zins-embeddings (Sentence Embeddings): Modellen (bijv. MPNET, NVE2, Linq, GTE) die zinnen coderen in laagdimensionale ruimtes, getraind om semantische gelijkenis te representeren.
Graph Neural Networks (GNN's): Specifiek ULTRA, die kennisgrafiek-triples (kop, relatie, staart) coderen met behulp van shortest-path informatie.

3. Proxy Tuning

Omdat pre-trained embeddings niet inherent uitgelijnd zijn met de specifieke kennis van een LLM, passen de auteurs deze aan met behulp van een kleine trainingsset van feiten die geïdentificeerd zijn via de onderzoeksstrategieën. De aanpassing houdt het minimaliseren van een verliesfunctie in die de embedding-gebaseerde voorspelling ( $\hat{P}_\theta$ ) afstemt op de door het LLM onderzochte output ( $P_M$ ). Twee tuningstrategieën worden toegepast:

Lineaire Tuning: Alleen de laatste lineaire decoderlaag ( $W$ ) bijwerken terwijl de embeddingparameters ( $E$ ) bevroren blijven.
Low-Rank Tuning (LoRA): Parameters bijwerken via een low-rank matrix-toevoeging.

De verliesfunctie is binary cross-entropy voor discrete outputs (0/1) en kennisdistillatieverlies (met temperatuur $T$ ) voor continue outputs (logits/activaties).

Belangrijkste Bijdragen

Nieuwe Onderzoeksaanpak: Introductie van PEEK, dat trainbare lineaire koppen op pre-trained embeddingmodellen gebruikt om de kennis van een LLM te onderzoeken, waardoor kostbare forward passes door het doel-LLM worden vermeden.
Multi-Strategie Validatie: Het onthullen van feitelijke kennis via diverse strategieën, inclusief binaire queries, vrije vorm generatie en interne activatie-analyse.
Uitgebreide Evaluatie: Uitgebreide experimenten over 4 LLM's (L_lama-3.1-8B, GPT-4o, GPT-4o-mini), 3 datasets (DBP100k, YAGO310, FactScore) en 7 embeddingmodellen.
Efficiëntie en Nauwkeurigheid: Demonstratie dat embeddings de kennis van een LLM op gehouden sets kunnen voorspellen met een nauwkeurigheid van tot wel 90% en hoge AUC-scores, waarmee ze de baselines zoals meerderheidsclassifiers en willekeurige gokken aanzienlijk overtreffen.

Experimentele Resultaten

Prestaties: Zins-embeddingmodellen (met name NVE2 en Linq) presteerden consequent beter dan graaf-embeddings (ULTRA) en baselines. In de taak van binaire generatie op DBP100k bereikte NVE2 een nauwkeurigheid van tot wel 91,52% en een 86,89% AUC voor GPT-4o-mini.
Modelvergelijking: Terwijl Linq het best presteerde op YAGO310, excelleerde NVE2 op DBP100k. Opvallend genoeg presteerde het graaf-gebaseerde ULTRA-model slecht, wat suggereert dat LLM's feiten niet induceren via dezelfde shortest-path mechanismen als GNN's op kennisgrafieken.
Tuning Efficiëntie: Er werd vastgesteld dat lineaire tuning even effectief is als LoRA-tuning, wat suggereert dat een eenvoudige lineaire laag voldoende is om embeddings aan te passen aan de kennisruimte van een LLM.
Robuustheid: De resultaten bleven stabiel bij variërende bemonsteringspercentages (0,1% tot 10%) en negatieve sample-ratio's, hoewel de prestaties over het algemeen verbeterden door de inclusie van negatieve samples vanwege de klassebalans.
Geobserveerde Beperkingen: De methode had moeite met Llama-3.3-70B, waarbij de embeddingmodellen er niet in slaagden de kennis beter te schatten dan willekeurige kans, wat aangeeft dat het schatten van kennis in grotere, complexere modellen een uitdaging blijft.

Betekenis en Claims

Het artikel claimt dat PEEK een schaalbaar, kosteneffectief alternatief biedt voor traditioneel kennisonderzoek. Door gebruik te maken van proxy embeddings kunnen onderzoekers en praktijkgebruikers:

Feitelijke hiaten in LLM's op schaal identificeren zonder de modellen te bevragen.
Inzicht krijgen in de interne inductieve bias van LLM's met betrekking tot feitelijke landschappen.
Retrieval-Augmented Generation (RAG) optimaliseren door feiten die het model al kent te negeren, waardoor het contextgebruik wordt verbeteren.

De auteurs benadrukken dat hoewel hun benchmark steunt op Wikipedia-afgeleide kennis, de methodologie niet inherent beperkt is tot gesloten domeinen. Ze merken echter bescheiden op dat gespecialiseerde domeinkennis mogelijk het trainen van domeinspecifieke embeddings vanaf nul vereist. Het werk concludeert dat embeddingmodellen gebruikt moeten worden in de pre-deployment fase van LLM's om preventief feitelijke hiaten te vinden en te verhelpen.