💬 NLP

Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models

Deze studie toont aan dat latente kennis—biomedische feiten die opgeslagen zijn in de gewichten van een model maar aanvankelijk ontoegankelijk zijn—de sterkste voorspeller is van hoe snel grote taalmodellen nieuwe feiten verwerven tijdens fine-tuning en hun vermogen om te generaliseren naar ongeziene ontologie-mappings, terwijl het ook onthult dat eerder correcte mappings gevoeliger zijn voor degradatie wanneer ze niet worden versterkt tijdens de training.

Oorspronkelijke auteurs: Daniel B. Hier, Tayo Obafemi-Ajayi

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel B. Hier, Tayo Obafemi-Ajayi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (zoals het model dat in deze studie werd gebruikt) voor als een reusachtige, chaotische bibliotheek die is gebouwd door miljoenen boeken te lezen. Voordat de onderzoekers aan hun experiment begonnen, was deze bibliotheek al vol met feiten, maar ze waren op een slordige manier opgeslagen. Sommige feiten waren geschreven in felle, dikgedrukte letters op de voorkant (makkelijk te vinden), terwijl andere in onzichtbare inkt achter in een stoffig boek waren gekrabbeld (moeilijk te vinden, maar er wel).

De onderzoekers wilden weten: Als we deze bibliotheek een specifieke "studiehandleiding" geven (fine-tuning), hoe snel leert hij dan nieuwe feiten? En wat bepaalt of hij ze snel leert of oude vergeet?

Hier is het verhaal van hun bevindingen, onderverdeeld in eenvoudige concepten:

1. De ontdekking van de "onzichtbare inkt" (Latente kennis)

De onderzoekers ontdekten dat de bibliotheek een geheim had. Sommige feiten waren geschreven in "onzichtbare inkt". Als je de bibliotheek normaal gesproken een vraag stelde, zei hij: "Ik weet het niet." Maar als je de vraag op een iets andere, meer willekeurige manier stelde (met een techniek genaamd stochastische decodering), zei de bibliotheek plotseling: "Oh! Dat weet ik eigenlijk wel!"

Ze noemden dit Latente Kennis. Het is als een student die een wiskundige formule kent, maar te nerveus is om hem tijdens een toets op te schrijven. De kennis is er wel, hij is alleen verborgen.

De grote bevinding:

Feiten met "onzichtbare inkt" werden super snel geleerd. Toen de onderzoekers met de "studiehandleiding" (fine-tuning) begonnen, leerde het model deze feiten bijna onmiddellijk. Het was alsoos dat de student alleen een klein zetje nodig had om te herinneren wat hij al wist.
Feiten zonder "onzichtbare inkt" waren langzame leerlingen. Als de bibliotheek een feit nog nooit eerder had gezien (of het was zeer zeldzaam), moest het model het vanaf nul leren. Dit duurde veel langer en gebeurde op een langzamer tempo.

2. De drie uitkomsten van het studeren

De onderzoekers volgden de bibliotheek over 20 "studiesessies" (epochs) en hielden drie specifieke zaken bij:

Memoriseren (Leren wat je ziet): Het model leerde de feiten die het expliciet werd aangeleerd.
- Resultaat: Het leerde ongeveer 72% van de feiten die het werd aangeleerd. Maar opnieuw: de feiten die het "half kende" (latente kennis) werden eerst en het snelst geleerd.
Generalisatie (Raden van het ongeziene): De onderzoekers gaven het model een lijst met feiten die het nog nooit had gezien en vroegen of het deze kon afleiden door naar de vergelijkbare feiten te kijken.
- Resultaat: Dit kwam zeer zelden voor (slechts ongeveer 6% van de tijd). Echter, het model slaagde er alleen in om deze nieuwe feiten te raden als het al die "onzichtbare inkt" (latente kennis) over hen bezat. Als het nul voorafgaande blootstelling had, kon het de nieuwe feiten niet raden.
Degradatie (Vergeten wat je wist): Dit is het enge deel. Soms, terwijl het model nieuwe dingen aan het leren was, vergat het feiten die het aan het begin heel goed kende.
- Resultaat: Het model was veel eerder geneigd om feiten te vergeten die het niet tijdens de studiesessies had geleerd. De feiten die het wel werd aangeleerd, werden beschermd, als een schild. Het is alsoverstuderen voor een geschiedenisexamen en per ongeluk je eigen telefoonnummer vergeten omdat je zo gefocust was op de nieuwe stof.

3. De "Populariteit"-factor

De onderzoekers controleerden ook of het uitmaakte hoe "populair" een feit was in de echte wereld (hoe vaak het in medische boeken voorkwam).

De verrassing: Hoe vaak een specifiek woord voorkwam, maakte niet veel uit.
De echte winnaar: Hoe vaak de identifier (de specische code voor het feit) voorkwam, deed er veel toe.
De kampioen: De "Onzichtbare Inkt" (Latente Kennis) was de sterkste voorspeller. Het was belangrijker dan populariteit of frequentie.

De metafoor van de conclusie

Denk aan het model als een tuinier en de feiten als zaden.

Latente kennis is als een zaadje dat al een klein worteltje onder de grond heeft gesproten. Wanneer je het water geeft (fine-tuning), schiet het direct op als een plant.
Geen latente kennis is een zaadje dat volledig in rust is. Je moet het heel lang water geven voordat het zelfs maar denkt aan groeien.
Generalisatie is proberen een plant te laten groeien uit een zaadje dat je nog nooit hebt gezien. Je kunt dit alleen doen als de bodem (het brein van het model) al de juiste voedingsstoffen (latente kennis) heeft om dit te ondersteunen.
Degradatie is als de tuinier die zo hard bezig is met het planten van nieuwe bloemen, dat hij per ongeluk op de oude stapt. De bloemen die je op dit moment water geeft (de trainingsset), blijven veilig, maar de bloemen die je negeert (de ongeziene set) worden vertrapt.

Samenvatting

Het artikel concludeert dat je een model niet zomaar alles direct kunt laten leren.

Als het model al een "hint" van de kennis heeft (latente kennis), leert het snel en kan het zelfs vergelijkbare nieuwe dingen raden.
Als het model helemaal geen hint heeft, is het leren traag en zal het geen nieuwe dingen kunnen raden.
Om te voorkomen dat het model oude feiten vergeet, moet je die specifieke feiten blijven oefenen tijdens de training.

Dit helpt wetenschappers te begrijpen wanneer ze een model moeten trainen en wat ze kunnen verwachten, in plaats van er simpelweg vanuit te gaan dat het er magisch alles uit leert.

Technische Samenvatting: Latente Kennis als Voorspeller van Feitenverwerving in Fine-Tuned Large Language Models

Probleemstelling
Large language models (LLM's) coderen biomedische feiten met een ongelijke sterkte na pretraining, wat vaak de long-tail distributie van hun trainingscorpora weerspiegelt. Terwijl sommige feiten gecodeerd zijn maar ontoegankelijk onder deterministische decodering (termed "latente kennis"), zijn anderen minimaal gerepresenteerd. Huidig onderzoek behandelt feitenverwerving tijdens fine-tuning vaak als een binaire uitkomst (geleerd versus niet geleerd), waarbij gefaald wordt in het kwantificeren van de snelheid van verwerving, de dynamiek van generalisatie naar ongeziene feiten, of de mechanismen van kennisdegradatie. Bovendien blijft het onduidelijk hoe pretraining-afgeleide representaties, specifnicamente latente kennis, de efficiëntie van fine-tuning bij het injecteren van gestructureerde ontologiefeiten (term–identifier paren) in LLM's beïnvloeden.

Methodologie
De auteurs gebruikten een survival analysis framework om feitenverwerving te modelleren als een time-to-event proces, waarbij de epoch van fine-tuning als tijd werd beschouwd en de eerste occurence van een correcte identifier-output als de gebeurtenis (event).

Model en Data: De studie maakte gebruik van het Llama-3.1-8B-Instruct model. Twee biomedische ontologieën dienden als gestructureerde testbedden: de Human Phenotype Ontology (HPO) en de Gene Ontology (GO).
- HPO: 800 term–identifier paren werden gebruikt als trainingsdata (geziene termen).
- GO: 800 paren werden gesplitst in 400 training (geziene) en 400 achtergehouden (ongeziene) paren om generalisatie te beoordelen.
Detectie van Latente Kennis: Latente kennis werd geïdentificeerd via stochastische decodering (sampling bij temperatuur 1.0). Een term bezat latente kennis als ten minste één van de 50 stochastische samples vóór fine-tuning de correcte identifier produceerde.
Fine-Tuning Protocol: Het model werd voor 20 epochs gefine-tuned met behulp van Low-Rank Adaptation (LoRA). Voor HPO werden alle 800 paren getraind. Voor GO werden alleen de 400 geziene paren getraind, terwijl de 400 ongeziene paren werden geëvalueerd voor generalisatie.
Analytisch Framework:
- Acquisitie/Generalisatie: Gemodelleerd met Kaplan–Meier estimators om accumulatiecurven ( $F(t)$ ) en velocity-curven ( $V(t)$ ) te genereren.
- Predictoren: Cox proportional hazards modellen werden gebruikt om de impact van covariaten op de acquisitiesnelheid te kwantificeren. Covariaten omvatten de status van latente kennis, identifier-frequentie in PubMed Central (PMC), term-frequentie in PMC, en gecureerde annotatie-aantallen.
- Degradatie: Geanalyseerd door termen te volgen die correct waren bij de baseline (epoch 0) maar incorrect werden tijdens training.

Belangrijkste Bijdragen

Rate-Based Framework: Het artikel introduceert een survival analysis benadering om feitenleren te karakteriseren, waarbij verder wordt gegaan dan binaire accuratesse-metrieken om de snelheid van verwerving, de timing van convergentie en het risico op degradatie te kwantificeren.
Latente Kennis als Primaire Predictor: De studie stelt vast dat latente kennis (informatie aanwezig in de gewichten maar ontoegankelijk onder deterministische decodering) de sterkste voorspeller is van de snelheid van feitenverwerving en het succes van generalisatie.
Asymmetrische Dynamiek van Fine-Tuning: Het werk schetst drie duidelijke uitkomsten van fine-tuning:
- Memorizatie: Snelle verwerving van geziene feiten, zwaar afhankelijk van latente kennis.
- Generalisatie: Zeldzaam (5,8% in deze studie) maar voorspelbaar, wat bijna uitsluitend plaatsvindt wanneer latente kennis aanwezig is.
- Degradatie: Het verlies van eerder correcte feiten, wat aanzienlijk wordt gemitigeerd door voortdurende blootstelling tijdens training, en niet door latente kennis.

Resultaten

Acquisitie Snelheid: Bij de baseline herinnerde het model 2,8% van de HPO-paren correct. Na 20 epochs waren 71,9% verworven. Termen met latente kennis werden significant sneller verworven (gemiddelde tijd 2,9 epochs) vergeleken met termen zonder (11,4 epochs). Latente kennis verhoogde de hazard ratio (HR) van acquisitie met 2,6 ( $p < 0,001$ ).
Dosis-Respons Effect: Er werd een gegradeerd verband waargenomen; termen met "hoge" latente kennis (stochastische accuratesse $\ge$ 10%) convergeerden eerder en met hogere piekvelociteiten dan termen met "matige" latente kennis.
Generalisatie: Generalisatie naar ongeziene GO-termen kwam weinig voor (5,8% van 379 termen). Echter, latente kennis was de dominante predictor, wat de hazard van generalisatie met een factor 13,67 verhoogde ( $p < 0,005$ ). De frequentie van de identifier in PMC voorspelde generalisatie eveneiden positief (HR = 3,39).
Degradatie: Van de 43 GO-termen die correct waren bij de baseline, degradeerden 55,8% tijdens training. Degradatie was significant waarschijnlijker voor ongeziene termen dan voor geziene termen (HR = 0,10 voor geziene termen, wat wijst op een beschermend effect van training). Opvallend genoeg bood latente kennis geen bescherming tegen degradatie voor feiten die al correct waren.

Betekenis en Claims
Het artikel claimt dat pretraining-afgeleide structuur, specifiek latente kennis, de efficiëntie van fine-tuning fundamenteel vormgeeft. Het stelt dat latente kennis de effectieve zoekruimte van het model verkleint, waardoor fine-tuning bestaande zwakke associaties kan aanpassen in plaats van nieuwe associaties vanaf nul te ontdekken. Bijgevolg is fine-tuning het meest efficiënt voor het injecteren van ontologiefeiten waarbij het model reeds over "half-kennis" beschikt.

De auteurs concluderen dat dit framework een geprincipeerde methode biedt voor:

Het identificeren van "ontologie-woestijnen" (termen met geen latente kennis) waar fine-tuning waarschijnlijk data-inefficiënt is.
Het voorspellen van welke ongeziene feiten vatbaar zijn voor generalisatie.
Het ontwerpen van curricula die prioriteit geven aan de versterking van klinisch belangrijke feiten om catastrofaal vergeten te voorkomen, aangezien resistentie tegen degradatie afhangt van trainingsexpositie in plaats van pretraining-salientie.

De studie benadrukt dat deze bevindingen specifiek zijn voor de geobserveerde leercurves en niet beweren de interne mechanistische verschuivingen (bijv. logit redistributie) te verklaren die deze veranderingen drijven, wat suggereert dat toekomstig werk mechanistische analyse met dit rate-based framework moet integreren.

1. De ontdekking van de "onzichtbare inkt" (Latente kennis)

2. De drie uitkomsten van het studeren

3. De "Populariteit"-factor

De metafoor van de conclusie

Samenvatting

Meer zoals dit