💻 computer science

KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

Het artikel stelt KGPFN voor, een fundamenteel model voor kennisgrafieken dat Prior-data Fitted Networks benut om overdraagbare relationele regulariteiten te verenigen met zowel lokale als globale in-context learning, waardoor een superieure adaptatie aan onbekende grafen wordt bereikt over 57 benchmarks zonder fine-tuning.

Oorspronkelijke auteurs: Yisen Gao, Jiaxin Bai, Haoyu Huang, Zhongwei Xie, Yufei Li, Hong Ting Tsang, Sirui Han, Yangqiu Song

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yisen Gao, Jiaxin Bai, Haoyu Huang, Zhongwei Xie, Yufei Li, Hong Ting Tsang, Sirui Han, Yangqiu Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, zoals het achterhalen van de nationaliteit van een persoon alleen door te kijken naar een paar aanwijzingen over hun leven.

In de wereld van Kunstmatige Intelligentie zijn Kennisgrafieken zoals enorme, onderling verbonden webben van feiten (bijvoorbeeld: "Demis Hassabis werd geboren in Londen", "Londen ligt in het VK"). Lange tijd moesten AI-modellen die deze puzzels probeerden op te lossen, elke keer opnieuw "van nul" worden getraind wanneer ze een nieuw web van feiten tegenkwamen. Het was alsof je een detective huurt die het misdrijfsscène in Londen perfect kent, maar zes maanden naar school moet om te leren hoe je een misdrijf in Tokio onderzoekt.

Dit artikel introduceert een nieuw AI-model genaamd KGPFN dat het spel verandert. In plaats van opnieuw te leren, maakt het gebruik van een superkracht genaamd In-Context Learning. Denk hierbij aan een detective die geen nieuwe school nodig heeft; ze hebben slechts een paar notities van de huidige zaak nodig om deze direct op te lossen.

Hieronder wordt uitgelegd hoe KGPFN werkt, opgesplitst in eenvoudige concepten:

1. De twee soorten "Context" (De notities van de detective)

Het artikel stelt dat je om een puzzel op te lossen twee soorten informatie nodig hebt, die de auteurs Lokale Context en Globale Context noemen.

Lokale Context (De directe buurt):
Stel je voor dat je probeert te raden wat iemands beroep is. Als je alleen weet dat ze "werken in een ziekenhuis", is dat een aanwijzing. Maar als je ook weet dat ze "een witte jas dragen" en "een stethoscoop bij zich hebben", is dat de lokale buurt.
- Het probleem: Soms betekent dezelfde aanwijzing verschillende dingen. "Geboren in Peking" betekent meestal "Chinese nationaliteit". Maar voor een beroemde wetenschapper die naar de VS is verhuisd en werkt aan Stanford, kan die aanwijzing misleidend zijn. Het model moet kijken naar de onmiddellijke omgeving van de persoon om te weten of de aanwijzing hier van toepassing is.
- De oplossing van KGPFN: Het zoomt in op de specifieke persoon en hun directe vrienden en connecties om het volledige plaatje te zien.
Globale Context (Het regelboek van de wereld):
Stel je nu voor dat je moet weten hoe de regel voor "Nationaliteit" doorgaans werkt in de hele wereld. Je kijkt naar duizenden andere mensen: "Yann Lecun komt uit Frankrijk", "Yoshua Bengio komt uit Canada".
- Het probleem: Als je alleen naar één persoon kijkt, kun je het grote patroon missen.
- De oplossing van KGPFN: Het haalt een "spiekbriefje" met vergelijkbare voorbeelden uit de hele database op. Het vraagt: "Hoe gedraagt de relatie 'Nationaliteit' zich doorgaans in deze grafiek?" Dit geeft het model een gevoel voor de algemene regels voordat het naar de specifieke persoon kijkt.

2. De magische motor: Het "Prior-Data Fitted Network" (PFN)

De kern van KGPFN is een speciale motor genaamd een Prior-Data Fitted Network (PFN).

De analogie: Denk aan een standaard AI-model als een student die een schoolboek uit het hoofd leert. Als de toelatingsvraag niet in het boek staat, zakken ze.
De aanpak van KGPFN: Denk aan KGPFN als een genie dat heeft geoefend met miljoenen nep, verzonnen puzzels. Ze hebben de antwoorden niet uit het hoofd geleerd, maar ze hebben geleerd hoe je leert.
Hoe het werkt: Wanneer je KGPFN een nieuwe puzzel geeft (een nieuwe grafiek die het nog nooit heeft gezien), hoeft het niet te studeren. Het kijkt naar de "Globale Context" (het spiekbriefje met voorbeelden) en de "Lokale Context" (de specifieke aanwijzingen) en bedenkt direct het patroon. Het is als een meesterkok die een nieuw gerecht kan proeven en direct weet welke kruiden hij moet toevoegen, omdat hij de principes van koken begrijpt, niet alleen een lijst met recepten.

3. Hoe het de puzzel oplost

Het artikel beschrijft een proces in drie stappen:

Verzamel de aanwijzingen: Het bouwt een "Globale Context" door veel voorbeelden van hetzelfde type relatie te vinden (bijvoorbeeld 20 voorbeelden van "geboren in" en 60 voorbeelden van "niet geboren in") om de algemene regel te begrijpen.
Zoom in: Het bouwt een "Lokale Context" door te kijken naar de specifieke 3-hops-buurt rondom de persoon in kwestie (wie ze kennen, waar ze wonen, waar ze werken).
Het "Attention"-mechanisme: Het model gebruikt een speciaal "attention"-systeem. Het is als een schijnwerper.
- Het schijnt een licht op de Lokale Context om te zien welke specifieke aanwijzingen belangrijk zijn voor deze persoon.
- Het schijnt een licht op de Globale Context om te zien welke algemene regels van toepassing zijn.
- Het combineert deze om een voorspelling te doen.

De resultaten

De auteurs hebben dit getest op 57 verschillende kennisgrafieken (variërend van filmdatabases tot medische dossiers).

De grote winst: KGPFN kon puzzels oplossen op grafieken die het nooit eerder had gezien, zonder enige extra training.
De vergelijking: Het sloeg andere top-AI-modellen die op elke specifieke grafiek moesten worden "fine-tuned" (opnieuw getraind). KGPFN deed dit gewoon door naar de context te kijken, wat bewijst dat "leren onderweg" een krachtige manier is om om te gaan met nieuwe data.

Samenvattend

KGPFN is een nieuw type AI dat stopt met proberen elk enkel feit in het universum uit het hoofd te leren. In plaats daarvan leert het hoe het de sfeer moet lezen. Door een snelle blik op de directe omgeving (Lokaal) te combineren met een breed begrip van hoe dingen doorgaans werken (Globaal), kan het complexe relatiepuzzels direct oplossen, zelfs in volledig nieuwe omgevingen. Het is het verschil tussen een robot die voor elke baan een nieuwe handleiding nodig heeft en een menselijke expert die elke kamer binnen kan lopen en kan uitzoeken wat er moet gebeuren.

Technische Samenvatting van KGPFN: Het Potentieel van een Knowledge Graph Foundation Model ontsluiten via In-Context Learning

1. Probleemdefinitie

Het artikel adresseert een kritieke beperking in huidige Knowledge Graph (KG) foundation modellen: terwijl ze uitstekend presteren in het leren van overdraagbare relationele patronen (universaliteit), negeren ze grotendeels in-context learning (ICL), de tweede pijler van foundation modellen. Bestaande KG foundation modellen passen vaak te breed toepasbare, herbruikbare patronen toe en falen in het aanpassen van voorspellingen aan specifieke graf-instanties zonder fine-tuning.

De auteurs betogen dat effectief KG-redeneren vereist dat er wordt geconditioneerd op twee onderscheiden typen context, die van nature gestructureerd en heterogeen zijn:

Lokale Context: De query-specifieke omgeving waar redenering plaatsvindt. Dezelfde structurele aanwijzing (bijvoorbeeld een "driehoek"-patroon) kan leiden tot verschillende conclusies afhankelijk van de omringende subgraf (bijvoorbeeld geboorteplaats versus nationaliteit).
Globale Context: Relatie-niveau bewijs verzameld over vele instanties, dat beschrijft hoe een specifieke relatie zich typisch gedraagt over de graf (bijvoorbeeld co-voorkomende relaties, frequentie van paden, en beperkingen op geldige entiteiten).

Huidige methoden worstelen om deze complementaire signalen te verenigen om zero-shot of few-shot adaptatie naar ongezette grafen mogelijk te maken zonder hertraining.

2. Methodologie: KGPFN

De auteurs stellen KGPFN voor, een KG foundation model dat het Prior-Data Fitted Network (PFN)-paradigma benut om in-context learning uit te voeren op gestructureerde KG-data. Het framework werkt zonder fine-tuning op doelgrafen, en vertrouwt in plaats daarvan op pretraining en adaptatie tijdens de inferentie.

Belangrijkste Componenten:

Contextopbouw:
- Globale Context: Voor een query-relatie $r$ haalt het model een set positieve en negatieve triples (instanties) op uit de graf. Deze instanties, samen met hun lokale omgeving, vormen een supportset die relatie-niveau regelmatigheden vastlegt.
- Lokale Context: In plaats van volledige subgrafen voor elke kandidaat te extraheren (wat computatievriendelijk is), construeert het model een hoofdgerichte $k$ -hop omgeving rond de query-hoofdentiteit. Dit schaalt efficiënt naar grote kandidaatsets.
Contextuele Graf-Encoder:
- Relatie Representaties: Een message-passing mechanisme op een relatiegraf (waar knopen relatie-types zijn en randen interacties vertegenwoordigen) genereert query-geconditioneerde relatie-embeddings. Dit vangt cross-graf relationele invarianties op.
- Lokale Encoding: Een multi-layer NBFNet (Neural Belief Propagation Network) encodeert de hoofdgerichte subgraf, en produceert multi-schaal lokale contextvectoren die bewijs aggregeren tot $k$ hops.
- Tail-bewuste Score: Het model combineert de hoofdrepresentatie, relatie-embedding en tail-representatie (van de laatste NBFNet-laag) met interactie-features (TransE, DistMult en Cosine-afstand) om een tail-bewuste score-representatie te vormen.
- Fusie: Heterogene features (lokale context, relatie-features en interactie-features) worden via lichtgewicht adapters uitgelijnd in een gedeelde latente ruimte en geconcateneerd.
PFN Architectuur (In-Context Learning):
- De gefuseerde representaties van de query en de gelabelde globale contextset worden ingevoerd in een PFN-module.
- Feature Attention: Verfijnt feature-dimensies binnen elke steekproef (lokale context).
- Sample Attention: Aggregeert bewijs over de contextvoorbeelden (globale context). Dit stelt de query in staat om relatie-specifiek bewijs op te halen uit de gelabelde supportset.
- Mechanisme: De PFN benadert Bayesiaanse posterior voorspelling. Het behandelt de contextset als waargenomen bewijs om een voorspellende verdeling voor de query te induceren, waardoor effectief wordt geleerd wanneer herbruikbare patronen moeten worden geïnstancieerd en wanneer ze moeten worden overschreven op basis van contextueel bewijs.
Trainingsdoel:
- Het model wordt getraind op diverse KG's met een combinatie van Binary Cross-Entropy (BCE) loss (om posities van negaties te scheiden) en Softmax Cross-Entropy loss (om ranking van posities boven gesamplede negaties af te dwingen).
- Negatieve sampling wordt gebruikt, waarbij harde negatieven worden gewogen via een adaptief temperatuurmechanisme.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Dual-Context Constructie voor KG's: De auteurs introduceren een strategie die expliciet zowel lokale (query-specifieke omgeving) als globale (relatie-niveau regelmatigheden) contexten bouwt, waarmee de kloof wordt gedicht in bestaande foundation modellen die zich voornamelijk richten op overdraagbare patronen.
PFN-gebaseerde In-Context Learning: KGPFN is de eerste die het Prior-Data Fitted Network-paradigma toepast op gestructureerde KG-data. Door feature-level en sample-level attention te combineren, maakt het adaptatie tijdens de inferentie naar ongezette grafen mogelijk zonder parameterupdates.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat KGPFN superieure prestaties behaalt in zowel inductieve als full-inductieve settings, en competitieve fine-tuned baselines verslaat die alleen in-context learning gebruiken.

4. Experimentele Resultaten

Het model werd geëvalueerd op 57 KG-benchmarks over drie settings: Transductief, Inductief (ongezette entiteiten) en Volledig Inductief (ongezette entiteiten en relaties).

Prestaties: KGPFN behaalde de beste gemiddelde Mean Reciprocal Rank (MRR) en Hits@10 over alle 57 datasets.
Inductieve Capaciteit: In de meest uitdagende volledig-inductieve setting was het voordeel van KGPFN het meest uitgesproken, waarbij het consequent modellen zoals ULTRA, TRIX en MOTIF versloeg, zelfs wanneer die modellen waren gefine-tuned op de doeldatasets.
Contextgevoeligheid: Analyse toonde aan dat het verhogen van het aantal negatieve instanties in de globale context de prestaties aanzienlijk verbeterde, terwijl het aantal positieve instanties minder impact had. Bovendien was het gebruik van multi-hop (3-hop) lokale context cruciaal, aangezien 1-hop of 2-hop omgevingen leiden tot prestatiedaling.
Visualisatie: Attentiekarten bevestigden dat het model correct de aandacht concentreert op positieve contextinstanties voor correcte tail-kandidaten en de aandacht verspreidt over negatieve instanties voor incorrecte kandidaten.

5. Betekenis en Claims

Het artikel claimt dat KGPFN de kracht van context-gebaseerde adaptatie voor knowledge graph redeneren demonstreert. Door globale relationele regelmatigheden te verenigen met lokale structurele aanwijzingen via het PFN-paradigma, bereikt het model sterke generalisatie naar eerder ongezette grafen.

De auteurs benadrukken dat hun aanpak het model in staat stelt functionele expressiviteit te leren – niet alleen structurele invarianties. Theoretisch composeert het PFN-attentie-mechanisme relatie-specifieke scoringfuncties op het moment zelf door lokale structurele bewijslast uit te lijnen met label-gewogen patroonstatistieken die zijn afgeleid uit de in-context supportset. Dit stelt het model in staat om zich aan te passen aan ongezette relaties zonder fine-tuning, wat een belangrijke stap markeert naar echt algemene KG foundation modellen.

Het werk wordt gepresenteerd als een preprint, met code beschikbaar gesteld aan de gemeenschap. De auteurs wijzen op beperkingen met betrekking tot de verificatie van schaalwetten vanwege beperkingen in rekenkracht.