🤖 machine learning

PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking

PreGress is een nieuw framework dat ranking-native pre-training objectives en lichtgewicht prompting-modules introduceert om efficiënte, overdraagbare en hoogwaardige node ranking over diverse taken mogelijk te maken zonder dat volledige modelretraining vereist is.

Oorspronkelijke auteurs: Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een enorme, bruisende stad loopt waar elke persoon verbonden is met anderen door onzichtbare draden van vriendschap, zaken of gedeelde interesses. In de wereld van data science wordt deze stad een "graaf" genoemd, en de mensen zijn "nodes" (knopen). Soms moet je de belangrijkste mensen in deze stad vinden—misschien degenen die een gerucht het snelst kunnen verspreiden, of degenen die twee verre buurten met elkaar verbinden. Dit wordt "node ranking" genoemd. Het is alsoat proberen uit te zoeken wie de drie meest geciteerde wetenschappers zijn in een enorme bibliotheek met onderzoeksartikelen, of welke producten een klant waarschijnlijk als volgende zal kopen.

Lama tijd was het uitrekenen van deze rangschikkingen alsof je elk zandkorreltje op een strand probeerde te tellen om de grootste te vinden. Het was traag, duur en vereiste dat een mens de wiskunde voor elke specifieke vraag uitvoerde. Toen kwamen slimme computers genaamd "Graph Neural Networks" (GNN's) aan. Zij zijn als supersnelle studenten die kunnen leren om antwoorden te raden door voorbeelden te bestuderen. Maar hier is de crux: meestal, als je een student wilde leren om de "meest verbonden" persoon te vinden, moest je hem telkens opnieuw leren hoe hij de "meest invloedrijke" persoon moest vinden. Het was alsof je een student had die geweldig was in wiskunde maar verschrikkelijk in geschiedenis, en je moest voor elk nieuw vak een hele nieuwe leraar inhuren.

Onlangs begonnen wetenschappers een andere aanpak te proberen die "pre-training" wordt genoemd. Denk hierbij aan het leren van een student een algemene set vaardigheden—zoals lezen, logisch denken en de wereld begrijpen—voordat hij ooit een specifieke toetsvraag ziet. Het idee is dat zodra deze algemene kennis aanwezig is, de student zich snel kan aanpassen aan elk nieuw onderwerp. Maar er was een probleem: de meeste algemene "studenten" werden getraind om dingen te doen zoals het raden van ontbrekende woorden in een zin of het voorspellen of twee mensen vrienden zijn. Ze waren niet getraind om dingen naar belangrijkheid te rangschikken. Dus wanneer je hen vroeg om nodes te rangschikken, waren ze goed in de basis, maar niet zo goed in de specifieke taak.

Dit is waar een nieuw team van onderzoekers, onder leiding van Lujie Ban en collega's, met een fris idee kwam. Zij vroegen zich af: "Wat als we een student bouwen die geboren is om dingen te rangschikken?" Ze creëerden een nieuw systeem genaamd PreGress. In plaats van een algemene student te trainen en te hopen dat hij later kan leren rangschikken, trainden ze het systeem specifiek op het concept van belangrijkheid vanaf het allereerste begin. Ze gebruikten een slimme truc genaamd "prompting", wat is als het geven van een speciale bril of een hintkaart aan de student voor elke nieuwe toets, in plaats van het hele vak opnieuw te onderwijzen.

Zo werkt PreGress in de echte wereld. Eerst bekijkt het systeem een enorme graaf (zoals een sociaal netwerk) en breekt deze af in kleine, beheersbare buurten die "ego networks" worden genoemd. Stel je voor dat je naar een stad kijkt, niet als één gigantische kaart, maar door je op één keer te concentreren op de directe vriendenkring van één persoon. Dit helpt het systeem om lokale details te begrijpen zonder in de war te raken door de hele stad tegelijk.

Vervolgens gaat het systeem door een fase van "pre-training". Het leert twee hoofdzaken:

Degree Centrality Prediction: Het leert te raden hoeveel vrienden iemand heeft door alleen naar hun buurt te kijken. Dit is een directe maatstaf voor belangrijkheid die gemakkelijk te berekenen is.
Attribute Reconstruction: Het probeert ontbrekende details over een persoon te raden (zoals hun hobby's of beroep) op basis van wat hun vrienden doen. Dit helpt het systeem om de "persoonlijkheid" van de nodes te begrijpen, niet alleen hun verbindingen.

Door deze twee dingen samen te leren, bouwt het systeem een diep begrip op van wat een node belangrijk maakt, zowel structureel (wie ze kennen) als door hun eigen kenmerken.

Zodra dit "ranking-native" brein is gebouwd, hoeft het niet voor elke nieuwe taak opnieuw getraind te worden. In plaats daarvan gebruiken de onderzoekers prompt tuning. Als het systeem de "meest centrale" persoon moet vinden, krijgt het een eenvoudige, lichtgewicht hint (een prompt) die het vertelt zich te concentreren op het aantal verbindingen. Als het mensen moet vinden die fungeren als bruggen tussen groepen, krijgt het een andere hint die zich richt op padvinden. De kern van het brein blijft bevroren en onveranderd; alleen de kleine hintkaarten worden aangepast. Dit is als het hebben van een meesterkok die alles kan koken. Je hoeft niet voor elk gerecht een nieuwe chef in te huren; je geeft dezelfde chef gewoon een ander receptkaartje.

De onderzoekers testten PreGress op zes verschillende publieke grafen en twee real-world aanbevelingsdatasets (zoals Yelp en MovieLens). Ze ontdekten dat PreGress niet alleen sneller was dan traditionele methoden, maar ook nauwkeuriger. Het kon nodes beter rangschikken dan systemen die telkens vanaf nul getraind moesten worden. Sterker nog, bij sommige taken was het duizenden keren sneller dan exacte berekeningsmethoden, terwijl het toch het juiste antwoord gaf.

Een van de meest opwindende bevindingen was dat deze aanpak zelfs werkt wanneer je heel weinig data hebt om het systeem te onderwijzen. In een "few-shot" test, waarbij het systeem slechts 10 of 20 voorbeelden zag van wat er gerangschikt moest worden, presteerde PreGress nog steeds ongelooflijk goed en versloeg het andere methoden die honderden voorbeelden nodig hadden. Dit suggereert dat de pre-training het systeem echt een fundamenteel begrip van belangrijkheid heeft geleerd dat het overalop kan toepassen.

Het paper keek ook naar hoe diep het systeem kon gaan. Normaal gesproken, wanneer neurale netwerken te diep worden (te veel lagen hebben), beginnen ze alles te vervagen, waardoor het moeilijk wordt om de ene node van de andere te onderscheiden—een probleem dat "over-smoothing" wordt genoemd. PreGress kon echter prachtig met diepe lagen omgaan en behield zijn vermogen om tussen verschillende nodes te onderscheiden, zelfs in zeer complexe netwerken.

Kortom, PreGress is een nieuwe manier om computers te leren hoe ze dingen in een netwerk moeten rangschikken. In plaats van voor elke nieuwe vraag een nieuw model te trainen, bouwt het één slim, aanpasbaar model dat de regels van belangrijkheid één keer leert en vervolgens kleine hints gebruikt om elk rangschikkingspuzzel op te lossen. Het is sneller, goedkoper en nauwkeuriger dan de oude manieren, wat belooft dat zoekmachines, aanbevelingssystemen en netwerkanalyse veel slimmer en efficiënter zullen worden. De auteurs suggereren dat dit een grote stap voorwaarts kan zijn om grafische AI nuttiger te maken voor iedereen, van het vinden van de beste film om te kijken tot het begrijpen van de verspreiding van ziekten door een populatie.

Technische Samenvatting: PreGress

Probleemdefinitie

Node ranking (het rangschikken van knopen) is een fundamentele taak in grafische informatieverwerking, gericht op het ordenen van knopen op basis van hun relatieve belang of relevantie voor toepassingen zoals invloedsanalyse, aanbeveling en grafische Retrieval Augmented Generation (RAG). Traditionele methoden voor het berekenen van ranking-maten (bijv. PageRank, Betweenness Centrality, Local Subgraph Counting) kampen met een schaalbaarheidsbottleneck: exacte berekening is vaak computationeel onhaalbaar op grote grafen, terwijl benaderende algoritmen mogelijk onnauwkeurige schattingen opleveren.

Bestaande leergestuurde benaderingen die gebruikmaken van Graph Neural Networks (GNN's) bieden schaalbare benaderingen, maar lijden onder twee kritieke beperkingen:

Gebrek aan Transfereerbaarheid: Ze zijn doorgaans toegesneden op specifieke ranking-criteria, wat het verzamelen van dure ground-truth labels en het hertrainen van een nieuw model voor elke downstream-taak vereist.
Misalignement in Pre-training: Recente inspanningen op het gebied van grafische pre-training maken vaak gebruik van doelstellingen (bijv. link prediction) die niet overeenstemmen met node ranking, wat resulteert in suboptimale aanpasbaarheid bij het finetunen of prompten voor ranking-taken.

De kernuitdaging die dit werk aanpakt, is hoe men verenigde, transfereerbare meta-kennis kan afleiden uit gemakkelijk toegankelijke grafische signalen om een enkel model in staat te stellen zich aan diverse node ranking-criteria aan te passen zonder kostbare menselijke annotatie of volledige hertraining.

Methodologie: PreGress Framework

De auteurs stellen PreGress voor, de eerste ranking-native pre-training en prompting framework voor grafische node ranking. Het framework werkt in drie stadia:

1. Ego Network Extractie

Om het over-smoothing probleem te mitigeren dat gebruikelijk is bij diepe GNN's (waarbij node embeddings ononderscheidbaar worden), verwerkt PreGress niet de gehele graaf als één eenheid. In plaats daarvan extraheert het $k$ -hop ego netwerken voor elke knoop. Een subgraph neural network (SNN) verwerkt deze lokale subgrafen. Deze aanpak beperkt het receptieve veld tot lokale buurten, waardoor onderscheidbare node-representaties behouden blijven en essentiële lokale structurele en attributieve informatie wordt vastgelegd.

2. Multi-Task Pre-training

PreGress hanteert een multi-task pre-training strategie die is ontworpen om aan te sluiten bij de continue numerieke outputruimte van ranking-taken. De pre-training doelstellingen zijn:

Degree Centrality Prediction: Een primaire taak waarbij het model de graad (degree) van elke knoop voorspelt. Dit levert een continu, gemakkelijk verkrijgbaar ground-truth signaal dat topologische belangrijkheid vastlegt. Het model gebruikt een self-attention mechanisme om node-representaties te aggregeren voor deze regressietaken.
Attribute Reconstruction: Een hulp-taak geïnspireerd door BERT en Masked Autoencoders. Het model reconstrueert gemaskeerde node-attributen met behulp van de zichtbare attributen en de onderliggende grafische structuur via een cross-attention mechanisme. Dit zorgt ervoor dat het model de intrinsieke relaties tussen node-eigenschappen en structurele belangrijkheid vastlegt.

De pre-training loss combineert Mean Squared Error (MSE) voor degree prediction, een listwise distribution-matching regularizer (KL divergentie) om ranking-orde consistentie af te dwingen, en een InfoNCE loss voor attribute reconstruction.

3. Taakspecifieke Prompt Tuning

Om de bevroren pre-trained backbone aan te passen aan diverse downstream ranking-taken, maakt PreGress gebruik van lichtgewicht, taakspecifieke prompt-modules in plaats van volledige fine-tuning:

Voor Centrality Prediction: Een leerbaar vector wordt toegevoegd aan de node-attributen van de downstream graaf.
Voor Local Subgraph Counting: Een lichtgewicht GNN codeert het patroon-subgraf (de subgrafstructuur die geteld moet worden) naar een prompt-vector, die vervolgens wordt toegevoegd aan de attributen van de downstream graaf. Een Soft Canonical Correlation Analysis (Soft CCA) regularisatie term wordt gebruikt om de representaties van het patroon-subgraf en de ego netwerken uit te lijnen.

In deze fase worden alleen de prompt-modules en een verenigde projectie-kop bijgewerkt, terwijl de pre-trained SNN backbone bevroren blijft.

Belangrijkste Bijdragen

Ranking-Native Framework: Introductie van de eerste pre-training en prompting framework die specifiek is ontworpen voor node ranking, wat het onderscheidt van algemene grafische pre-training methoden.
Multi-Task Pre-training Strategie: Een nieuwe strategie die degree centrality prediction en attribute reconstruction combineert om gezamenlijk structurele en attributieve informatie vast te leggen, waarbij de pre-training doelstellingen worden afgestemd op fijnmazige ranking-vereisten.
Taakspecifieke Prompt Modules: Het ontwerp van lichtgewicht, heterogene prompt-mechanismen die een enkele bevroren backbone in staat stellen om zich aan te passen aan verschillende ranking-criteria (bijv. centrality versus subgraph counting) zonder de kern van het model te hertrainen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat PreGossen een sterke ranking-prestatie levert met aanzienlijk lagere computationele overhead en minder trainbare parameters vergeleken met fine-tuning en bestaande baselines.

Experimentele Resultaten

De auteurs hebben PreGress geëvalueerd op zes publieke grafen (bijv. soc-brightkite, Flickr, YouTube) en twee real-world aanbevelingsbenchmarks (Yelp2018, MovieLens-100K).

Ranking Prestaties: PreGress behaalde consequent state-of-the-art of zeer competitieve resultaten in Betweenness Centrality Prediction en Local Subgraph Counting, waarbij het de meeste datasets overtrof van vanilla GNN's, fine-tuning methoden (bijv. SimGRACE, GraphMAE) en bestaande prompt-tuning baselines (bijv. GraphPrompt, GPPT).
Efficiëntie: Het framework vertoonde significante efficiëntievoordelen. Wat betreft de trainbare parameters verminderde PreGress de state overhead met ongeveer 99,9% vergeleken met volledige fine-tuning in aanbevelingsscenario's. Het bereikte ook query-latenties die orden van grootte sneller zijn dan exacte berekeningsalgoritmen, terwijl het een superieure nauwkeurigheid behield ten opzichte van andere leergestuurde benaderingen.
Robuustheid: Het model toonde een sterke generalisatie over verschillende grafengroottes en -densiteiten. Ablatie-studies bevestigden de noodzaak van de subgraph backbone (SNN) om over-smoothing te voorkomen en het belang van prompt tuning voor taakaanpassing.
Few-Shot Learning: PreGress demonstreerde superieure prestaties in scenario's met weinig data (10-shot tot 50-shot), wat aangeeft dat de pre-trained representaties effectief transfereerbare ranking-signalen vastleggen.

Betekenis en Claims

Het artikel beweert dat PreGress de kritieke kloof overbrugt tussen de behoefte aan schaalbare node ranking en de beperkingen van huidige leergestuurde methoden. Door te verschuiven van "pre-training en fine-tuning" naar "pre-training en prompting", maakt PreGess het volgende mogelijk:

Label Efficiëntie: Het elimineren van de noodzaak voor dure, taakspecifieke ground-truth labels voor elk nieuw ranking-criterium.
Schaalbaarheid: Het bieden van een oplossing die schaalt naar grote grafen door volledige hertraining te vermijden en efficiënte prompt-gebaseerde aanpassing te gebruiken.
Verenigde Representatie: Het vestigen van een gedeelde, transfereerbare backbone die verschillende heterogene ranking-taken kan ondersteunen, waarmee men verder gaat dan de gesiloiseerde aanpak van het trainen van aparte modellen voor elke metriek.

De auteurs positioneren PreGress als een stap naar het verenigen van node ranking-problemen onder een gedeeld pre-training-en-prompting framework, wat een praktisch recept biedt voor het implementeren van ranking-systemen in omgevingen met beperkte middelen of snelle veranderingen.