💬 NLP

Subgraph-level Universal Prompt Tuning

Dit artikel introduceert Subgraaf-niveau Universele Prompt Tuning (SUPT), een veelzijdige methode die prompt-kenmerken op subgraaf-niveau toewijst om de contextbeperkingen van bestaande graf-prompt-tuningbenaderingen te overwinnen, en die superieure prestaties behaalt ten opzichte van fine-tuning in zowel full-shot als few-shot scenario's met aanzienlijk minder parameters.

Oorspronkelijke auteurs: Junhyun Lee, Wooseong Yang, Jaewoo Kang

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junhyun Lee, Wooseong Yang, Jaewoo Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een superintelligente robot voor die jarenlang miljoenen boeken heeft gelezen en miljoenen afbeeldingen heeft bekeken. Deze robot is een "voorgetraind model". Het weet veel, maar het weet niet precies wat jij vandaag van het wilt. Misschien wil je dat het een specifiek type ziekte in een cel identificeert, of misschien wil je dat het voorspelt of een nieuwe chemische stof giftig zal zijn.

In het verleden moest je, om deze robot een nieuwe truc te leren, het hele brein opnieuw trainen. Dit is alsof je een meesterkok die weet hoe men Franse keuken bereidt, dwingt om vanaf nul opnieuw te leren hoe men een specifiek type taart bakt. Het kost veel tijd, energie en data.

Het probleem met oude methoden
Onlangs bedachten wetenschappers een slimmer idee genaamd "Prompt Tuning". In plaats van het hele brein opnieuw te trainen, geef je de robot gewoon een kleine "hint" of een "notitie" over hoe het naar de data moet kijken.

De oude manier (Fine-Tuning): Het hele brein opnieuw trainen. Duur en traag.
De eerste prompt-methode (GPF): Stel je voor dat je een enkele post-it op het voorhoofd van de robot plakt met de tekst "Kijk goed!". Deze notitie geldt voor elk ding dat de robot ziet. Het is simpel, maar het is wat te algemeen.
De tweede prompt-methode (GPF-Plus): Stel je voor dat je de robot een post-it van een andere kleur geeft voor elk type object. Als het een "eiwit" ziet, krijgt het een blauwe notitie. Als het een "molecuul" ziet, krijgt het een rode notitie. Het is beter, maar het behandelt nog steeds alle eiwitten exact hetzelfde, zelfs als ze zich in heel verschillende situaties bevinden.

De nieuwe oplossing: SUPT (Subgraph-level Universal Prompt Tuning)
De auteurs van dit artikel, Junhyun Lee, Wooseong Yang en Jaewoo Kang, realiseerden zich dat grafen (netwerken van verbonden stippen, zoals sociale netwerken of chemische structuren) rommelig en complex zijn. Een enkele notitie voor iedereen, of zelfs een notitie voor elk type ding, is niet genoeg.

Ze bedachten SUPT.

Stel je SUPT voor als een slimme gids voor de robot.
In plaats van een notitie op het voorhoofd van de robot te plakken, kijkt de gids naar een kleine groep vrienden (een "subgraaf") die samen in een park staan.

Als de groep een familie is die een picknick houdt, fluistert de gids: "Kijk naar het eten!"
Als de groep een band is die muziek speelt, fluistert de gids: "Luister naar de instrumenten!"
Als de groep een groep vreemden is die op een bus wacht, fluistert de gids: "Check het schema!"

De gids kijkt niet alleen naar één persoon; ze kijkt naar de context van de kleine groep om te beslissen welke hint ze moet geven. Hierdoor kan de robot de nuance van de situatie veel beter begrijpen.

Hoe het werkt (De magische truc)

De invoer: De robot kijkt naar een complex web van verbindingen (een graaf).
De groepering: SUPT gebruikt een klein, simpel hulpmiddel om naar het web te kijken en te zeggen: "Hé, deze 5 stippen hier gedragen zich als een team, en die 3 stippen daar gedragen zich als een ander team."
De prompt: Het wijst een specifieke "hint" (een wiskundige vector) toe aan elk van deze teams.
Het resultaat: De robot krijgt deze hints toegevoegd aan zijn invoer. Het is alsof de robot plotseling de context van de groep "ziet" zonder opnieuw te hoeven leren hoe het moet zien.

Waarom is dit een grote zaak?
Het artikel claimt twee belangrijke overwinningen:

Het is super efficiënt: De "gids" (de prompt) is ontzettend klein. Het gebruikt minder dan 1% van het geheugen en de rekenkracht die nodig is om de hele robot opnieuw te trainen. Het is alsof je een nieuwe truc leert met een fluister in plaats van een lezing.
Het is super nauwkeurig: In hun tests versloeg deze methode de oude "train alles opnieuw"-methode in 42 van de 45 situaties wanneer er veel data was, en 41 van de 45 keer wanneer er zeer weinig data was.
- Vergelijking: Stel je voor dat je een toets maakt. De oude methode (Fine-Tuning) is alsof je 10 uur studeert. De nieuwe methode (SUPT) is alsof je 10 minuten studeert maar een betere cijfer krijgt omdat je de context van de vragen perfect begreep.

De twee versies van de gids
Het artikel introduceert twee licht verschillende manieren om deze gids te laten werken:

SUPTsoft: De gids suggereert zachtjes tot welke groep een persoon behoort. Een persoon kan voor 60% "Picknick-team" en voor 40% "Muziekteam" zijn. Iedereen krijgt een hint, maar de sterkte van de hint varieert.
SUPThard: De gids is streng. "Je zit zeker in het Picknick-team. Je zit zeker in het Muziekteam." Sommige mensen krijgen misschien helemaal geen hint als ze niet perfect in een specifieke groep passen. Deze versie is iets sneller te berekenen maar iets stijver.

Het oordeel
De auteurs zeggen dat door te kijken naar kleine groepen (subgrafen) binnen het grote netwerk en hen specifieke, contextbewuste hints te geven, ze voorgetrainde grafmodellen veel beter kunnen laten werken. Ze deden dit zonder het enorme model opnieuw te hoeven trainen, waardoor tijd en middelen worden bespaard terwijl betere resultaten worden behaald.

Ze testten dit op 9 verschillende datasets (zoals het voorspellen van eiwitfuncties of chemische eigenschappen) en ontdekten dat deze "Subgraph-level Universal Prompt Tuning" een winnaar is, vooral wanneer je niet veel data hebt om mee te werken.

Technische Samenvatting: Universele Prompt Tuning op Subgraph-niveau (SUPT)

Probleemstelling

De adaptatie van voorgetrainde Graph Neural Networks (GNN's) naar downstream-taken kent aanzienlijke uitdagingen. Het traditionele "voor-trainen, fine-tunen"-raamwerk lijdt vaak aan een misalignement tussen voortrainingsdoelen (bijvoorbeeld randvoorspelling) en downstream-taken (bijvoorbeeld grafclassificatie), wat leidt tot catastrofaal vergeten en beperkte generalisatie. Bovendien vereist fine-tunen het updaten van een groot aantal parameters, wat resource-intensief is.

Hoewel prompt tuning als een parameter-efficiënt alternatief is opgekomen in Natural Language Processing (NLP) en Computer Vision, blijft de toepassing daarvan op grafen onderbelicht. Bestaande methoden voor graph prompt tuning, zoals Graph Prompt Feature (GPF) en de uitbreiding GPF-plus, bieden universaliteit over voortrainingsstrategieën heen, maar vertrouwen op relatief eenvoudige prompt-mechanismen. GPF past een uniforme prompt toe op alle knopen, terwijl GPF-plus knoop-specifieke prompts toewijst op basis van knooptypen. De auteurs betogen dat deze benaderingen niet in staat zijn om de complexe, ingewikkelde contexten die inherent zijn aan grafstructuren volledig te bevatten, met name de genuanceerde relaties binnen lokale subgrafen. Er is behoefte aan een universele prompt tuning-methode die subgraph-level context kan vastleggen zonder afbreuk te doen aan parameter-efficiëntie of universaliteit.

Methodologie: Universele Prompt Tuning op Subgraph-niveau (SUPT)

Het artikel introduceert SUPT, een methode die prompt-kenmerken toewijst op subgraph-niveau in plaats van op knoop-niveau of globaal. SUPT opereert binnen de invoer-kenmerkruimte van de graf en wijzigt knoop-kenmerken voordat deze worden verwerkt door de vaste, voorgetrainde GNN.

Kernmechanisme

In tegenstelling tot GPF-plus, dat prompt-weights berekent uitsluitend op basis van invoer-knoop-kenmerken ( $x_i$ ), berekent SUPT prompt-toewijzingsscores op basis van de contextuele informatie van de knopen, afgeleid uit een eenvoudige GNN (bijvoorbeeld GCN of SGC).

De prompt-kenmerk $p_i$ voor de $i$ -de knoop wordt berekend als een gewogen som van leerbare basisvectoren ( $b_j$ ):
$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$
waarbij $\alpha$ is afgeleid uit een GNN-aggregatie over $m$ hops:
$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$
Hierbij is $W$ een leerbare gewichtsmatrix, $k$ het aantal subgrafen (basisvectoren), en $\sigma$ een niet-lineaire operatie.

Twee Varianties

De auteurs stellen twee varianten van SUPT voor, gebaseerd op de definitie van $\sigma$ :

SUPTsoft: Geïnspireerd door cluster-gebaseerde graph pooling (bijvoorbeeld DiffPool), gebruikt deze variant een kolom-voor-kolom softmax-functie. Het wijst elke knoop toe aan alle $k$ bases met variërende mate van invloed (zachte toewijzing). Dit zorgt ervoor dat elke knoop een prompt ontvangt, maar de grootte hangt af van de geleerde cluster-toewijzing.
SUPThard: Geïnspireerd door node-selectie graph pooling, maakt deze variant gebruik van een top-rang selectiemechanisme. Voor elke basis worden alleen de top $\lceil rN \rceil$ knopen (waarbij $r$ een pooling-ratio is) geselecteerd om de prompt te ontvangen. Knoopen die niet zijn geselecteerd behouden hun oorspronkelijke kenmerken zonder enige prompt-toevoeging. Dit creëert een schaarse, harde toewijzing van prompts aan specifieke subgrafen.

Theoretische Universaliteit

Het artikel biedt een theoretische analyse (Stelling 1) die aantoont dat SUPT universaliteit behoudt. Hoewel de prompt alleen wordt toegepast op een subset van knopen (een subgraaf $S \subseteq V$ ) in plaats van de volledige graf, is het raamwerk theoretisch in staat om dezelfde prestatiebovengrens te bereiken als elke willekeurige prompt-functie. Dit bevestigt dat prompten op subgraph-niveau de expressiviteit die nodig is voor universele adaptatie niet inherent beperkt.

Belangrijkste Bijdragen

Granulariteit op Subgraph-niveau: De primaire bijdrage is de verschuiving van prompten op knoop-niveau of globaal naar prompten op subgraph-niveau. Dit stelt het model in staat om ingewikkelde contextuele nuances te vangen die uniforme of type-specifieke prompts missen.
Parameter-efficiëntie: SUPT vereist aanzienlijk minder aanpasbare parameters dan volledige fine-tuning (minder dan 0,2% van de parameters van het voorgetrainde model) en is vergelijkbaar met of iets hoger dan GPF/GPF-plus, maar levert toch superieure prestaties.
Universaliteit: De methode is ontworpen om agnostisch te zijn ten opzichte van de voortrainingsstrategie (bijvoorbeeld Infomax, Attribute Masking, Context Prediction, Graph Contrastive Learning, Edge Prediction) en functioneert effectief over diverse voortrainingsdoelen heen.
Theoretische Garantie: Het artikel stelt een theoretisch bewijs op dat prompten op subgraph-niveau theoretisch elke prompt-functie kan emuleren, wat de veelzijdigheid van de benadering valideert.

Experimentele Resultaten

De auteurs hebben SUPT geëvalueerd over 9 downstream-datasets (waaronder voorspelling van eiwitfuncties en voorspelling van moleculaire eigenschappen) en 5 voortrainingsstrategieën, wat neerkomt op 45 experimentele instellingen.

Full-Shot Scenario's:
- SUPT presteerde beter dan volledige fine-tuning (FT) in 42 van de 45 experimenten.
- Het behaalde een gemiddelde prestatieverbetering van ruim 2,5% ten opzichte van FT.
- Daarentegen presteerden GPF en GPF-plus beter dan FT in slechts 27 van de 45 gevallen.
Few-Shot Scenario's (50-shot):
- SUPT excelleerde in 41 van de 45 experimenten.
- Het behaalde een gemiddelde prestatieverbetering van meer dan 6,6% ten opzichte van FT.
- De prestatiewinst was opmerkelijk hoger in few-shot instellingen vergeleken met full-shot instellingen, wat de effectiviteit van de methode benadrukt wanneer gelabelde data schaars is.
Efficiëntie: Hoewel SUPThard door top-rang selectie-operaties een iets hogere rekentijd met zich meebrengt, is de toegevoegde inferentietijd verwaarloosbaar (bijvoorbeeld ~ $1,86 \times 10^{-4}$ seconden per graf voor BBBP), waardoor het praktisch haalbaar is.

Betekenis en Claims

Het artikel claimt dat SUPT een aanzienlijke vooruitgang vertegenwoordigt in graph prompt tuning door de beperking van bestaande methoden in het vangen van complexe grafcontexten aan te pakken. Door gebruik te maken van informatie op subgraph-niveau, bereikt SUPT een balans tussen efficiëntie (minimale parameters) en effectiviteit (state-of-the-art prestaties over diverse taken).

De auteurs benadrukken dat hoewel eenvoudige prompts (zoals GPF) theoretische universaliteit hebben, hun praktische vermogen om complexe contexten te bevatten beperkt is. SUPT overbrugt deze kloof door context-bewuste subgraph-toewijzing in te voeren zonder de universele toepasbaarheid die nodig is voor diverse voortrainingsstrategieën op te offeren. De studie suggereert dat SUPT een haalbaar en efficiënt alternatief is voor het aanpassen van voorgetrainde GNN's, met name in scenario's waar data beperkt is of waar rekenresources voor volledige fine-tuning beperkt zijn. Het werk draagt bij aan het bredere begrip van hoe prompt tuning effectief kan worden aangepast aan de structurele complexiteiten van grafdata.