Technische Samenvatting: Generaliseren van Graph Foundation Models via Hyperbolische Retrieval-Augmented Generation

1. Probleemstelling

Graph Foundation Models (GFMs) hebben zich gevestigd als een dominant paradigma voor graph representation learning, waarbij ze sterke generalisatie bereiken over diverse taken door middel van grootschalige pre-training. Echter, hun prestaties worden inherent beperkt door de distributie van hun pre-training data. Wanneer zij geconfronteerd worden met distributieverschuivingen tijdens de inferentie, faalt de geparametriseerde kennis binnen deze modellen vaak in het generaliseren, wat leidt tot gedegradeerde en onbetrouwbare prestaties.

Om dit aan te pakken, is Retrieval-Augmented Generation (RAG) geïntroduceerd om GFMs in staat te stellen om tijdens de inferentie dynamisch toegang te krijgen tot externe kennis zonder hertraining. Bestaande RAG-frameworks voor grafen opereren echter voornamelijk in de Euclidische ruimte. De auteurs identificeren een fundamentele geometrische beperking in deze aanpak: de polynomiale volumegroei van de Euclidische ruimte komt niet overeen met de exponentiële groei van boomgestructureerde externe kennisbases. Deze geometrische mismatch leidt tot twee kritieke problemen:

1. Verlies van Semantische Granulariteit: Euclidische ruimtes worstelen met het onderscheiden tussen grofmazige (globale) en fijnmazige (lokale) concepten. Concepten op verschillende hiërarchische dieptes worden samengedrukt in nabijgelegen regio's, waardoor het model ze als even informatief beschouwt en de semantische rollen vervaagt.
2. Opkomst van Hubness: Vanwege de beperkte representatiecapaciteit worden veel entiteiten in een klein gebied van de embedding-ruimte gedwongen. Dit resulteert in "hubness", waarbij bepaalde entiteiten frequent voorkomen in de nearest neighbor-sets van diverse queries, wat de retrieval-diversiteit en query-specificiteit vermindert.

2. Methodologie: HyRAG Framework

De auteurs stellen HyRAG (Hyperbolic Retrieval-Augmented Generation) voor, een framework dat is ontworpen om de generalisatie van GFMs te verbeteren door gebruik te maken van de geometrische eigenschappen van de hyperbolische ruimte. HyRAG bestaat uit drie kernmodules:

2.1 Hyperbolische Kennisindexering (HKI)

Deze module construeert een hiërarchie-bewuste representatieruimte voor de externe kennisbasis.

• Hyperbolische Projectie: Semantische kenmerken van entiteiten en relaties worden eerst gecodeerd in de Euclidische ruimte (bijv. via SBERT) en vervolgens gemapt naar een Poincaré-bal model ($B^d$) met behulp van een leerbaar mapping-netwerk en de exponentiële map.
• Hiërarchie-bewuste Optimalisatie: Het model wordt getraind met een gezamenlijke doelstelling om zowel relationele semantiek als hiërarchische implicatie te behouden.
  • Afstandsverlies (Distance Loss): Zorgt ervoor dat relatie-geconditioneerde representaties geometrisch consistent zijn met de 'tail entities'. Voor hiërarchische relaties wordt een rotatiestrategie toegepast onder hyperbolische implicatie-cone beperkingen.
  • Hoekverlies (Angle Loss): Dwingt af dat de implicatie-cone van een 'tail entity' geometrisch gecontineerd is binnen die van de 'head entity', waardoor partiële ordening wordt bewaard.
  • Regularisatie: Er wordt een straf toegepast op embeddings met radiale normen die een drempelwaarde overschrijden om drift naar de rand van de Poincaré-bal te voorkomen, wat zorgt voor een stabiele hiërarchische representatie.

2.2 Multi-granulairiteit Retrieval (MR)

Om het verlies van semantische granulariteit aan te pakken, haalt HyRAG kennis op twee verschillende niveaus op:

• Query Herformulering: Een Large Language Model (LLM) herformuleert de tekstuele attribuut van de query-node naar een grofmazige query (het samenvatten van het kernthema) en een fijnmazige query (het vastleggen van specifieke details).
• Grofmazige Retrieval: Haalt de top-$k$ entiteiten op op basis van de hyperbolische afstand. Om diversiteit te waarborgen en redundantie te voorkomen, wordt het Maximal Marginal Relevance (MMR) criterium toegepast om nabijgelegen entiteiten te selecteren, waarbij een balans wordt gevonden tussen relevantie voor de query en dissimilariteit ten opzichte van reeds geselecteerde buren.
• Fijnmazige Retrieval: Haalt de top-$k$ entiteiten op op basis van de hyperbolische afstand. De buurt-expansie focust hier op specificiteit. Kandidaten worden gefilterd met behulp van een angular violation score afgeleid van hyperbolische implicatie-cones, wat garandeert dat de geselecteerde buren geldige hyponiemen (sub-concepten) zijn van de opgehaalde entiteit.
• Graf Constructie: Beide retrieval-processen genereren sets van grafen (grofmazig en fijnmazig), die worden samengevat in compacte graaf-niveau representaties via query-gestuurde buurt-aggregatie.

2.3 Dual-path Fusie (DF)

Deze module integreert de opgehaalde kennis in de GFM op zowel feature- als structureel niveau:

• Feature-niveau Fusie: De initiële representatie van de query-node wordt uitgebreid door aggregatie van de grofmazige en fijnmazige kennisrepresentaties. Gewichten worden berekend op basis van de hyperbolische afstand tussen de query en de centrale entiteiten van de opgehaalde grafen.
• Structuur-niveau Fusie: Om te voorkomen dat heterogene randen direct in de ego-graph van de query worden geïntroduceerd, worden twee hulp-grafen (grofmazige en fijnmazige attribuut-grafen) geconstrueerd. De GFM-encoder verwerkt de ego-graph en deze hulp-grafen onafhankelijk om voorspellings-logits te produceren.
• Uncertainty-Gated Injectie: De voorspellingen van de hulp-grafen worden gefuseerd tot een uniforme kennisvoorspelling, gewogen door de inverse entropie (betrouwbaarheid) van elke bron. Deze uniforme voorspelling wordt vervolgens geïnjecteerd in de oorspronkelijke GFM-voorspelling, waarbij de injectie wordt gestuurd door de entropie van de oorspronkelijke voorspelling. Als de oorspronkelijke voorspelling onzeker is (hoge entropie), leunt het model zwaarder op de opgehaalde kennis; als het zeker is, behoudt het de oorspronkelijke voorspelling.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Identificatie van Beperkingen: De auteurs identificeren en analyseren twee inherente beperkingen van bestaande op Euclidische basis gebaseerde RAG-paradigma's voor grafen: het verlies van semantische granulariteit en de opkomst van hubness door geometrische mismatch.
2. HyRAG Framework: Zij stellen HyRAG voor, het eerste hyperbolische RAG-framework dat specifiek is afgestemd op graph foundation models. Het biedt een geometrie-bewuste herontwerp van de RAG-pipeline, inclus\nslief kennisindexering, multi-granulariteit retrieval en dual-path fusie.
3. Empirische Validatie: Uitgebreide experimenten op meerdere graph benchmarks tonen aan dat HyRAG de zero-shot inferentie prestaties van GFMs consistent verbetert zonder dat taakspecifieke fine-tuning vereist is.

4. Experimentele Resultaten

De auteurs evalueerden HyRAG met GraphCLIP als de backbone GFM over zeven datasets die academische, e-commerce, Wikipedia en sociale domeinen beslaan (bijv. Cora, CiteSeer, WikiCS, Instagram).

• Node Classificatie: In de zero-shot setting behaalde HyRAG de beste prestaties over alle datasets, met een gemiddelde verbetering van 2,02% ten opzichte van state-of-the-art zelfgesuperviseerde methoden en graph foundation models. Vergeleken met de op Euclidische basis gebaseerde RAG-methode (RAGRAPH), liet HyRAG een gemiddelde verbetering zien van 0,82%.
• Link Predictie: Experimenten op de link predictie taak met AnyGraph als backbone toonden consistente verbeteringen, met opvallende winsten van 1,08% op Cora en 1,41% op CiteSeer.
• Ablatie Studies:
  • Het vervangen van de Hyperbolische Kennisindexering door een standaard Euclidische index resulteerde in de grootste prestatiedaling (gemiddelde daling van 1,99%), wat de noodzaak van hyperbolische geometrie valideert.
  • Het verwijderen van ofwel de grofmazige of de fijnmazige retrieval componenten leidde tot significante prestatie-degradatie, wat de synergetische waarde van multi-granulariteit retrieval bevestigt.
  • Feature-level fusie werd geïdentificeerd als de primaire drijfveer van generalisatie, terwijl structurele fusie complementaire voordelen bood.

5. Betekenis en Claims

Het artikel positioneert HyRAG als een oplossing voor de generalisatie-bottleneck van GFMs veroorzaakt door distributieverschuivingen. Door de geometrische eigenschappen van de retrieval-ruimte (hyperbolisch) af te stemmen op de structurele aard van externe kennis (boomgestructureerde hiërarchieën), mitigeert het framework effectief het verlies van semantische granulariteit en hubness. De auteurs claimen dat HyRAG GFMs in staat stelt om zowel globale semantische ankers als lokale semantische nuances effectief te benutten, wat een veelbelovende richting biedt voor het bouwen van robuuste en generaliseerbare graph foundation models die niet afhankelijk zijn van uitgebreide hertraining voor nieuwe domeinen.