🤖 machine learning

Graph is a Substrate Across Data Modalities

Dit artikel stelt G-Substrate voor, een op representatie gebaseerd raamwerk dat grafstructuur behandelt als een persistent substraat over heterogene modaliteiten en taken heen via een unificerend structureel schema en verweven op rol gebaseerde training, waardoor het traditionele geïsoleerde leermethoden overtreft door het accumuleren van structurele regulariteiten.

Oorspronkelijke auteurs: Ziming Li, Xiaoming Wu, Zehong Wang, Jiazheng Li, Yijun Tian, Jinhe Bi, Yunpu Ma, Yanfang Ye, Chuxu Zhang

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziming Li, Xiaoming Wu, Zehong Wang, Jiazheng Li, Yijun Tian, Jinhe Bi, Yunpu Ma, Yanfang Ye, Chuxu Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Wegwerpblauwdruk"

Stel je voor dat je een architect bent. Elke keer als je een huis bouwt, teken je een blauwdruk. Maar in de huidige wereld van AI gooi je die blauwdruk weg zodra het huis gebouwd is. Vervolgens, wanneer je een brug moet bouwen, teken je een nieuwe blauwdruk vanaf nul, zelfs al zijn de regels van de natuurkunde (zwaartekracht, draagkracht) voor beide hetzelfde.

In de wereld van Kunstmatige Intelligentie zijn grafieken deze blauwdrukken. Het zijn kaarten die tonen hoe dingen met elkaar verbonden zijn (zoals atomen in een molecuul, objecten in een foto, of gebeurtenissen in een verhaal).

Momenteel behandelen AI-modellen deze grafieken als opdracht-specifieke wegwerpartikelen.

Als een AI leert een foto om te zetten in een grafiek van objecten, gooit het die grafiek weg nadat de foto is beschreven.
Als een andere AI leert een verhaal om te zetten in een grafiek van gebeurtenissen, gooit het die grafiek weg nadat het verhaal is geanalyseerd.

Hoewel de structuur van deze grafieken vaak vergelijkbaar is (bijvoorbeeld een "hub" waar veel dingen samenkomen bij één centraal punt), moet de AI deze patronen elke keer opnieuw vanaf nul leren. Het is alsof een timmerman elke keer opnieuw de hamer moet uitvinden wanneer hij een spijker moet slaan.

Het Nieuwe Idee: De "Universele Substraat"

De auteurs stellen een nieuwe manier van denken voor: De Grafiek is een Substraat.

Stel je een substraat voor als een laag vruchtbare aarde in een tuin.

Oude Manier: Je plant een tomaat, oogst deze, en graaft vervolgens de aarde op om een roos te planten. De aarde wordt elke keer verstoord en gereset.
Nieuwe Manier (G-Substraat): Je behandelt de aarde als een permanente, gedeelde fundering. Je plant de tomaat, laat de wortels zich vestigen, en plant vervolgens de roos in dezelfde aarde. De aarde (de grafiekstructuur) blijft bestaan, verzamelt voedingsstoffen (kennis), en ondersteunt verschillende planten (taken) tegelijkertijd.

In dit nieuwe kader is de grafiek niet slechts een tijdelijk resultaat; het is een persistent tussenstadium dat levend en bruikbaar blijft over verschillende soorten data (afbeeldingen, tekst, moleculen) en verschillende taken (redeneren, voorspellen, genereren) heen.

Hoe Ze Het Werkend Kregen: Twee Magische Hulpmiddelen

Om deze "Universele Aarde" werkend te maken, bouwden de auteurs een kader genaamd G-Substraat met twee hoofdhulpmiddelen:

1. De Universele Vertaler (Gecentraliseerd Structureel Schema)

Verschillende talen hebben verschillende grammatica, maar ze hebben allemaal zelfstandige naamwoorden en werkwoorden. Evenzo zien een moleculaire grafiek (atomen) en een scene-grafiek (objecten in een kamer) er aan de oppervlakte anders uit.

Het Probleem: Een AI die getraind is op moleculen "spreekt" niet de taal van scene-grafieken.
De Oplossing: De auteurs creëerden een Universele Vertaler. Ze dwongen alle grafieken, ongeacht waar ze vandaan kwamen, om in exact hetzelfde eenvoudige formaat geschreven te worden: (Entiteit A) —(Relatie)—> (Entiteit B).
De Analogie: Stel je voor dat iedereen op een feestje verschillende talen spreekt. In plaats van aparte gesprekken te voeren, stemt iedereen ermee in om één enkele, simpele "Universele Pidgin" te spreken. Nu kan de persoon die weet hoe je een brug bouwt, makkelijk praten met de persoon die weet hoe je een taart bakt, omdat ze beiden dezelfde basiszinsstructuur gebruiken.

2. Het Rollenspel (Verweven Training)

Op de oude manier is een grafiek ofwel "gemaakt" (gegenereerd) ofwel "gelezen" (begrepen), maar zelden beide.

Het Probleem: Als je een grafiek alleen traint om gemaakt te worden, wordt het slecht in het gelezen worden. Het is alsof je een schrijver traint die alleen schrijft maar nooit leest; hij kan onzin schrijven omdat hij niet weet wat een verhaal leesbaar maakt.
De Oplossing: De auteurs gebruiken een Interleaved Training-strategie. Ze nemen dezelfde grafiek en wisselen de rol ervan heen en weer tijdens de training.
- Stap 1: De AI kijkt naar een foto en bouwt een grafiek (Rol: Generator).
- Stap 2: De AI neemt die exacte zelfde grafiek en probeert er een puzzel mee op te lossen (Rol: Oplosser).
- Stap 3: De AI kijkt naar een tekstverhaal en bouwt een grafiek.
- Stap 4: Het gebruikt die grafiek om een vraag te beantwoorden.
De Analogie: Stel je voor dat een student leert schaken. In plaats van alleen tegen een computer te spelen, wordt hij gedwongen om een spel te spelen, vervolgens direct een vriend te coachen met dezelfde bordtoestand, en daarna een puzzel op te lossen gebaseerd op dat bord. Omdat hij het bord op meerdere manieren moet gebruiken, leert hij de ware regels van schaken veel sneller en dieper dan wanneer hij slechts één spel speelde en stopte.

Wat Gebeurde Er? (De Resultaten)

De onderzoekers testten dit op vier zeer verschillende werelden:

Wiskunde/Logica: Het oplossen van grafiekpuzzels (zoals het vinden van het kortste pad).
Chemie: Het beschrijven van moleculen.
Visie: Het beschrijven van wat er in een afbeelding staat (Scene-grafieken).
Taal: Het in kaart brengen van gebeurtenissen in een verhaal.

De Bevindingen:

Betere Prestaties: De G-Substraat-aanpak versloeg de oude "gooi de blauwdruk weg"-methoden in bijna elke categorie.
Het "Sweet Spot": De grootste winsten kwamen voor wanneer de AI complexe redenering moest doen (zoals punten verbinden over een lang pad).
Weerbaarheid: Zelfs wanneer de grafieken iets rommelig of imperfect waren (zoals een blauwdruk met een vlek), werkte het systeem nog steeds goed. Dit suggereert dat door de AI te dwingen de grafiek op meerdere manieren te gebruiken, het de kernstructuur leerde in plaats van alleen de oppervlakkige details te onthouden.

Samenvatting

Het paper betoogt dat we momenteel AI-potentieel verspillen door grafiekstructuren te behandelen als wegwerptools. Door grafieken te behandelen als een permanente, gedeelde fundering (substraat) en de AI te dwingen dezelfde grafiek te gebruiken voor zowel het bouwen als het begrijpen, kunnen we slimmere, efficiëntere modellen creëren die leren van de structurele overeenkomsten tussen afbeeldingen, tekst en wetenschap, in plaats van ze te behandelen als volledig gescheiden werelden.

Technische Samenvatting: Grafiek als Substraat voor Data-modaliteiten

1. Probleemstelling

Grafiekstructuren bieden een natuurlijke abstractie voor relationele informatie in uiteenlopende domeinen, waaronder computer vision (scenegrafieken), natuurlijke taalverwerking (eventgrafieken), chemie (moleculaire grafieken) en algoritmisch redeneren. Ondanks de alomtegenwoordigheid van deze structuren behandelen huidige leersystemen grafiekrepresentatie doorgaans als een taakgebonden artefact. In heersende paradigma's worden grafiekstructuren geconstrueerd om een specifiek doel te dienen (bijvoorbeeld generatie van scenegrafieken of extractie van events), geoptimaliseerd binnen een geïsoleerde taakpiplijn, en daarna verworpen.

Deze isolatie leidt tot twee kritieke beperkingen:

Redundante Reconstructie: Structurele regulariteiten die zich herhalen over modaliteiten en taken heen, worden voortdurend opnieuw van nul opgebouwd in plaats van geaccumuleerd.
Mismatch op Representatieniveau: Grafiekstructuur wordt behandeld als taakspecifieke data in plaats van als een persistente tussenliggende staat. Bestaande benaderingen voor multi-task learning delen vaak modelarchitecturen of parameters, maar slagen er niet in een grafiek-niveau representatiestoestand te vestigen die over taken heen persisteert. Bijgevolg accumuleren relationele regulariteiten die in één setting worden gevonden niet op grafiek-niveau, maar blijven ze beperkt tot taakspecifieke formuleringen.

Het artikel stelt dat grafiekstructuur moet worden georganiseerd als een persistent tussenliggend substraat dat kan overleven en accumuleren over heterogene leerkontexten heen, in plaats van onafhankelijk voor elke taak te worden gereconstrueerd.

2. Methodologie: Het G-Substraat Kader

Om het perspectief "Grafiek als Substraat" operationeel te maken, stellen de auteurs G-Substraat voor, een kader gebaseerd op twee complementaire mechanismen die zijn ontworpen om vorm-heterogeniteit (structurele verschillen over domeinen) en functie-heterogeniteit (verschillende rollen die grafieken spelen in leren) aan te pakken.

2.1. Unificatie van Structureel Schema (Aanpakken van Vorm-heterogeniteit)

Om grafieken uit verschillende modaliteiten (bijvoorbeeld tekst-afgeleide eventgrafieken versus beeld-afgeleide scenegrafieken) te laten coëxisteren in een gedeelde representatieruimte, introduceert G-Substraat een unificatie van grafiek-statenruimte ( $\mathcal{G}_s$ ).

Definitie: Een grafiek wordt strikt gedefinieerd als een verzameling structurele triples $G = \{(u, r, v)\}$ , waarbij $u$ en $v$ entiteiten zijn en $r$ een getypeerde rand is.
Beperking: Hoewel relatielabels en entiteitsidentiteiten worden behouden, wordt taakspecifieke framing (verliesfuncties, uitvoeringslogica) uitgesloten. Alle grafieken uit heterogene taken worden gemapt naar deze gemeenschappelijke structurele ruimte, met gedeelde consistente knoopidentificatoren, randtypes en connectiviteitsregels.
Doel: Dit zorgt ervoor dat structureel vergelijkbare patronen (bijvoorbeeld hub-gecentreerde motieven) uit verschillende domeinen vergelijkbaar en herbruikbaar worden, en ze worden uitgelijnd in een gemeenschappelijk structureel gebied in plaats van in disjuncte taakspecifieke gebieden.

2.2. Geïnterleefde Rolgebaseerde Training (Aanpakken van Functie-heterogeniteit)

Een unificatie van schema's alleen garandeert niet dat grafieken zinvol worden geoefend onder diverse functionele rollen. G-Substraat introduceert geïnterleefde rolgebaseerde training om dezelfde grafiek tijdens het leerproces aan meerdere functionele rollen bloot te stellen.

Rolfuncties: Taken worden gecategoriseerd in twee rollen:
- GENEREREN: Taken die grafiekstructuur construeren of verfijnen (bijvoorbeeld generatie van scenegrafieken, extractie van events).
- BEGRIJPEN: Taken die grafiekstructuur consumeren voor redenering, voorspelling of evaluatie (bijvoorbeeld algoritmisch redeneren op grafieken, consistentiecontrole).
Mechanisme: Training is georganiseerd als een sequentie van taak-rol instantiaties. Een grafiek geproduceerd door een GENEREREN-taak wordt onmiddellijk hergebruikt als invoer voor een BEGRIJPEN-taak (en vice versa in de trajecten).
Effect: Dit creëert cross-rol supervisie. Een grafiek die onder één enkele rol is geoptimaliseerd, neigt tot over-specialisatie. Door dezelfde grafiek te dwingen geldig te blijven onder zowel generatie- als begrijp-rollen, induceert het kader structurele consistentie. Grafieken die structureel coherent zijn over rollen heen, ontvangen consistente supervisie, terwijl die welke over-specialiseerd zijn op één taaktype inconsistente signalen ontvangen en worden bestraft.

3. Belangrijkste Bijdragen

Representatie-gericht Perspectief: Het artikel verschuift de kijk op grafiekstructuur van een taakspecifieke output/invoer naar een persistent tussenliggend substraat dat leren coördineert over data-modaliteiten en functionele rollen heen.
G-Substraat Kader: Een nieuw kader dat een unificatie van structureel schema combineert met geïnterleefde rolgebaseerde training. Dit ontwerp pakt expliciet de heterogeniteit van grafiekvormen en -functies aan, waardoor accumulatie van structurele regulariteiten mogelijk wordt.
Empirische Validatie: De auteurs tonen aan dat het organiseren van leren rondom een gedeeld substraat consistente verbeteringen oplevert ten opzichte van taak-isolatie training en naïeve multi-task learning, met name bij taken die relationeel redeneren vereisen.

4. Experimentele Resultaten

Het kader werd geëvalueerd over vier uiteenlopende leersettingen:

Grafiek Algoritmisch Redeneren (GAR): Voorspellen van outputs van algoritmen (connectiviteit, kortste pad, enz.) uit geattributeerde grafieken.
Moleculaire Grafiek Beschrijving (MGD): Genereren van natuurlijke taalbeschrijvingen uit moleculaire grafieken.
Scenegrafiek Generatie (SGG): Voorspellen van object-relatie grafieken uit afbeeldingen.
Event Relatie Extractie (ERE): Construeren van event-relatie grafieken uit tekst.

Belangrijkste Bevindingen:

Prestatiewinst: G-Substraat presteerde consequent beter dan taak-isolatie baselines en naïeve multi-task leermethoden. Opmerkelijke verbeteringen werden waargenomen in de nauwkeurigheid van Kortste Pad (SP) (stijgend van 41,46 naar 48,59) en F1-scores voor Event Relatie Extractie.
Synergie van Mechanismen:
- Het Unificatie van Schema alleen bood winst alleen wanneer gecombineerd met multi-task learning; het verbeterde single-task prestaties niet.
- Geïnterleefde Training alleen (zonder unificatie van schema) bood beperkte en instabiele verbeteringen.
- De combinatie van beide mechanismen leverde de sterkste prestaties op, wat suggereert dat structurele uitlijning moet worden gekoppeld aan rolgebaseerd hergebruik om voordelen te maximaliseren.
Robuustheid: Het kader toonde een genadevolle degradatie onder ruis in grafiekextractie (tot 20% randcorruptie), optredend als structurele regularisator waarbij alleen patronen die over rollen heen worden versterkt, worden behouden.
Cross-Domein Transfer: Training op eventgrafieken (tekst) verbeterde de prestaties bij scenegrafiekgeneratie (visie) zonder supervisie van het doeldomein, wat aantoont dat structurele regulariteiten over modaliteiten heen kunnen transfereren.

5. Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in huidige grafiek-gebaseerde multi-task learning representatief is, niet louter op optimalisatieniveau. Door grafiekstructuur te behandelen als een herbruikbaar substraat, stelt het kader structurele kennis in staat zich te accumuleren en over taken heen te transfereren, in plaats van geïsoleerd opnieuw te worden ontdekt.

De auteurs benadrukken dat hun aanpak orthogonaal is aan bestaande inspanningen in schaling of architecturale unificatie. Waar andere werken zich richten op het delen van parameters of het uitbreiden van taakdekking, focust G-Substraat op hoe tussenliggende grafiekstaten worden georganiseerd om structureel toelaatbaar en herbruikbaar te blijven. De resultaten suggereren dat de meest robuuste grafiekrepresentaties ontstaan wanneer structurele uitlijning wordt gekoppeld aan rolgebaseerde training, waardoor systemen in staat worden gesteld terugkerende structurele patronen over heterogene domeinen heen te benutten.

Het artikel concludeert dat persistente grafiekrepresentaties een sleuteldrijver zijn voor structureel hergebruik en verbeterde prestaties, en bieden een weg naar meer data-efficiënte en generaliseerbare AI-systemen voor gestructureerde informatie.