TRN-R1-Zero: Text-rich Network Reasoning via LLMs with Reinforcement Learning Only

Probleemstelling

Het uitvoeren van zero-shot redenering op tekstrijke netwerken (Text-Rich Networks, TRNs) blijft een grote uitdaging. In TRNs vertegenwoordigen knopen tekstuele entiteiten (zoals wetenschappelijke papers, Wikipedia-artikelen of sociale profielen) en vertegenwoordigen randen hun semantische of functionele relaties (zoals citaties, hyperlinks of co-aankopen).

Bestaande methoden hebben beperkingen:

1. Encoder-gebaseerde benaderingen: Gebruiken Large Language Models (LLMs) vaak slechts als feature-extractors en missen expliciete redeneercapaciteiten.
2. Generatieve benaderingen: Vaak afhankelijk van gedistilleerde Chain-of-Thought (CoT) data van nog grotere "Reasoning Models" (LRMs) of vereisen gesuperviseerde fine-tuning (SFT) met specifieke labels. Dit beperkt de generalisatie naar nieuwe domeinen en verhoogt de afhankelijkheid van externe resources.

Het doel is om een model te ontwikkelen dat expliciet kan redeneren over de relatie tussen tekst en structuur in TRNs zonder gesuperviseerde training of distillatie van grotere modellen.

Methodologie: TRN-R1-Zero

De auteurs stellen TRN-R1-Zero voor, een framework dat uitsluitend gebruikmaakt van Versterkend Leren (Reinforcement Learning, RL) om een basis-LLM te optimaliseren voor redenering op TRNs.

De kerncomponenten zijn:

1. Prompt Engineering met Steekproeven:

   • De input voor de LLM bestaat uit de tekst van de doelknoop, een steekproef van buren (neighbours) en de beschrijvingen van kandidaat-labels.
   • Er wordt gebruikgemaakt van een "width-depth" strategie om subgrafen te samplen, wat dient als data-augmentatie en overfitting voorkomt in low-resource settings.

2. Neighbour-aware Group Relative Policy Optimisation (GRPO):

   • In plaats van standaard PPO of GRPO, introduceren de auteurs een Neighbour-aware Policy Objective.
   • Margin Gain Metric: Een nieuwe maatstaf ($\Delta_i$) die kwantificeert hoe sterk de classificatiemarge verandert wanneer buurinformatie wordt geïntegreerd.
     • Als $\Delta_i > 0$, verbeteren buren de classificatie.
     • Als $\Delta_i < 0$, zijn buren afleidend.
     • De grootte van $|\Delta_i|$ geeft de sterkte van de invloed aan.
   • Reward Shaping: De basisbeloning (gebaseerd op format en nauwkeurigheid) wordt vermenigvuldigd met een exponentiële factor $g_i = \exp(\alpha \cdot |\Delta_i|)$.
     • Dit betekent dat voorbeelden waarbij buurinformatie een grote impact heeft (hoge $|\Delta_i|$), een sterkere beloning krijgen. Dit dwingt het model om actief te leren hoe het relationele context moet gebruiken voor redenering, in plaats van alleen op de doeltekst te vertrouwen.

3. Training zonder Supervisie:

   • Het model wordt getraind zonder Chain-of-Thought data gegenereerd door grotere modellen en zonder gesuperviseerde fine-tuning (SFT). Het leert redeneren door direct te optimaliseren op de onderliggende grafcontext via RL.

Belangrijkste Bijdragen

1. RL-only Pipeline: Een framework voor zero-shot knoopclassificatie op TRNs dat geen distillatie, SFT of externe Reasoning Models vereist.
2. Neighbour-aware Policy: Een innovatieve doelstelling met een "margin gain" mechanisme die het model expliciet aanmoedigt om relationele context te benutten.
3. Generalisatie: Het bewijst dat een model, getraind uitsluitend op knoopniveau, succesvol kan worden toegepast op rand- (edge) en graf-niveau taken (zoals link prediction) in zero-shot settings.

Resultaten

De auteurs hebben TRN-R1-Zero getest op negen datasets uit vier domeinen: citaties, hyperlinks, sociale netwerken en co-aankopen.

• Zero-shot Knoopclassificatie: TRN-R1-Zero (gebaseerd op een 7B parameter model) presteerde over het algemeen beter dan bestaande methoden, inclusief GPT-4o, LLaGA en Graph-R1 (een 14B model dat gesuperviseerd is met CoT-data van een groter model).
  • Het behaalde de hoogste gemiddelde Accuracy en Macro-F1 op alle datasets.
  • Het toonde sterke generalisatie: getraind op Citeseer en History, presteerde het uitstekend op ongezette domeinen zoals WikiCS en Instagram.
• Generalisatie naar Rand- en Graf-taken: Ondanks training alleen op knoopclassificatie, slaagde het model erin om zero-shot prestaties te leveren op link prediction en grafredenering, waarbij het Graph-R1 versloeg op dezelfde backbone.
• Efficiëntie: TRN-R1-Zero is aanzienlijk efficiënter dan concurrenten zoals Graph-R1. Het gebruikt een kleiner model (7B vs 14B) en genereert kortere, maar effectievere redeneertraces (gemiddelde responslengte van ~150 tokens vs ~930 tokens bij Graph-R1), wat leidt tot lagere GPU-geheugennod en snellere inferentie.
• Stabiliteit: Experimenten tonen aan dat de neighbour-aware reward shaping zorgt voor stabielere optimalisatie en een dieper redeneergedrag (hogere entropie en langere responsen tijdens training) vergeleken met baselines zonder deze aanpassing.

Betekenis en Impact

TRN-R1-Zero markeert een verschuiving in hoe LLMs worden ingezet voor grafgebaseerde taken. Het demonstreert dat:

1. Expliciete redenering in LLMs voor tekstrijke netwerken kan worden opgewekt puur via versterkend leren, zonder de noodzaak van dure distillatie of gespecialiseerde datasets.
2. Relationele context cruciaal is voor zero-shot redenering en dat het actief belonen van het gebruik van deze context (via de margin gain) de prestaties aanzienlijk verbetert.
3. Cross-task generalisatie mogelijk is: een model dat alleen op knoopniveau is getraind, kan complexe graf- en randproblemen oplossen, wat de schaalbaarheid en toepasbaarheid van dergelijke systemen vergroot.

Samenvattend biedt TRN-R1-Zero een robuust, efficiënt en generaliserend framework voor het redeneren over complexe, tekstrijke netwerken, waarbij het de afhankelijkheid van externe, gesuperviseerde bronnen elimineert.