TRN-R1-Zero: Text-rich Network Reasoning via LLMs with Reinforcement Learning Only

1. 문제 정의 (Problem)

텍스트가 풍부한 네트워크 (Text-Rich Networks, TRNs) 는 노드가 텍스트 엔티티 (예: 학술 논문, 위키백과 문서, 소셜 미디어 프로필, 상품 리뷰) 이고, 에지가 이들 간의 의미적 또는 기능적 관계 (인용, 하이퍼링크, 팔로우, 공동 구매) 를 나타내는 구조입니다.

• 핵심 과제: TRN 에서의 Zero-shot 노드 분류 (지도 학습 없이 새로운 도메인이나 태스크에서 노드의 라벨을 예측하는 것).
• 기존 방법의 한계:
  • GNN 기반: 고정된 레이블 공간과 지도 학습에 의존하여 일반화 능력이 제한됨.
  • 기존 LLM 기반:
    1. 인코더 방식: LLM 을 단순 특징 추출기로만 사용하여 명시적 추론 (Reasoning) 능력을 활용하지 못함.
    2. 생성 방식: 대규모 추론 모델 (LRM) 에서 생성된 체인 오브 씽킹 (CoT) 데이터를 증류 (Distillation) 하거나, 외부 LRM 의 감독을 받아야 함. 이는 계산 비용이 크고 일반화 능력을 저해할 수 있음.
• 목표: 외부 LRM 의 증류나 지도 미세 조정 (SFT) 없이, 강화 학습 (RL) 만으로 LLM 이 TRN 의 구조적, 의미적 맥락을 이해하고 추론할 수 있도록 하는 것.

2. 방법론 (Methodology: TRN-R1-Zero)

TRN-R1-Zero 는 베이스 LLM 을 강화 학습을 통해 직접 최적화하는 프레임워크입니다.

A. Zero-shot 노드 분류 및 프롬프트 설계

• 입력: 대상 노드 텍스트, 이웃 노드 텍스트 (샘플링), 후보 레이블 텍스트.
• 프롬프트: 대상 노드와 이웃 노드의 관계를 명시적으로 포함하는 지시형 프롬프트를 구성합니다.
• 샘플링 전략: 입력 길이 제어 및 데이터 증강을 위해 고정된 너비 (width) 와 깊이 (depth) 전략으로 이웃 노드를 무작위 샘플링하여 다양한 국소 문맥을 학습합니다.

B. 이웃 인지 그룹 상대 정책 최적화 (Neighbour-aware Group Relative Policy Optimisation)

기존 GRPO (Group Relative Policy Optimisation) 를 TRN 에 맞게 수정한 핵심 알고리즘입니다.

1. 마진 게인 (Margin Gain) 메트릭 도입:

   • 이웃 정보가 분류 결정에 얼마나 기여하는지를 정량화합니다.
   • 계산: 노드 텍스트만 사용할 때의 마진 (정답 클래스와 가장 높은 오답 클래스 간의 점수 차이) 과, 이웃 정보를 그래프 합성곱 (SGC) 으로 집계하여 반영했을 때의 마진을 비교합니다.
   • $\Delta_i = m_i(\tilde{\ell}) - m_i(\ell)$: $\Delta_i > 0$ 이면 이웃이 도움이 됨, $\Delta_i < 0$ 이면 방해가 됨을 의미합니다.
   • 의미: $|\Delta_i|$ 가 클수록 이웃 정보가 결정에 큰 영향을 미친다는 뜻입니다.

2. 보상 재설계 (Reward Shaping):

   • 기존 RL 보답 (정답 여부, 포맷 준수) 에 이웃 영향도를 곱하여 보상을 재조정합니다.
   • 수식: $R_i = \exp(\alpha |\Delta_i|) \cdot R_{base}$
   • 효과: 이웃 정보가 결정에 큰 영향을 미친 샘플 (높은 $|\Delta_i|$) 에 대해 보상을 기하급수적으로 증폭시킵니다. 이를 통해 모델이 구조적으로 정보량이 많은 이웃 관계를 활용하는 추론을 학습하도록 유도합니다.

3. 최적화:

   • KL 정규화 항을 포함하여 학습의 안정성을 유지하면서, Dr.GRPO 방식을 적용하여 보상 설계가 최적화 크기에 직접 영향을 미치도록 합니다.

3. 주요 기여 (Key Contributions)

1. RL 만으로 구성된 파이프라인: 외부 LRM 증류, CoT 데이터 생성, 지도 미세 조정 (SFT) 없이 순수 강화 학습만으로 TRN 추론 능력을 획득합니다.
2. 이웃 인지 정책 목표 (Neighbour-aware Policy Objective): '마진 게인' 메트릭을 통해 이웃 정보의 기여도를 정량화하고, 이를 보상 설계에 반영하여 모델이 관계적 맥락을 효과적으로 활용하도록 합니다.
3. 범용적 Zero-shot 성능: 노드 수준 훈련만으로도 엣지 (링크 예측) 및 그래프 수준 (그래프 추론) 태스크로 확장 가능한 강력한 Zero-shot 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 인용 (Citation), 하이퍼링크 (WikiCS), 소셜 (Instagram), 공동 구매 (Photo/History) 등 4 가지 도메인의 9 개 데이터셋.
• 성능:
  • Zero-shot 노드 분류: TRN-R1-Zero (7B 모델) 은 GPT-4o 및 다른 대형 LLM 들보다 평균 정확도 (Accuracy) 와 Macro-F1 에서 우위를 보였습니다. 특히 Graph-R1(14B) 보다 작은 모델임에도 불구하고 더 나은 성능을 기록했습니다.
  • 일반화 능력: 훈련에 사용되지 않은 도메인 (예: Citeseer/History 훈련 $\to$ WikiCS/Instagram 테스트) 에서도 뛰어난 성능을 보이며, 도메인 간 전이가 효과적임을 입증했습니다.
  • 크로스 태스크 전이: 노드 분류만 훈련되었음에도 불구하고, 링크 예측 (Edge-level) 및 그래프 추론 (Graph-level) 태스크에서 Zero-shot 성능이 크게 향상되었습니다 (예: WikiCS-Link 에서 +16.10% 향상).
• 효율성:
  • Graph-R1(14B) 대비 모델 크기는 절반 (7B) 이며, 평균 응답 길이는 약 6~8 배 짧습니다 (152 단어 vs 930 단어).
  • 더 간결하고 정확한 추론을 수행하며 GPU 메모리 소모와 추론 속도가 개선되었습니다.

5. 의의 및 결론 (Significance)

• 효율적인 추론 학습: 거대 모델의 CoT 데이터를 증류받지 않고도, 강화 학습과 구조적 보상 설계만으로 LLM 이 복잡한 네트워크 구조를 추론할 수 있음을 증명했습니다.
• 구조적 맥락의 중요성: '마진 게인' 메트릭을 통해 모델이 단순히 텍스트를 읽는 것을 넘어, 이웃 노드와의 관계가 분류 결정에 어떻게 영향을 미치는지 학습하게 함으로써, 텍스트가 풍부한 네트워크에서의 추론 능력을 극대화했습니다.
• 실용성: 작은 규모의 오픈 소스 모델 (예: Qwen2.5-7B) 로도 SOTA 수준의 성능을 달성할 수 있어, 계산 자원이 제한된 환경에서도 TRN 기반 애플리케이션 (논문 분류, 추천 시스템, 사기 탐지 등) 에 적용 가능합니다.

이 논문은 강화 학습을 통한 구조적 추론 능력의 자생적 획득을 가능하게 하여, 텍스트와 구조가 결합된 복잡한 데이터 처리를 위한 새로운 패러다임을 제시합니다.