기술 요약: 대규모 언어 모델을 위한 프롬프트로서의 쿼리 인식 학습 가능 그래프 풀링 토큰

1. 문제 제기

본 논문은 텍스트 속성 그래프 질문 답변 (Graph QA) 작업에서 그래프 구조 데이터를 대규모 언어 모델 (LLM) 에 통합하는 과제를 다룹니다. LLM 은 강력한 추론 능력을 보유하고 있지만, 복잡한 그래프 구조를 효과적으로 통합하는 것은 여전히 어렵습니다. 기존 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 다 상당한 한계에 직면해 있습니다:

• 노드 수준 투영 (Node-Level Projection): 이 방법은 그래프 신경망 (GNN) 이 생성한 모든 노드 임베딩을 개별 토큰으로 LLM 에 전달합니다. 미세한 구조적 정보를 보존하지만, 심각한 확장성 문제를 겪습니다. 그래프 크기가 기하급수적으로 증가함에 따라 프롬프트 길이가 LLM 의 컨텍스트 창 한계를 초과하거나, 계산 비용이 prohibitive(부담스러울 정도로) 해집니다.
• 그래프 수준 투영 (Graph-Level Projection): 이 방법은 LLM 에 전달하기 전에 모든 노드 정보를 단일 벡터 (예: 평균 풀링을 통해) 로 압축합니다. 확장성 문제를 해결하지만, 복잡한 관계적 맥락이 단일 표현으로 축소됨에 따라 필연적으로 정보 손실이 발생하여 LLM 이 구체적인 세부 사항에 접근하기 어렵게 됩니다.

또한, 기존 방법들은 종종 **지연 쿼리 퓨전 (Late Query Fusion)**을 사용합니다. 이는 쿼리와 그래프가 독립적으로 인코딩된 후 그래프 표현이 완전히 구성된 상태에서 결합되는 방식입니다. 이 접근 방식은 중요한 그래프 인코딩 단계 동안 쿼리 특정 맥락을 효과적으로 활용하지 못할 수 있습니다.

2. 방법론

저자들은 **학습 가능 그래프 풀링 토큰 (Learnable Graph Pooling Token, LGPT)**이라는 새로운 프레임워크를 제안하며, 이를 조기 쿼리 퓨전 (Early Query Fusion) 전략과 통합합니다. 이 방법은 LLM 자체를 미세 조정 (fine-tuning) 하지 않고, 그래프 인코더와 프롬프트 생성 최적화에 초점을 맞춥니다.

2.1 조기 쿼리 퓨전

제안된 방법은 그래프와 쿼리를 별도로 인코딩하는 대신, 그래프 표현을 구성하기 전에 쿼리 맥락을 통합합니다.

• 쿼리 $q$는 텍스트 인코더를 사용하여 가상 쿼리 노드($n_q$) 로서 그래프 임베딩 공간에 임베딩됩니다.
• 이 가상 노드는 그래프의 모든 노드에 연결되어 GNN($GNN_{query}$) 을 통한 메시지 전달을 가능하게 하여 쿼리 인식 노드 임베딩을 생성합니다.
• 후속 GNN($GNN_{graph}$) 은 이 수정된 그래프 구조의 관계 정보를 인코딩합니다. 이를 통해 그래프 표현은 정적 구조가 아니라 본질적으로 쿼리 맥락을 인식하게 됩니다.

2.2 학습 가능 그래프 풀링 토큰 (LGPT)

노드 수준 투영과 그래프 수준 투영 간의 간극을 메우기 위해 저자들은 그래프와 LLM 사이의 연결고리 역할을 하는 $n$개의 학습 가능 매개변수 (토큰) 를 도입합니다.

• 메커니즘: 그래프는 모든 원래 노드가 $n$개의 학습 가능 토큰에 완전히 연결된 풀링 GNN($GNN_{pool}$) 에 의해 처리됩니다. 메시지 전달을 통해 이러한 토큰은 그래프에서 정보를 집계합니다.
• 출력: 단일 벡터나 $k$개의 노드 벡터 ($k$는 노드 수) 대신, 이 방법은 $n$개의 토큰($\{g'_1, \dots, g'_n\}$) 을 출력합니다.
• 투영: 이러한 토큰은 LLM 의 임베딩 차원에 맞추기 위해 투영 계층 (MLP) 을 통과한 후 텍스트 그래프 프롬프트 및 쿼리 임베딩과 연결됩니다.
• 개념적 기반: 이 접근 방식은 개념적으로 소프트 클러스터링(노드가 계층적 풀링과 유사하게 여러 클러스터에 속할 수 있음) 과 자기 주의 메커니즘(그래프 트랜스포머와 유사) 을 결합합니다. 단일 벡터 대신 여러 토큰을 사용함으로써 정보 손실을 완화하면서도 고정되고 관리 가능한 프롬프트 길이를 유지합니다.

2.3 학습 목적

LLM 과 텍스트 임베딩 계층은 고정 (frozen) 상태로 유지됩니다. 학습 목적은 예측된 답변과 정답 (ground truth) 간의 교차 엔트로피 손실을 최소화하기 위해 그래프 인코더 구성 요소($GNN_{query}$, $GNN_{graph}$, $GNN_{pool}$, LGPT 및 투영 계층) 의 학습 가능 매개변수 $\psi$를 최적화하는 것입니다.

3. 주요 기여

논문은 두 가지 주요 기여를 제시합니다:

1. 학습 가능 그래프 풀링 토큰 (LGPT): 고정된 수의 학습 가능 토큰을 사용하여 그래프 정보를 표현하는 새로운 풀링 메커니즘입니다. 이는 그래프 수준 투영의 확장성과 노드 수준 투영의 정보 풍부성 사이의 균형을 맞춥니다.
2. 조기 쿼리 퓨전: 그래프 인코딩 이전에 쿼리 맥락을 그래프 임베딩 과정에 통합하는 접근 방식입니다. 저자들은 인코딩 후 쿼리와 그래프가 결합되는 지연 퓨전 방법보다 더 효과적이라고 주장합니다.

4. 실험 결과

이 방법은 ExplaGraphs(상식 추론), SceneGraphs(공간 이해), WebQSP(지식 그래프 QA) 의 세 가지 데이터셋으로 구성된 GraphQA 벤치마크에서 평가되었습니다.

• LLM 학습 없이 수행된 성능: 제안된 방법은 모든 데이터셋에서 1 개의 토큰을 사용하는 그래프 수준 투영 기반의 강력한 베이스라인인 G-Retriever 대비 평균 4.13% 의 성능 향상을 달성했습니다. 구체적으로 ExplaGraphs 에서 5.77%, SceneGraphs 에서 3.92%, WebQSP 에서 2.38% 개선되었습니다.
• 애블레이션 연구 (Ablation Studies):
  • 조기 쿼리 퓨전: 베이스라인 대비 평균 **2.88%**의 개선을 기여했습니다.
  • LGPT: 베이스라인 대비 평균 **3.87%**의 개선을 기여했습니다.
  • 조합: 두 기법을 함께 사용할 때 가장 높은 향상을 보였으며, 이는 상호 보완적임을 확인시켜 주었습니다.
• 지연 퓨전과의 비교: 교차 모달리티 풀링을 사용하는 지연 퓨전 대비 조기 퓨전을 비교한 실험 결과, 조기 퓨전이 일관되게 지연 퓨전보다 우월한 성능을 보였습니다. 일부 경우 지연 퓨전은 아예 퓨전을 하지 않는 경우보다 성능이 저하되어, 완전히 처리된 임베딩을 결합하는 것이 노이즈를 유발할 수 있음을 시사합니다.
• 토큰 수 분석: 저자들은 8 개의 LGPT를 사용할 때 최적의 성능이 나온다고 발견했습니다. 수를 32 로 늘리는 것은 결과를 개선하지 못했으며, 일부 경우에는 과적합 또는 정보 중복으로 인해 성능 저하를 초래했습니다.
• LLM 학습 (LoRA): LLM 을 저랭크 적응 (LoRA) 을 통해 학습시켰을 때도 제안된 방법은 베이스라인을 능가하여 LoRA 학습된 G-Retriever 대비 추가적인 11.48% 의 개선을 달성했습니다.

5. 중요성과 주장

본 논문은 제안된 접근 방식이 그래프 증강 LLM 의 "정보 병목 현상"을 효과적으로 해결한다고 주장합니다. 학습 가능 토큰을 도입함으로써, 이 방법은 모든 노드를 처리하는 계산적 부담을 피하면서도 그래프를 단일 벡터로 압축할 때 발생하는 정보 손실을 방지합니다.

저자들은 이 방법이 대규모 언어 모델 자체의 학습을 요구하지 않고 이러한 성과를 달성한다는 점에서 특히 중요하다고 강조합니다. 이는 복잡한 텍스트 속성 그래프 데이터를 처리하기 위한 확장 가능하고 효율적인 솔루션입니다. 파이프라인 초기 단계에서 쿼리 맥락을 통합하는 것은 질문하는 특정 질문에 맞춰진 더 효과적인 그래프 임베딩을 생성하는 데 중요한 요소로 제시됩니다.