기술 요약: Search-on-Graph-R1 (SOG-R1)

문제 정의

지식 그래프 질의응답(KGQA)은 토픽 엔티티로부터 여러 관계만큼 떨어져 있는 정답까지 탐색해야 합니다. 최근의 접근 방식들은 프런티어 대규모 언어 모델(LLM)이 지식 그래프(KG)와 상호작작용하는 retrieval 도구를 통해 경쟁력 있는 정확도를 달-성할 수 있음을 보여주었으나, 이러한 방법들은 비용이 많이 들고 고정된(frozen) 프런티어 모델(예: GPT-4)에 의존하므로 지연 시간, 비용 및 접근성 제약으로 인해 실제 운영 환경에는 부적합합니다.

이러한 능력을 재현하기 위해 더 작은 오픈 소스 모델을 사후 학습(post-train)시키려는 기존의 시도들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 시맨틱 파싱 접근 방식: 모델이 단 한 번의 패스(pass)로 완전한 논리 형식(예: SPARQL)을 출력하도록 훈련합니다. 이 방식은 훈련 과정에서 보지 못한 스키마 요소가 필요할 때 어려움을 겪습니다.
2. 검색과 추론의 분리: 일부 방법(예: EoG)은 오프라인에서 정적인 서브그래프를 추출하며, 이는 전처리 단계의 재현율(recall)에 의해 정확도가 제한됩니다. 다른 방법(예: KG-Hopper)은 라이브 검색을 사용하지만, 추론 과정을 검증하기 위해 외부 LLM 판사(judge)에 의존하여 확률적 요소와 계산 오버헤드를 유발합니다.
3. 파라미터적 폴백(Parametric Fallback): 많은 시스템이 검색에 실패할 경우 모델이 파라미터 메모리에 의존하도록 허용하며, 이는 인용된 사실이 KG에 실제로 존재하는지 보장하지 못함을 의미합니다.

핵심 과제는 보조 모듈, 외부 판사 또는 파라미터 메모리에 대한 의존 없이 라이브 검색과 추론을 수행하는 컴팩트한 모델(예: 8B 파라미터) 내에 KG 탐색 능력을 내재화하는 것입니다.

방법론: SOG-R1

SOG-R1은 컴팩트한 인스트럭션 튜닝된 학생 모델(Llama-3.1-8B-Instruct)에 적용되는 2단계 사후 학습 파이프라인을 통해 이러한 과제를 해결합니다. 이 접근 방식은 모델이 라이브 Search 호출을 통해 무엇을 가져올지 결정하는 단일 루프 안에서 검색과 추론을 융합합니다.

1. SPARQL-Scaffolded Cold-Start Trace Generation

모델의 KG 탐색 능력을 초기화하기 위해, 저자들은 "교사(teacher)" 전략을 사용하여 고품질의 훈련 궤적(trajectory)을 생성합니다.

• 교사 설정: 프런티어 규모의 교사 LLM(Qwen3-235B)에 질문과 그에 해당하는 **골드 SPARQL 쿼리(gold SPARQL query)**를 제공합니다.
• 스캐폴딩(Scaffolding): 교사에게 경로를 직접 찾도록 요청하는 대신, 골드 SPARQL 쿼리가 청사진 역할을 합니다. 교사는 학생이 사용할 것과 동일한 라이브 Search 도구를 사용하여 이미 알려진 정답 경로를 탐색합니다.
• 그라운딩(Grounding): 모든 도구 호출은 라이브 Freebase 서버를 대상으로 실행됩니다. 이는 결과 궤적이 구조적으로 KG에 근거하도록 보장하며, 유효한 도구 호출, 관측값(observation) 및 최종 정답을 포함하게 합니다.
• 필터링: 최종 정답이 골드 정답과 정확히 일치하고 모든 호출이 오류 없이 실행된 경우에만 궤적을 유지합니다.

2. 1단계: 지도 미세 조정 (SFT)

학생 모델은 수집된 교사 궤적을 사용하여 저차원 적응(LoRA) 방식으로 미세 조정됩니다.

• 훈련 데이터는 어시스턴트 턴이 Search 도구 호출이고, 그 사이의 턴이 반환된 관측값인 다회차 대화 형태로 직렬화됩니다.
• 모델은 도구의 출력 자체를 예측하도록 훈련받는 것이 아니라, 컨텍스트를 바탕으로 도구 호출과 정답을 생성하는 법을 배웁니다.
• 이 단계는 강력한 탐색 사전 지식(prior)을 확립하는 SOG-SFT를 생성합니다.

3. 2단계: 강화 학습 (RL)

SFT 모델은 결정론적 결과 보상을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 더욱 정교하게 다듬어집니다.

• 보상 함수: 보상은 다음 세 가지 요소의 곱입니다:
  1. 포맷 게이트 ($g$): 모델이 최소 한 번 이상의 도구를 호출하고 "Final answer:" 문자열로 깔끔하게 종료하는지 확인합니다.
     end. 정확 일치 ($r_{em}$): 예측된 정답 집합이 골드 정답과 일치하면 1을, 그렇지 않으면 0을 반환합니다.
  2. 효율성 요소 ($f$): 과도한 도구 호출(턴)에 대한 곱셈 페널티를 부여하여, 올바른 궤적 중에서도 더 짧은 경로를 선택하도록 유도합니다.
• 핵심 제약: 보상 루프에는 LLM 판사가 포함되지 않으며 골드 경로에 대한 감독도 없습니다. 오직 최종 정답의 정확성과 경로의 효율성에만 의존합니다.

도구 혁신

저자들은 Batched 1-Hop Neighbour Retrieval 도구를 도입했습니다. 엔티티당 한 번의 호출을 요구하는 기존 도구와 달리, 이 도구는 단일 호출로 엔티티 리스트를 수용합니다. 이는 모델이 동일한 홉(hop) 내에서 여러 노드를 확장할 때 엔티티를 누락하는 것을 방지하여, 추론 비용과 실패율을 줄여줍니다.

주요 결과

모델은 세 가지 표준 Freebase 기반 벤치마크인 WebQSP, CWQ, GrailQA에서 평가되었습니다.

• 프런티어 모델 대비 성능: 8B SOG-R1은 세 가지 벤치마크 모두에서 모든 고정된 프런티어-LLM 시스템(ToG, PoG, LMP와 같은 GPT-4 기반 방법 포함)을 능가합니다.
• 사후 학습 시스템 대비 성능:
  • SOG-R1은 비교된 시스템 중 **가장 강력한 CWQ 정확도(88.7%)**를 달성하였으며, ChatKBQA(86.0%) 및 EoG(82.6%)와 같은 다른 사후 학습 모델보다 우수한 성능을 보였습니다.
  • WebQSP 및 GrailQA에서는 최고의 사후 학습 시스템(EoG)과 비슷하거나 약간 낮은 결과를 보였으나, 정적인 사전 추출 서브그래프 위에서 추론하는 대신 라이브 검색을 수행한다는 뚜가적인 장점을 가집니다.
  • KG-Hopper(동일한 Llama-3.1-8B 기반)와 비교했을 때, SOG-R1은 외부 판사의 부재와 검색/추론의 통합 덕분에 상당한 성능 향상(+14.8 ~ +34.6 포인트)을 보여주었습니다.

절제 연구 및 분석

• 단계별 기여도:
  • SFT는 가장 큰 성능 도약을 제공하여, 모델을 제로샷 베이스라인에서 최첨단 수준으로 끌어올렸습니다. 이는 SPARQL-scaffolded 궤적의 가치를 입증합니다.
  • RL은 보완적인 이득을 제공하며, 특히 복잡한 CWQ 데이터셋에서 정확도를 더욱 높이고 정책을 정교화합니다.
  • RL-Only (SOG-R1-ZERO): SFT 초기화 없이 베이스 모델에 직접 RL을 적용하면 SFT 초기화 모델보다 성능이 현저히 낮았습니다. 이는 콜드 스타트 궤적이 효과적인 RL을 위해 필수적임을 나타냅니다.
• 경로 압축: 독특한 발견은 RL 단계가 에이전트가 더 효율적으로 탐색하도록 가르친다는 점입니다. SOG-R1은 정확도를 높이는 동시에 SFT 초기화 단계보다 질문당 평균 Search 호출 횟수를 줄였습니다(예: WebQSP에서 -15%). 이는 에이전트가 더 많은 호출을 하는 웹 검색 RL 방식과는 대조적입니다.
• 데이터 규모: 이 접근 방식은 데이터 효율적입니다. 성능은 조기에 정체되며, 최적의 정확도에 도달하는 데 몇 천 개의 주석 달린 질문만 필요합니다. RL은 콜드 스타트 데이터 풀이 작을 때 가장 큰 상승을 제공합니다.
• 백본 범용성: 이 파이프라인은 다른 모델 제품군(Qwen3-4B)에도 성공적으로 전이되어, 성능 계층(Base < SFT < RL)을 유지했습니다.

의의 및 주장

본 논문은 SOG-R1이 "Search-on-Graph" 패러다임을 컴팩트한 단일 모델 내로 성공적으로 내재화했음을 주장합니다. 주요 기여는 다음과 같습니다:

1. 내재화: KG 탐색을 추론 시의 오케스트레이션 작업에서 8B 모델의 가중치 내에 학습된 행동으로 변환하여, 보조 모듈이나 외부 판사의 필요성을 제거했습니다.
2. 그라운디드 콜드 스타트: 골드 SPARQL 쿼리로 교사를 스캐폴딩하고 라이브 실행을 결합함으로써, 순수 생성형 궤적의 환각 위험을 피하고 본질적으로 KG에 근거한 훈련 데이터를 생성했습니다.
3. 효율성: RL이 정답에 도달하는 데 더 적은 단계를 거치도록 학습할 수 있음을 보여주어, 정확도와 지연 시간을 모두 최적화했습니다.
4. 최첨단 효율성: 훨씬 적은 추론 비용으로 대규모 프런티어 모델 및 다른 사후 학습 시스템과 대등하거나 더 우수한 정확도를 달립니다.

한계점: 저자들은 평가가 Freebase에 국한되어 있으며, 훈련 중 골드 토픽 엔티티(oracle entity linking) 및 골드 SPARQL 쿼리의 가용성을 가정하고 있음을 언급했습니다. 이러한 주석이 없는 그래프(예: Wikidata)로의 전이 가능성이나 엔티티를 자율적으로 수행하는 능력은 아직 테스트되지 않았습니다.