기술 요약: LLM 기반 KGQA 의 경계된 경로 컨텍스트

문제 제기

LLM 기반 지식 그래프 질문 응답 (KGQA) 시스템은 일반적으로 그래프 탐색을 언어 모델 (LLM) 컨트롤러에 위임합니다. 검색의 각 단계에서 컨트롤러는 다음에 따라야 할 관계를 선택하도록 LLM 을 프롬프트합니다. 널리 사용되는 설계 패턴은 완전한 부분 경로(지금까지 탐색한 엔티티와 관계의 전체 기록) 를 모든 라우팅 프롬프트에 직렬화하는 것입니다.

저자들은 이것이 검증되지 않은 기본 가정이라고 주장합니다. 그래프 컨트롤러는 메모리 내에서 정확한 기호 상태로서 전체 경로를 유지하지만, 이 텍스트를 반복적으로 LLM 프롬프트에 공급하는 것은 두 가지 혼동된 역할을 수행합니다:

1. 제어 컨텍스트: 시스템의 정확한 장부 관리 (코드에는 이미 존재함).
2. 설명 컨텍스트: LLM 을 위한 선택적 모호성 해소 텍스트.

이 관행은 상당한 비용을 초래합니다: KV 캐시 메모리를 소모하고, 로컬 배치 처리를 제한하며, 지연 시간을 증가시키고, 모델이 현재 관계 후보들과 경쟁하는 잠재적으로 구식이거나 관련 없는 과거 정보에 주의를 기울이게 만듭니다. 핵심 질문은 LLM 의 로컬 라우팅 결정에 완전한 기호 경로가 필요한지, 아니면 경계된 접미사만으로도 충분한지입니다.

방법론: 경계된 경로 컨텍스트 (BPC)

이 논문은 관계 선택 시 LLM 에게 노출되는 텍스트와 컨트롤러의 기호 상태를 분리하는 프롬프트 인터페이스 개입인 **경계된 경로 컨텍스트 (BPC)**를 소개합니다.

핵심 메커니즘

• 기호 상태: 컨트롤러는 답변 추출 및 감시를 위해 전체 경로 $p_t = (e_0, r_1, e_1, \dots, r_t, e_t)$를 메모리에 유지합니다.
• 가시적 기록: 관계 선택을 위해 LLM 에게 노출된 프롬프트에는 질문, 현재 엔티티, 나가는 관계 후보들, 그리고 경로의 최근 $K$ 홉만 포함됩니다.
  • $K=0$: 이전 홉이 표시되지 않습니다.
  • $K=1$: 직전 홉만 표시됩니다.
  • $K=\text{full}$: 전체 경로가 직렬화됩니다 (기존의 기준선).

실험 설정

• 데이터셋: RoG 정렬 로컬 그래프 이웃을 사용하는 WebQSP 와 ComplexWebQuestions (CWQ).
• 모델: 로컬 vLLM 을 통해 제공된 Qwen3.5-9B-AWQ 및 Qwen3.5-4B-AWQ.
• 통제 변수: 연구는 그래프 이웃, 빔 너비, 검색 깊이, 관계 제한, 디코딩 온도를 고정했습니다. 유일한 변수는 가시적 경로 기록 길이 ($K$) 입니다.
• 지표: 답변 세트 F1, Hits@1, 입력 토큰 수, 그리고 월클록 시간.

주요 결과

1. 성능 대 전체 기록

더 많은 컨텍스트가 좋다는 직관과 달리, 경계된 기록들은 전체 기록 프롬프팅과 동등하거나 더 나은 성능을 보입니다:

• Qwen3.5-9B:
  • WebQSP: $K=1$이 최고 F1(0.487) 을 달성하여 전체 기록 (0.472) 을 능가했습니다. $K=0$은 거의 동률 (0.485) 이었습니다.
  • CWQ: $K=0$이 최고 F1(0.287) 을 달성하여 전체 기록 (0.274) 을 능가했습니다.
• 효율성: 경계된 컨텍스트는 입력 토큰을 크게 줄였으며 (CWQ 에서 최대 12.1% 감소), 경우에 따라 월클록 시간도 단축했습니다.

2. 모델 크기 상호작용

최적의 $K$는 모델 용량에 따라 달라집니다:

• 9B 규모: 경계된 기록 ($K=0$ 또는 $K=1$) 이 일반적으로 전체 기록보다 우수한 성능을 보였습니다.
• 4B 규모: 전체 기록이 $K=0$보다 더 잘 수행되어, 더 작은 모델이 일부 경로 컨텍스트의 혜택을 받는 것을 시사합니다. 그러나 $K=1$이 4B 모델의 경우 두 데이터셋 모두에서 가장 강력한 설정으로 남았습니다. 이는 $K=0$과 전체 기록 모두를 능가했습니다.

3. 오류 분석

• 안정성: 예제의 71~84% 가 기록 길이와 관계없이 동일한 최종 F1 점수를 산출하여, 대부분의 라우팅 결정이 컨텍스트 단축에 강건함을 나타냈습니다.
• 실패 모드:
  • 전체 기록 승리: 이전 홉이 현재 엔티티의 모호성을 해소하는 데 필요했을 때 종종 발생했습니다.
  • 경계된 기록 승리: 전체 기록이 모델을 혼란스럽게 하는 "구식" 엔티티 이름이나 관련 없는 이전 관계 레이블을 도입했을 때 종종 발생했습니다.
• 무작위 통제: 무작위 관계 선택은 점수가 현저히 낮아, 성과가 단순히 노이즈 감소가 아니라 학습된 관계 선택과 그래프 그라운딩에 기인함을 확인했습니다.

주요 기여

1. 인터페이스 분리: 결정론적 기호 상태 (컨트롤러 메모리) 와 모델 가시적 통신 (프롬프트 텍스트) 을 분리하는 방법으로서 BPC 를 정의했습니다.
2. 실증적 증거: 전체 경로 직렬화가 균일하게 우수한 기본값이 아님을 입증했습니다. WebQSP 와 CWQ 에서 경계된 기록 ($K=0$ 또는 $K=1$) 은 더 적은 토큰으로 더 높은 F1 점수를 달성했습니다.
3. 모델 크기 뉘앙스: 더 작은 모델 (4B) 은 일부 컨텍스트의 혜택을 받지만, 단일 가시 홉 ($K=1$) 이 서로 다른 모델 규모 전반에 걸쳐 일관되게 경쟁력 있는 설정임을 확인했습니다.
4. 진단 통제: 결과가 그래프 접근이나 무작위 우연의 산물이 아니라 경로 길이와 LLM 주의 간의 특정 상호작용에서 비롯됨을 검증했습니다.

중요성과 주장

이 논문은 경로 직렬화 길이를 LLM 기반 그래프 컨트롤러의 고정된 기본 가정이 아닌 조정 가능한 인터페이스 변수로 취급해야 한다고 주장합니다.

• 시스템 설계: BPC 를 통해 시스템 설계자는 정확성을 희생하지 않고 (오히려 향상시키며) 입력 토큰 부하와 지연 시간을 줄일 수 있습니다.
• 이론적 통찰: 결과는 로컬 라우팅 결정의 경우 "질문 + 현재 엔티티 + 관계 후보"가 강력한 로컬 신호를 인코딩함을 시사합니다. 이전 홉들은 모호성 해소에 도움이 될 수 있지만, 종종 관련 없는 표면 형태를 도입하여 방해 요소로 작용합니다.
• 감사 가능성: 전체 경로를 기호 메모리에 유지함으로써, 라우팅 프롬프트가 잘려도 BPC 는 완전한 경로에서 증거를 감사하고 답변을 추출할 수 있는 능력을 유지합니다.

저자들은 전체 기록이 그들의 실행에서 최고 F1 설정은 아니지만, 특정 경계 ($K=1$) 가 로컬 모호성 해소와 프롬프트 경제성 사이의 균형을 이루는 견고하고 효율적인 기본값을 제공한다고 결론지었습니다.