기술 요약: 지식 집약적 LLM 생성을 위한 RAS (Retrieval-And-Structuring)

문제 정의

대규모 언어 모델(LLM)은 지식 집약적인 작업에서 인상적인 능력을 보여주었으나, 다단계 추론에서는 빈번하게 어려움을 겪는다. 이러한 한계는 주로 표준 검색 증강 생성(RAG) 프레임워크에서 검색된 컨텍스트의 비구조적인 특성에서 기인한다. RAG는 외부 정보를 제공하지만, 검색된 구절들 사이의 명시적인 조직화가 결여되어 있어 모델이 논리적 간극을 암묵적으로 메워야 하며, 이는 종종 취약한 추론 경로와 환각(hallucination) 현상으로 이어진다.

지식 그래프(KG)를 LLM과 통합하려는 기존의 시도들은 대개 정적인 코퍼스 전역의 그래프에 의존한다. 이러한 접근 방식은 두 가지 중요한 한계에 직면한다:

1. 높은 비용: 전역 KG(예: 위키피디아)를 구축하고 유지 관리하는 데는 수백만 번의 LLM 호출과 상당한 재정적 자원이 필요하다.
2. 모호성: 전역 그래프는 서로 충돌하는 문서들의 증거를 혼합하여, 사용자 질의와 관련된 특정 컨텍스트를 가리는 모호하거나 모순적인 관계를 생성할 수 있다.

결과적으로, 오프라인 인덱싱의 과도한 비용 없이도, 특정 질의에 맞춤화된 지식 구조를 동적으로 구축하여 더 해석 가능하고 견고한 추론을 가능하게 하는 시스템이 필요하다.

방법론: RAS 프레임워크

저자들은 반복적인 검색과 구조화된 지식 구축을 통해 질의별 맞춤형 지식 그래프를 동적으로 구축하는 Retrieval-And-Structuring (RAS) 프레임워크를 제안한다. RAS는 타겟팅된 검색 계획과 점진적인 그래프 구축을 교차 수행함으로써, 모델이 각 질의에 최적화된 진화하는 지식 구조를 조립하고 그 위에서 추론할 수 있도록 한다.

이 프레임워크는 세 가지 주요 단계로 작동한다:

1. 지식 인식 계획 (Knowledge-Aware Planning)

이 과정은 현재의 지식 상태를 동적으로 평가하는 계획 모듈에 의해 시작되고 제어된다.

• 초기 계획: 입력된 질의 $Q$가 주어지면, 모델은 질의에 직접 답할 수 있는지([NO_RETRIEVAL]) 또는 검색이 필요한지를 결정한다. 검색이 필요한 경우, 메인 질문이 초기 하위 질의($q_0$) 역할을 한다.
• 반복 계획: 각 반복 단계 $i$에서 모델은 축적된 지식 그래프 $G_i$와 하위 질의 및 추출된 트리플(triples)의 이력을 분석한다. 모델은 다음 중 하나를 결정한다:
  • 특정 지식 공백을 채우기 위해 새로운 집중 하위 질의($q_{i+1}$)를 생성한다 ([SUBQ]).
  • 축적된 지식이 충분하다고 판단되면 검색을 종료한다 ([SUFFICIENT]).

2. 텍스트 검색 및 구조화 (Text Retrieval and Structuring)

하위 질의가 생성되면 시스템은 검색 및 구조화 파이프라인을 실행한다:

• 검색: 밀집 검색기(dense retriever)가 하위 질의에 대해 의미적으로 가장 관련성이 높은 상위-$k$개의 구절($t_i$)을 가져온다.
• 텍스트-트리플 변환: 특화된 모델($f_{t2t}$)이 검색된 텍스트를 구조화된 사실적 트리플(주어-술어-목적어)로 변환한다. 이 모델은 WikiOfGraph 데이터셋으로 학습되었다.
• 그래프 구축: 추출된 트리플들은 노드와 엣지에 대한 시맨틱 임베딩을 가진 그래프 구조 $g'_i$로 변환된다.
• 반복적 풍부화: 새로운 그래프 $g'_i$는 진화하는 질의별 지식 그래프 $G_Q$에 병합된다. 이 그래프는 반복적으로 성장하며 메인 질의와 관련된 증거를 축적한다.

3. 지식 증강 답변 (Knowledge-Augmented Answering)

계획 모듈이 지식이 충분하다고 신호를 보내면 모델은 최종 답변을 생성한다.

• 검색이 필요하지 않았던 경우, 질의로부터 직접 답변을 생성한다.
• 그렇지 않은 경우, 인코딩된 질의별 KG($G_Q$)와 하위 질의 및 관련 그래프 정보의 체인(chain)을 조건으로 하여 답변을 생성한다. 모델은 이 구조화된 컨텍스트를 참조하여 정확하고 일관된 출력을 생성한다.

학습 전략

RAS는 구조 인식 멀티태스크 학습(Structure-Aware Multitask Learning) 방식을 채택한다. 단일 Graph LLM이 매개변수 효율적 미세 조정 전략(LoRA)을 사용하여 계획 및 답변 작업을 모두 수행하도록 학습된다. 학습 데이터인 HotpotQA-SUBQ는 HotpotQA 문서를 필터링하고, 각 지원 문서에 대한 하위 질의를 생성하며, 적절한 계획 액션([SUBQ], [SUFFICIENT], 또는 [NO_RETRIEVAL])이나 최종 답변을 레이블링하여 구축되었다.

주요 기여

1. RAS 프레임워크: 전역 KG의 비용과 노이즈를 피하면서, 반복적인 검색과 구조화를 통해 질의별 맞춤형 지식 그래프를 동적으로 구축하는 프레임워크를 제안하였다.
2. 통합 모델 아키텍처: 진화하는 지식 그래프 위에서 검색 필요성을 계획하고 답변을 동시에 생성하는 통합된 Graph LLM을 설계하였으며, 이를 멀티태스크 학습 설정으로 구현하였다.
3. 실증적 검증: 7개의 다양한 벤치마크에서 일관된 성능 향상을 입증하여, 동적 구조화가 추론 정확도와 견고성을 개선함을 보여주었다.

실험 결과

저자들은 7개의 벤치마크(오픈 도메인 QA: TriviaQA, PopQA, 2WikiMultihopQA; 폐쇄형 태스크: PubHealth, ARC-Challenge; 롱폼 생성: ASQA, ELI5)를 통해 RAS를 평가하였다.

• 성능 향상: RAS는 Self-RAG, RPG, SuRe를 포함한 강력한 베이스라인 모델들을 일관되게 능가했다.
  • 오픈 소스 LLM(LLaMA-2-7B/LLaMA-3-8B) 사용 시, RAS는 베이스라인 대비 최대 **7.0%**의 성능 향상을 달성했다.
  • 독점 모델(Claude-3.5-Sonnet) 사용 시, RAS는 최대 **8.7%**의 성능 향상을 달성했다.
• 절제 연구(Ablation Studies):
  • 반복 계획: 계획 모듈을 제거(단일 패스 검색으로 회귀)했을 때 성능이 크게 하락하여, 검색 필요성을 동적으로 결정하는 것의 중요성을 확인했다.
  • 그래프 구축: 텍스트-트리플 변환 또는 그래프 인코더를 제거했을 때 상당한 성능 저하가 발생하여, 구조화된 지식 표현의 가치를 확인했다.
  • 학습 전략: 공동 멀티태스크 학습과 LoRA의 사용이 최적의 성능을 내는 데 결정적임을 발견했다.
• 효율성: 값비싼 오프라인 인덱싱(위키피디아 규모 기준 약 8만 5천 달러 ~ 50만 달러로 추정되는 GraphRAG와 같은 정적 그래프 방식과 대조됨)이 필요한 정적 그래프 방식과 달리, RAS는 추론 시점에 그래프를 동적으로 구축함으로써 오프라인 비용을 무시할 수 있는 수준으로 낮추었다.

의의 및 주장

본 논문은 동적, 질의별 맞춤형 지식 구조화가 언어 모델 생성의 추론 정확도와 견고성을 향상시키는 강력한 경로를 제공한다고 주장한다. 추출된 지식을 진화하는 그래프로 명시적으로 조직함으로써, RAS는 비구조적 컨텍스트와 관련된 환각 위험과 전역 지식 그래프의 비효효율성을 완화한다.

저자들은 자신들의 접근 방식이 LLM의 실패가 흔히 깨진 암묵적 추론 체인에서 비롯된다는 해석 가능성 연구와 궤를 같이한다고 강조한다. 구조화된 중간 추론을 통해 이러한 체인을 명시적으로 만듦으로써, RAS는 지식 집약적 작업에 대한 투명하고 확장 가능한 솔루션을 제공한다. 이 프레임워크는 특정 지식 그래프 질의 응답(KGQA) 작업에 국한되지 않는 범용적인 오픈 도메인 질의 응답을 위한 접근 방식으로 제시된다.