1. 문제 정의 (Problem Definition)

• 지식 외삽 (Knowledge Extrapolation) 의 필요성: 복잡한 전문 분야 (예: 생물의학, 상식 추론) 의 질문을 해결할 때, 기존에 명시적으로 존재하는 지식을 결합하고 확장하여 새로운 정보를 추론하는 능력은 인간 지능의 핵심입니다. 그러나 대규모 언어 모델 (LLM) 은 사전 학습된 파라미터 지식이나 테스트 시 검색된 컨텍스트만으로는 완전한 추론 체인을 구성하기 어려운 경우가 많습니다.
• 기존 방법의 한계:
  • 불완전한 지식 그래프 (KG): 외부 지식 그래프 (KG) 는 종종 불완전하여 질문의 정답을 직접적으로 연결하는 삼중항 (triplet) 이 존재하지 않을 수 있습니다.
  • 할루시네이션: 지식 부족을 메우기 위해 모델이 무작위로 추론하면 할루시네이션이 발생하여 성능이 저하됩니다.
  • 기존 에이전트 프레임워크의 비효율: 기존 에이전트 기반 KG 추론 방법 (예: GraphRAG, ToG, GIVE) 은 복잡한 다단계 프롬프팅과 반복적인 LLM 호출을 필요로 하여 토큰 사용량이 많고, 작은 모델 (3B~7B 파라미터) 이 복잡한 지시를 따르기 어렵다는 문제가 있습니다.

2. 방법론 (Methodology: SAKE)

저자들은 SAKE (Structured Agentic Knowledge Extrapolation) 를 제안했습니다. 이는 강화 학습 (RL) 을 통해 LLM 이 구조화된 지식 그래프 (KG) 를 기반으로 지식을 외삽하고 추론하도록 훈련하는 에이전트 프레임워크입니다.

핵심 구성 요소

1. 도구 증강 환경 (Tool-Augmented Environment):
   모델은 추론 과정에서 두 가지 결정론적 (deterministic) 외부 도구를 호출합니다.

   • Tool 1 (Entity Group Construction): 쿼리에서 추출한 핵심 엔티티를 KG 에 링크하고, 의미적으로 유사한 엔티티들의 그룹 (Group) 을 구성합니다. (쿼리 용어와 KG 어휘 간의 간극 해소)
   • Tool 2 (Cross-Group Triplet Retrieval): 선택된 엔티티 그룹들 사이를 연결하는 KG 삼중항 (triplets) 을 검색합니다.

2. 3 턴 멀티-턴 롤아웃 (Multi-Turn Rollout):
   모델은 사전 계산된 검색 없이, 강화 학습을 통해 다음 3 단계 프로세스를 자율적으로 수행합니다.

   • Turn 1 (엔티티 추출): 쿼리에서 핵심 개념 (질병, 분자 등) 을 추출하고 <extract_entities> 태그로 출력. Tool 1 이 실행되어 엔티티 그룹 반환.
   • Turn 2 (그룹 필터링): 반환된 그룹 중 관련성 있는 그룹을 선별하고 <filtered_groups> 태그로 출력. Tool 2 가 실행되어 교차 그룹 삼중항 검색.
   • Turn 3 (연상 추론): 검색된 삼중항을 기반으로 유추 (analogy) 를 통해 새로운 삼중항을 구성 (예: (호르몬, 치료, 정신질환) → (멜라토닌, 치료, 불면증)) 하고 최종 답변을 생성.

3. 강화 학습 최적화 (End-to-End RL):

   • 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여 전체 롤아웃 경로를 엔드 투 엔드로 최적화합니다.
   • 커리큘럼 보상 (Curriculum Reward): 학습 단계에 따라 보상 신호를 점진적으로 변경합니다.
     • 1 단계: 형식 준수 (태그 생성) 만 보상.
     • 2 단계: 형식 준수 + 정답 정확도 곱셈 보상.
     • 3 단계: 정답 정확도만 보상.
   • 특징: 지도 학습 (SFT) 단계를 거치지 않고, 순수 RL 만으로 에이전트 행동 (검색 및 추론) 이 학습됩니다.

3. 주요 기여 (Key Contributions)

1. RL 기반 지식 외삽 학습: 복잡한 프롬프팅이나 다단계 지시 없이, 강화 학습을 통해 작은 모델이 구조화된 지식 그래프에서 결여된 지식을 유추하고 연결하는 능력을 스스로 학습하도록 했습니다.
2. 단일 엔드 투 엔드 정책: 검색 (Retrieval) 과 추론 (Reasoning) 을 분리된 단계가 아닌 단일 정책으로 통합하여, 모델이 "무엇을 검색할지"와 "어떻게 추론할지"를 동시에 학습하게 했습니다.
3. 효율성 극대화: 기존 에이전트 프레임워크가 여러 번의 LLM 호출을 필요로 하는 반면, SAKE 는 단일 추론 패스 (Single Inference Pass) 로 모든 작업을 수행하여 토큰 사용량을 획기적으로 줄였습니다.
4. 작은 모델의 성능 향상: 7B 파라미터 모델이 복잡한 에이전트 프레임워크를 사용하는 3.5B 모델 (GPT-3.5-Turbo) 보다 뛰어난 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 생물의학 (UMLS KG, PubMedQA, BioASQ, ProcessBank) 과 상식 (ConceptNet, CommonsenseQA) 벤치마크.
• 성능 비교 (Qwen2.5-7B vs. GPT-3.5-Turbo + GIVE):
  • 생물의학: SAKE(75.4%) 가 GIVE(70.1%) 를 상회.
  • 상식 추론: SAKE(81.3%) 가 GIVE(74.7%) 를 상회.
  • 작은 모델 (3B) 의 성과: SAKE 로 미세 조정된 3B 모델도 GPT-3.5-Turbo 기반의 최첨단 에이전트 프레임워크 성능에 근접하거나 이를 능가했습니다.
• 효율성:
  • 기존 방법 (ToG, GIVE) 대비 90% 이상 토큰 사용량 감소 (평균 질문당 7,00019,000 토큰 → 6001,200 토큰 수준).
• Ablation Study:
  • 그룹 필터링: 관련 없는 그룹을 제거하여 노이즈를 줄임 (성능 향상).
  • 에이전트 검색: 사전 계산된 검색보다 쿼리 기반의 적응형 검색이 더 효과적.
  • 지식 외삽: 불완전한 KG 에서 유추를 통한 새로운 삼중항 생성이 성능 향상의 핵심 요소임 (BioASQ 에서 특히 큰 차이 발생).

5. 의의 및 결론 (Significance & Conclusion)

• 작은 모델의 가능성: 대규모 모델이나 복잡한 프롬프팅 없이도, 적절한 도구와 강화 학습 신호만 있다면 작은 오픈 가중치 모델이 전문 도메인에서 복잡한 추론을 수행할 수 있음을 증명했습니다.
• 불완전한 지식 환경 대응: 지식 그래프가 불완전한 상황에서도 유추 (Analogy) 와 구조화된 추론을 통해 정확한 답변을 도출할 수 있는 새로운 패러다임을 제시했습니다.
• 실용성: 토큰 비용과 계산 자원을 대폭 절감하면서도 높은 정확도를 달성하여, 지식 기반 추론이 필요한 실제 애플리케이션 (의료, 과학 등) 에의 배포 가능성을 높였습니다.

요약하자면, SAKE 는 강화 학습을 통해 LLM 이 지식 그래프의 구조를 이해하고, 결여된 정보를 유추하여 연결하는 능력을 스스로 습득하게 함으로써, 기존 에이전트 시스템의 비효율성과 대형 모델 의존성을 해결한 획기적인 프레임워크입니다.