RefTool: Reference-Guided Tool Creation for Knowledge-Intensive Reasoning

이 논문은 교과서 및 지식 조각과 같은 외부 자료를 참조하여 실행 가능한 도구를 자동으로 생성하고 계층적으로 구성하는 'RefTool' 프레임워크를 제안함으로써, 대형 언어 모델이 지식 의존적 추론 과제의 한계를 극복하고 정확도와 일반화 성능을 크게 향상시킨다는 것을 보여줍니다.

핵심

REFTOOL: "교과서"를 보고 "도구"를 만들어 문제를 해결하는 AI

이 논문은 REFTOOL이라는 새로운 AI 시스템을 소개합니다. 이 시스템은 거대한 언어 모델 (LLM) 이 복잡한 과학 문제나 전문적인 지식을 다룰 때, 자신의 머릿속 지식만 믿지 않고 외부 자료 (교과서, 지식 조각 등) 를 참고해서 직접 필요한 '도구'를 만들어 문제를 해결하는 방식을 제안합니다.

이 내용을 일반인이 이해하기 쉽게 비유와 일상적인 언어로 설명해 드리겠습니다.

---

1. 왜 이런 연구가 필요할까요? (문제 상황)

비유: "요리사 vs. 레시피 없는 요리"

생각해 보세요. 유명한 요리사 (AI) 가 있다고 칩시다. 이 요리사는 평소에는 훌륭한 요리를 해냅니다. 하지만 갑자기 "에볼라 바이러스를 치료하는 약을 만들어줘" 혹은 **"아주 낯선 외계 식물의 성분을 분석해줘"**라는 요청을 받으면 어떨까요?

• 기존 방식의 한계: 요리사가 자신의 기억 (내부 지식) 만 믿고 요리를 하려다 보니, 본 적도 들어본 적도 없는 재료를 다룰 때 실패하거나 엉뚱한 요리를 만들어냅니다.
• 기존 해결책의 부족: "그럼 요리사에게 '이런 재료를 쓰면 돼'라고 알려주고, 요리사가 그걸로 도구를 만들어봐"라고 시켰을 때, 요리사가 그 재료를 어떻게 다뤄야 할지 몰라 도구를 엉망으로 만들거나 아예 만들지 못합니다.

즉, AI 는 자신이 배운 지식 밖의 새로운 분야에서는 '어떻게' 도구를 만들어야 할지 모르는 것입니다.

2. REFTOOL 은 어떻게 해결할까요? (해결책)

비유: "전문가에게서 레시피를 배워 직접 주방 도구를 만드는 요리사"

REFTOOL 은 AI 에게 다음과 같은 두 단계를 거치게 합니다.

1 단계: 도구 만들기 (Tool Creation) - "교과서 보고 도구 설계도 그리기"

• 상황: AI 가 문제를 해결할 때, 관련 교과서나 전문 서적을 먼저 읽게 합니다.
• 행동: AI 는 교과서의 내용을 보고, "이 문제를 풀려면 이런 계산이 필요하구나"라고 파악한 뒤, **실제로 작동하는 컴퓨터 코드 (도구)**를 직접 작성합니다.
• 검증: 만든 도구가 제대로 작동하는지 간단한 예제 (연습문제) 로 테스트합니다. 실패하면 고치고, 성공하면 **정리된 도구상자 (Toolbox)**에 넣습니다.
  • 예시: "역확률 가중치 (Inverse Probability Weighting)"라는 통계 개념이 교과서에 나오면, AI 는 이를 이해하고 compute_ate_ipw 라는 이름의 실제 계산 코드를 만들어냅니다.

2 단계: 도구 활용 (Tool Utilization) - "도구상자에서 알맞은 도구 꺼내기"

• 상황: 이제 실제 질문 (예: "A 와 B 의 인과관계는 무엇인가?") 이 들어옵니다.
• 행동: AI 는 방금 만든 도구상자를 뒤집니다. 질문의 성격에 맞는 **카테고리 (예: '추정' 카테고리)**를 먼저 찾고, 그 안에서 가장 적합한 **도구 (예: '인과방향 적합' 도구)**를 꺼냅니다.
• 결과: 꺼낸 도구를 사용해 정답을 도출합니다.

3. 핵심 장점 (왜 이것이 특별한가?)

1. 지식의 한계를 넘습니다: AI 가 몰랐던 분야라도, 교과서만 있다면 그 분야의 전문가처럼 도구를 만들어 문제를 풀 수 있습니다. 마치 요리사가 새로운 재료가 적힌 요리책만 보고도 그 재료를 활용한 요리를 개발하는 것과 같습니다.
2. 정확하고 신뢰할 수 있습니다: 도구를 만들 때 교과서 내용을 그대로 반영하고, 예제로 검증하므로 "AI 가 헛소리를 하는 (할루시네이션)" 현상을 줄여줍니다.
3. 효율적입니다: 매번 실패하고 다시 시도하는 방식이 아니라, 한 번 만든 도구는 여러 문제에서 다시 쓸 수 있어 시간과 비용을 아낍니다.
4. 과학뿐만 아니라 언어 번역에도 통합니다: 아주 드문 언어 (예: 중국 소수민족 언어) 를 번역할 때도, 문법 규칙이라는 '교과서'를 보고 번역 도구를 만들어 번역 품질을 높였습니다.

4. 실제 성과 (결과)

논문에서는 인과관계, 물리학, 화학이라는 세 가지 어려운 과학 분야에서 실험을 했습니다.

• 기존 방법들보다 정확도가 평균 12.3% 이상 향상되었습니다.
• 특히, 교과서를 참고하지 않고 AI 가 혼자 도구를 만들려고 시도한 방법들보다 훨씬 잘 작동했습니다.
• 비용도 기존 방법들보다 훨씬 저렴하고 빠릅니다.

5. 요약: 한 줄로 정리하면?

"REFTOOL 은 AI 에게 '내 기억'만 믿지 말고, '교과서'를 참고해서 문제를 풀기 위한 '실제 도구'를 직접 만들고 검증하게 함으로써, AI 가 모르는 분야에서도 전문가처럼 정확하게 문제를 해결하게 해주는 시스템입니다."

이 기술은 AI 가 단순히 지식을 암기하는 것을 넘어, 새로운 지식을 습득하여 즉시 적용하는 능력을 갖추게 하는 중요한 한 걸음입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 외부 도구를 활용하여 추론 능력을 향상시킬 수 있습니다. 그러나 많은 전문 분야 (과학, 공학 등) 의 작업에는 미리 정의된 도구가 존재하지 않습니다. 기존 연구들은 LLM 에게 문제 해결을 위해 스스로 도구를 생성하도록 지시하는 방법을 탐구해 왔으나, 이러한 접근법은 모델의 **내부 지식 (Internal Knowledge)**에 크게 의존합니다.

따라서 모델이 해당 분야의 전문 지식을 충분히 습득하지 못했거나, 매우 새로운 (Novel) 도메인에서 작업을 수행해야 할 경우, 모델은 적절한 도구를 생성하지 못하거나 오류를 범하는 한계가 있었습니다. 즉, 모델의 지식 범위를 벗어난 복잡한 지식 집약적 (Knowledge-intensive) 작업에서 기존 자동 도구 생성 방법은 실패할 가능성이 높습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 REFTOOL을 제안합니다. 이는 교과서, 지식 조각 (Knowledge snippets) 등 **외부 참조 자료 (Reference Materials)**를 활용하여 도구를 자동으로 생성하고 활용하는 프레임워크입니다. REFTOOL 은 크게 두 가지 모듈로 구성됩니다.

A. 도구 생성 모듈 (Tool Creation Module)

참조 자료를 바탕으로 실행 가능한 도구를 생성하고 검증하는 과정입니다.

1. 지식 조직화 (Knowledge Organization):
   • 참조 자료 (예: 교과서) 의 계층적 구조 (장 $\rightarrow$ 절) 를 그대로 따르거나, 비구조화된 자료의 경우 LLM 을 통해 계층 구조를 생성합니다.
   • 이를 통해 생성된 도구들을 체계적인 '도구상자 (Toolbox)'로 조직화합니다.
2. 초기 도구 생성 (Initial Tool Generation):
   • 각 참조 세그먼트 (예: 교과서의 특정 절) 를 기반으로 LLM 이 실행 가능한 Python 함수를 생성합니다.
   • 각 도구는 설명 (Description), 함수 코드 (Function), **사용 예시 (Example: 문제 - 해결 코드 - 정답)**로 구성됩니다.
3. 도구 검증 및 정제 (Tool Verification and Refinement):
   • 생성된 도구는 예시 문제를 실행하여 검증합니다.
   • 실행 오류가 발생하거나 예상 답과 다른 경우, 실패 정보를 LLM 에게 피드백하여 도구를 수정 (Refinement) 합니다.
   • 검증된 유효한 도구들만 최종 도구상자에 포함됩니다.

B. 도구 활용 모듈 (Tool Utilization Module)

생성된 도구상자를 사용하여 질문에 답하는 추론 과정입니다.

1. 계층적 도구 선택 (Hierarchical Tool Selection):
   • 단계 1 (범주 선택): 질문과 도구상자의 최상위 범주 (예: '추정', '물리 법칙') 를 비교하여 관련 범주를 선택합니다.
   • 단계 2 (도구 선택): 선택된 범주 내에서 구체적인 도구 (예: compute_ate_ipw) 를 선택합니다.
   • 이 계층적 접근은 단순한 유사도 기반 검색 (RAG) 보다 더 정밀한 지식 검색을 가능하게 합니다.
2. 해결책 생성 (Solution Generation):
   • 선택된 도구를 Program-of-Thoughts (PoT) 또는 ReAct 에이전트 방식의 추론 과정에 통합하여 최종 답을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 참조 기반 도구 생성 프레임워크: LLM 의 내부 지식 한계를 넘어, 외부 참조 자료 (교과서 등) 를 기반으로 정확하고 신뢰할 수 있는 도구를 자동 생성하는 새로운 패러다임을 제시했습니다.
2. 계층적 도구 조직화 및 선택: 생성된 도구들을 참조 자료의 구조와 유사한 계층적으로 조직화하고, 이를 단계적으로 선택하는 메커니즘을 통해 지식 검색의 효율성과 정확성을 높였습니다.
3. 비용 효율성과 확장성: 기존 방법들 (수동 도구 구축, 반복적인 시뮬레이션 등) 에 비해 시간과 계산 비용을 크게 절감하면서도 높은 성능을 달성했습니다. 또한, 생성된 도구는 데이터셋에 종속적이지 않아 동일한 도메인 내 다른 데이터셋에서도 재사용 가능합니다.

4. 실험 결과 (Results)

저자들은 인과성 (Causality), 물리학 (Physics), 화학 (Chemistry) 의 세 가지 지식 집약적 과학 도메인에서 REFTOOL 을 평가했습니다.

• 성능 향상:
  • 기존 도구 생성 방법 (LATM, Creator, TroVE 등) 대비 평균 **13.0%**의 정확도 향상.
  • 도메인 특화 추론 방법 (Physics Reasoner, ChemAgent 등) 대비 평균 **10.2%**의 정확도 향상.
  • 다양한 LLM (Llama-3.1-70B, Gemini-1.5-Pro, GPT-4, GPT-4o) 을 활용하여 일관된 성능 개선을 보임.
• 비용 효율성:
  • 도구 생성 및 추론 과정에서 기존 방법들 (예: ChemAgent) 에 비해 99% 까지 시간과 비용이 절감되었습니다. (예: 물리학 도메인에서 추론 시간 97% 단축).
• 일반화 능력 (Generalizability):
  • 데이터셋 간 전이: 한 데이터셋 (TheoremQA) 으로 생성된 도구를 다른 데이터셋 (SciBench-fund) 에 적용했을 때도 우수한 성능을 보였습니다.
  • 비과학적 도메인 적용: 매우 저자원 (XLR) 언어 번역 (Zhuang-Chinese) 작업에서도 비구조화된 문법 규칙을 계층적 도구로 변환하여 번역 성능 (BLEU 10.1% 향상) 을 크게 개선했습니다.
• 품질 평가: 인간 전문가에 의한 평가에서 생성된 도구의 90% 이상이 참조 자료에 충실하고 (Faithful), 기능이 정확하며 (Correct), 실제 문제 해결에 유용한 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

REFTOOL 은 LLM 이 가진 내부 지식의 한계를 외부의 권위 있는 참조 자료를 통해 극복할 수 있는 새로운 방향을 제시합니다.

• 지식 경계 확장: 모델이 학습하지 않은 새로운 전문 분야에서도 교과서나 매뉴얼만 있다면 즉시 실행 가능한 도구를 생성하여 복잡한 추론 작업을 수행할 수 있게 합니다.
• 실시간 문제 해결: 실시간으로 변화하는 지식이나 특정 도메인의 전문성을 요구하는 작업에 대해, 별도의 추가 학습 (Fine-tuning) 없이도 효율적으로 대응할 수 있는 확장 가능한 솔루션을 제공합니다.
• 신뢰성 있는 추론: 단순한 텍스트 검색이 아닌, 검증된 실행 가능한 코드 형태의 도구를 활용함으로써 모델의 환각 (Hallucination) 을 줄이고 정확한 계산 및 추론을 가능하게 합니다.

결론적으로, REFTOOL 은 LLM 이 지식 집약적 작업에서 더 이상 내부 지식에 의존하지 않고, 외부 자료를 기반으로 신뢰성 있고 일반화 가능한 추론 능력을 갖추도록 하는 중요한 진전입니다.