RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning

기술 요약: RIMRULE – MDL 기반 규칙 학습을 통한 도구 사용 언어 에이전트의 성능 향상

1. 문제 정의

대규모 언어 모델(LLM)은 API가 독특하거나, 문서화가 미흡하거나, 혹은 프라이빗한 워크플로우에 맞춰 설계된 도메인 특화 환경에서 도구를 안정적으로 활용하는 데 빈번히 어려움을 겪습니다. 기존의 적응 패러다임인 퓨샷 프롬프팅(few-shot prompting), 글로벌 프롬프트 최적화(global prompt optimization), 그리고 파인튜닝(fine-tuning)은 다음과 같은 중대한 한계를 가집니다:

• 퓨샷 프롬프팅은 근본적인 패턴을 추상화하지 않고 가공되지 않은 예시를 재사용하므로, 종종 얕은 수준의 패턴 추출에 그칩니다.
• 글로벌 프롬프트는 정적이며 인터랙티브한 환경에서 취약합니다.
• 파인튜닝은 계산 비용이 많이 들고, 환경이 변할 때마다 재학습이 필요하며, 서로 다른 모델 아키텍처 간에 습득된 지식을 쉽게 공유하는 것을 방해합니다.

따라서 인간의 학습 과정을 모방하여, 시행착오를 거치며 경험을 재사용 가능하고 해석 가능한 휴리스틱으로 압축하여, 모델의 가중치를 수정하지 않고도 다양한 태스크와 모델에 걸쳐 일반화될 수 있는 적응 방법이 필요합니다.

2. 방법론: RIMRULE

저자들은 RIMRULE(Reusable, Interpretable, and MDL-guided Rules)을 제안합니다. 이는 실패 궤적(failure traces)으로부터 압축된 규칙을 추출하여 추론 시 동적으로 주입함으로써 LLM 에이전트를 적응시키는 뉴로-심볼릭(neuro-symbolic) 프레임워크입니다. 이 프레임워크는 두 가지 뚜렷한 단계로 작동합니다.

1단계: 로컬 규칙 생성 (Local Rule Generation)

1. 경험 수집: 제로샷 LLM 에이전트가 훈련 세트에서 태스크를 수행합니다. 도구 호출 오류로 인해 잘못된 답을 내거나 조기에 종료된 실행 궤적은 "실패 궤적"으로 유지됩니다.
2. EBL을 통한 규칙 유도: 설명 기반 학습(Explanation-Based Learning, EBL)을 사용하여, 시스템은 실패 궤적($\tau^-$)과 그에 대응하는 정답 궤적($\tau^*$)을 비교하여 오류의 근본 원인(예: 분해, 도구 선택 또는 인자 구성)을 식별합니다. LLM은 유사한 오류를 교정하기 위한 압축된 자연어 규칙을 제안합니다.
3. 필터링: 제안된 규칙은 예측 검사(특정 쿼리에 대해 성능을 개선하는지 확인)와 언어 검사(깨끗한 if-then 형태 강제)를 거칩니다.
4. 심볼릭 변환: 구조적 일치와 일관된 복잡도 측정을 보장하기 위해, 자연어 규칙은 Domain, Qualifier, Action, Strength, ToolCategory라는 고정된 필드를 가진 심볼릭 표현으로 컴파일됩니다. 이를 통해 결정론적이고 감사 가능한 규칙 세트가 생성됩니다.

2단계: MDL 가이드 통합 (MDL-Guided Consolidation)

초기 규칙 세트는 종종 중복되거나 지나치게 구체적인 규칙을 포함할 수 있습니다. RIMRULE은 최소 기술 길이(Minimum Description Length, MDL) 원칙을 사용하여 규칙의 복잡도와 경험적 효과 사이의 균합을 맞춤으로써 이 세트를 통합합니다.

• 목적: $MDL(H) = L(H) + L(D | H)$를 최소화합니다. 여기서$L(H)$는 모델 비용(규칙 복잡도/토큰 길이에 대한 페널티)이고,$L(D | H)$는 데이터 비용(규칙이 관찰된 실패를 얼마나 잘 교정하는지 측정)입니다.
• 탐욕적 통합 (Greedy Consolidation): 전체 규칙 풀에서 시작하여, 시스템은 중복된 규칙을 제거하거나 도구 특정적 규칙을 카테고리 수준의 규칙으로 일반화하는 로컬 편집을 반복적으로 적용합니다. 편집은 모델 비용의 감소가 데이터 비용의 증가보다 클 때만 수용됩니다.
• 결과: 잘 일반화되는 압축되고 유용성이 높은 규칙 라이브러리가 생성됩니다.

추론 시 검색 (Inference-Time Retrieval)

추론 시 모든 규칙을 주입하는 것은 비효율적입니다. RIMRULE은 심볼릭 기반 검색 메커니즘을 채택합니다.

1. 현재 쿼리와 도구 컨텍스트가 심볼릭 표현으로 변환됩니다.
2. 코스 필터(coarse filter)가 도구 범위에 따라 부적절한 규칙을 제거합니다.
3. 남은 규칙들은 심볼릭 필드와 쿼리의 심볼릭 필드 간의 의미적 유사도에 따라 순위가 매겨집니다.
4. 상위-$k$개의 관련 규칙이 검색되어 자연어로 다시 변환된 후 프롬프트에 주입됩니다.

3. 주요 기여

• 새로운 적응 패러다임: RIMRULE은 단순한 예시 재생(few-shot)이나 가중치 수정(fine-tuning) 대신 추상화와 압축을 강조하는 새로운 LLM 적응 방식을 도입합니다.
• MDL 가이드 규칙 통합: MDL을 사용하여 규칙을 가지치기하고 일반화하는 것이 프롬프트 기반 휴리스틱보다 더 압축적이고 효과적인 규칙 세트를 생성함을 입증했습니다.
• 교차 아키텍처 이식성: 이 방법은 하나의 LLM(예: 더 약한 모델)에서 추출된 심볼릭하고 인간이 읽을 수 있는 규칙을 생성하며, 이를 재학训练 없이 다른 모델(강력한 추론 모델 포함)을 개선하는 데 사용할 수 있습니다.
• 이중 표현: 규칙을 자연어와 구조화된 심볼릭 형태 모두로 저장함으로써, 시스템은 효율적인 검색과 원칙적인 복잡도 측정을 지원합니다.

4. 실험 결과

이 방법은 두 가지 도구 사용 벤치마크인 ToolHop(구성적, 멀티 턴)과 BFCL(단일 단계, 다양한 도구)에서 평가되었습니다.

• 성능 향상: RIMRULE은 인-디스트리뷰션(test-rand) 및 아웃-오브-디스트리뷰션(test-unseen) 분할 모두에서 일관되게 정확도를 향상시켰습니다. 예를 들어, ToolHop의 경우 규칙 생성 및 통합 후 정확도가 26.5%(제로샷)에서 31.1%로 증가했습니다.
• 베이스라인과의 비교: RIMRULE은 모든 데이터셋에서 퓨샷 프롬프팅, 프롬프트 최적화(SEE), 표준 ReAct 프롬프팅보다 우수한 성능을 보였습니다.
• 파인튜닝과의 상호 보완성: SFT(Supervised Fine-Tuning) 모델 및 네이티브 함수 호출 기능을 갖춘 모델에 RIMRULE을 추가했을 때 추가적인 성능 향상이 나타났으며, 이는 규칙 기반 적응이 가중치 기반 적응과 직교하는 축에서 작동함을 나타냅니다.
• 전이 가능성: Llama3.2에서 추출된 규칙은 GPT-4o, Llama4, O1의 성능을 향상시켰습니다. 반대로 GPT-4o에서 추출된 규칙은 Llama3.2를 향상시켰으며, 이는 양방향 전이 가능성을 입증합니다.
• 샘플 효율성: 저자원 설정(90개의 훈련 샘플)에서, 이 방법은 단 4개의 규칙만을 학습했지만 상당한 정확도 향상(예: BFCL 미학습 태스크에서 46.0%에서 60.0%로 증가)을 달しまいました.
• 절제 연구 (Ablation Studies): 심볼릭 검색이 자연어 기반 검색보다 성능이 훨씬 뛰어났으며, MDL 가이드 통합이 프롬프트 기반 병합보다 우수함을 확인하여 두 구성 요소의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 RIMRULE을 모듈식이고 해석 가능한 LLM 적응을 향한 실질적인 경로로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

1. 해석 가능성: 블랙박스 형태의 가중치 업데이트와 달리, RIMRULE은 에이전트가 왜 실패했는지와 어떻게 수정해야 하는지를 설명하는 명시적이고 인간이 읽을 수 있는 규칙을 생성합니다.
2. 재사용성: 지식 습득을 모델 훈련과 분리하여, 재학습 없이도 서로 다른 LLM 아키텍처 간에 지식을 공유할 수 있게 합니다.
3. 일반화: 실패 패턴을 추상적인 규칙으로 압축함으로써, 훈련 중에 본 적 없는 도구와 쿼리에 대한 성능을 개선합니다.

저자들은 훈련 중에 실패 신호에 접근해야 하며, 전역 최적성을 보장하지 않는 탐욕적(greedy) 통합 절차에 의존한다는 점을 언급하며 한계를 인정했습니다. 또한 학습된 규칙이 의도된 범위를 벗어나 적용될 경우 과도하게 일반화될 수 있다고 경고했으나, 규칙의 해석 가능성을 통해 감사 및 수정이 가능함을 명시했습니다.