기술 요약: SKILLGRAPH

문제 제기

대형 언어 모델 (LLM) 에이전트는 웹 탐색 및 신체적 조작과 같은 복잡한 상호작용 작업에서 뛰어난 능력을 입증해 왔습니다. 그러나 현재 에이전트들은 작업을 고립된 에피소드로 취급하는 경향이 있어, 구조적으로 유사한 문제를 마주했을 때조차 과거의 성공이나 실패로부터 학습하지 못합니다. 기존 접근법들은 재사용 가능한 지식 단위를 저장하기 위해 기술 라이브러리를 활용하지만, 이러한 라이브러리들은 일반적으로 기술이 독립적인 항목으로 저장되고 의미적 유사성만을 기반으로 검색되는 평면적 컬렉션으로 기능합니다.

이러한 평면적 조직화는 구성적 (compositional) 작업에 있어 두 가지 치명적인 한계를 제시합니다:

1. 비구성적 검색: 복잡한 작업은 종종 특정 의존성을 가진 순차적인 기술 시퀀스 (예: 물체를 놓기 전에 가열하기) 를 요구합니다. 평면적 검색기는 관련 기술을 식별할 수는 있지만, 실행 순서나 전제 조건 관계를 나타내지는 못합니다.
2. 비구조적 유지 관리: 명시적인 구조적 단서가 없으면, 평면적 라이브러리는 기술들을 언제 병합, 분할 또는 제거해야 하는지 판단할 메커니즘이 부족하여 중복성을 관리하거나 에이전트의 개선된 정책과 함께 라이브러리를 진화시키기 어렵습니다.

방법론: SKILLGRAPH

저자들은 재사용 가능한 기술을 구조화된 방향성 의존성 그래프로 조직화하고, 강화 학습 (RL) 을 통해 이 그래프를 에이전트의 정책과 공진화시키는 SKILLGRAPH 프레임워크를 제안합니다. 이 프레임워크는 세 가지 주요 단계를 포함하는 폐쇄 루프 방식으로 작동합니다:

1. 그래프 구축

시스템은 성공 및 실패한 에이전트 궤적로부터 교사 언어 모델을 사용하여 기술을 추출합니다.

• 노드: 일반적 (도메인 독립적 전략) 또는 작업 특정적으로 분류된 기술을 나타냅니다. 각 노드는 사용 횟수와 경험적 성공률을 추적합니다.
• 엣지: 기술 간의 관계를 명시적으로 모델링하는 타입별 엣지:
  • 전제 조건 ($A \to B$): 기술 $A$는 $B$ 적용 전에 수행되어야 합니다.
  • 강화 ($A \to B$): 일반적 기술이 작업 특정적 기술의 효과성을 향상시킵니다.
  • 동시 발생 ($A \leftrightarrow B$): 성공적인 에피소드에서 빈번하게 함께 나타나는 기술들입니다.
• 레벨: 노드는 의존성 계층 구조에 따라 위상적 레벨이 할당됩니다 (전제 조건이 없는 기초 기술은 레벨 0).

2. 그래프 인식 검색

고립된 기술 집합을 검색하는 대신, 시스템은 다단계 의사 결정을 안내하기 위해 의존성 순서가 지정된 서브그래프를 검색합니다.

• 시드 선택: 현재 "해제된" 활성 집합에서 작업 관련 진입점 (일반 기술 및 작업 매칭 기술) 을 식별합니다.
• 그래프 확장:
  • 후방 확장: 진입 전제 조건 엣지를 따라 기초 기술을 복구하기 위해 역방향으로 탐색합니다.
  • 전방 확장: 빔 서치를 사용하여 나가는 엣지를 탐색하며, 높은 엣지 가중치를 가진 경로를 우선시합니다.
• 위상적 정렬: 검색된 노드는 위상적으로 정렬되어 하위 작업의 논리적 흐름 (단순에서 복잡) 을 반영하는 일관된 기술 시퀀스를 생성합니다.

3. 그래프 진화

기술 그래프는 에이전트의 성장하는 역량을 반영하여 라이브러리가 적응하도록 궤적 수준의 피드백에 기반하여 훈련 중 동적으로 업데이트됩니다.

• 노드 수준 적응:
  • 삽입: 궤적에서 식별된 특정 실패 모드를 해결하기 위해 새로운 기술을 생성합니다.
  • 병합: 높은 이웃 중복성을 가진 중복 기술을 결합합니다.
  • 분할: 높은 사용률에도 불구하고 중간 정도의 성공률을 보이는 지나치게 광범위한 기술을 분해합니다.
  • 폐기: 빈번히 검색되지만 일관되게 실패하는 기술을 제거합니다.
• 엣지 수준 적응:
  • 강화: 성공적인 궤적에서 탐색된 엣지의 가중치를 증가시킵니다.
  • 발견: 기술들이 성공 시 함께 나타날 때 새로운 동시 발생 엣지를 추가합니다.
  • 감쇠 및 가지치기: 엣지 가중치에 곱셈 감쇠를 적용하고 약한 엣지를 제거하여 노화된 관계를 방지합니다.
• 점진적 해제: 현재 기초 레벨의 평균 성공률이 임계값을 초과할 때만 상위 레벨 기술이 활성화되는 커리큘럼을 구현합니다.

정책 최적화

에이전트 정책은 GRPO(Group Relative Policy Optimization) 를 사용하여 최적화됩니다. 정책은 작업 설명과 검색된 순서화된 기술 시퀀스에 조건부입니다. 시스템은 감독 미세 조정 (SFT) 을 통해 초기화된 참조 정책에 KL 패널티가 고정된 클리핑된 대리 목적 함수를 최소화합니다.

주요 기여

1. 그래프 구조화된 기술 공식화: 이 논문은 기술들이 전제 조건, 강화, 동시 발생 관계로 연결된 새로운 공식을 도입하여 평면적 의미 검색을 넘어섭니다.
2. SKILLGRAPH 프레임워크: RL 훈련 중 의존성 인식 기술 검색 및 구조화된 기술 업데이트 (삽입, 병합, 분할) 를 가능하게 하는 폐쇄 루프 시스템입니다.
3. 실증적 검증: 평면적 메모리 강화 RL 방법과 비교하여 복잡한 다단계 작업에서 샘플 효율성과 성능을 향상시킨 구조화된 기술 그래프에 대한 광범위한 실험을 입증합니다.

실험 결과

이 프레임워크는 ALFWorld(신체적 조작), WebShop(웹 탐색), 그리고 일곱 개의 검색 증강 QA 벤치마크에서 평가되었습니다.

• ALFWorld 및 WebShop: SKILLGRAPH는 최첨단 성능을 달성하여 폐쇄형 LLM(예: GPT-4o, Gemini-2.5-Pro) 및 프롬프트 기반/메모리 강화 베이스라인을 크게 능가했습니다. 특히 WebShop에서 가장 강력한 이전 방법인 SkillRL 보다 11.7 포인트 더 높은 성과를 거두었습니다. 이러한 이득은 "청소" 및 "가열"과 같은 ALFWorld 의 엄격한 순서가 필요한 하위 작업에서 가장 두드러졌습니다.
• 검색 증강 QA: NQ 및 HotpotQA 에서 훈련된 SKILLGRAPH 는 다섯 개의 보지 못한 데이터셋 (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle) 으로 제로샷 일반화를 달성하여 모든 베이스라인 중 가장 높은 평균 성능 (48.9) 을 기록했습니다.
• 절차 제거 연구: 그래프 인식 검색을 제거하면 ALFWorld 에서 가장 큰 성능 저하 (-31.2%) 가 발생하여 순서화된 기술 시퀀스의 필요성을 확인시켰습니다. 그래프 진화를 제거하면 WebShop 에서 가장 큰 영향 (-14.1%) 을 미쳐, 동적으로 정제되는 기술 집합의 가치를 강조했습니다.
• 효율성: 그래프 유도 검색은 평면적 검색에 비해 더 짧은 프롬프트 길이를 유지하여 추론 비용과 신호 대 잡음비를 개선했습니다.

중요성 및 주장

이 논문은 SKILLGRAPH 가 의존성 인식 검색을 통한 구성적 계획과 구조화된 업데이트를 통한 원칙적 진화를 가능하게 함으로써 평면적 기술 라이브러리의 핵심 한계를 해결한다고 주장합니다. 저자들은 기술 간 관계를 명시적으로 모델링함으로써 에이전트가 다음을 수행할 수 있다고 주장합니다:

• 단순한 작업에서 더 복잡한 작업으로 구성적 지식을 이전합니다.
• 구조화된 안내를 제공하여 중복 탐색을 줄입니다.
• 상호 강화 루프에서 기술 라이브러리와 에이전트 정책을 지속적으로 정제합니다.

이 연구는 가정 보조 및 정보 검색과 같은 분야에서 샘플 효율성과 신뢰성을 향상시키기 위해 경험으로부터 구조화된 지식을 축적할 수 있는 에이전트로의 한 걸음으로 자리매김합니다. 저자들은 그래프 작업에 강력한 교사 모델에 대한 의존성과 단일 환경 훈련에 국한된 현재의 한계를 인정하며, 향후 방향으로서 환경 간 전이와 경량 자기 증류를 제안합니다.