🤖 AI

HiSkill: Empowering LLM Agents with Hierarchical Skill Graphs

이 논문은 상위 수준의 기술과 실행 가능한 행동을 연결하는 구조화된 그래프로 상호작용 궤적을 구성하여, LLM 에이전트가 작업 관련 서브그래프를 효율적으로 검색하고 가이드된 실행을 수행할 수 있게 함으로써 기존 방식보다 뛰어난 성능을 보이면서도 토큰 소비를 줄이는 계층적 기술 그래프 프레임워크인 HiSkill을 소개한다.

원저자: Yu Hao, Jinxuan Cai, Qi Zhang, Yawen Li, Zhiqiang Zhang, Chuan Shi, Cheng Yang

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Hao, Jinxuan Cai, Qi Zhang, Yawen Li, Zhiqiang Zhang, Chuan Shi, Cheng Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 거대하고 지저분한 집 안에서 특정 장난감을 찾기 위해 이동하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 양말을 줍거나 불을 켜는 것과 같은 일을 할 때마다 매번 길고 새로운 지시 설명서를 주고 싶지 않을 것입니다. 대신, 당신은 로봇이 이전에 배웠던 "서랍 여는 법"이나 "컵을 옮기는 법"과 같은 "기술(skills)"을 기억하기를 원합니다. 이것이 바로 거대 언어 모델(LLM) 에이전트의 세계입니다. LLM 에이전트는 대화하고 생각할 수 있지만, 실제 세상(또는 디지털 시뮬레이션)에서 실제로 무언가를 '수행'하는 법을 배워야 하는 AI 시스템입니다.

오랫동안 과학자들은 로봇에게 그들이 했던 일들의 일기장처럼 과거의 경험 목록을 제공함으로써 로봇을 돕고자 노력해 왔습니다. 하지만 문제가 있습니다. 이러한 일기장은 종종 길고 평면적인 텍ка스트 목록에 불과하다는 점입니다. 이는 마치 모든 책이 단 한 문장으로만 이루어진 도서관과 같습니다. 만약 로봇이 "샌드위치 만들기"를 알고 싶다면, "샌드위치 만들기"라는 문장은 찾을 수 있겠지만, 그 단계들을 알지는 못할 것입니다. 즉, 빵을 가져오고, 버터를 가져오고, 버터를 바르고, 빵을 합치는 과정 말입니다. 또한 로봇은 빵을 떨어뜨렸을 때 무엇을 해야 할지도 모릅니다. 로봇은 큰 아이디어는 가지고 있지만, 아주 작고 구체적인 단계들과 실수를 바로잡기 위한 백업 계획이 부족하기 때문에 막히게 됩니다. 이 논문은 질문합니다. 로봇이 혼란에 빠지지 않고 복잡한 문제를 해결할 수 있도록 우리는 어떻게 이 기억들을 조직할 수 있을까요?

여기에 로봇의 뇌를 위한 마스터 설계자 역할을 하는 새로운 방법인 HiSkill이 등장합니다. HiSkill은 평면적인 기억 목록 대신, **계층적 기술 그래프(hierarchical skill graph)**를 구축합니다. 이 그래프를 로봇의 마음속에 있는 거대하고 상호작용 가능한 지하철 노선도라고 생각해 보세요.

이 지도에는 두 가지 주요 유형의 역이 있습니다. 크고 화려한 역은 **"기술 노드(Skill Nodes)"**입니다. 이들은 "주방 청소하기"나 "빨간 공 찾기"와 같은 높은 수준의 목표들입니다. 하지만 지하철 노선도의 역은 그곳에 가기 위해 어떤 열차를 타야 하는지 모른다면 유용하지 않습니다. 바로 거기에서 더 작은 역들이 등장합니다. **"원자적 동작 노드(AtomicOp Nodes)"**입니다. 이들은 "스펀지 잡기", "수도꼭지 틀기", "조리대 닦기"와 같이 아주 작고 구체적인 행동들입니다.

HiSkill의 마법은 이 역들을 연결하는 방식에 있습니다. 단순히 "주방 청소"에서 "스펀지 잡기"로 선을 긋는 것이 아닙니다. 그것은 조각들이 어떻게 서로 맞물리는지를 정확히 알려주는 다양한 유형의 선(에지, edges)을 그립니다.

**분해 선(Decomposition lines)**은 "주방 청소"가 특정한 일련의 작은 행동들로 구성되어 있음을 보여줍니다.
**전이 선(Transition lines)**은 "스펀지를 잡은" 후에는 보통 "수도꼭지를 틀 수 있음"을 보여줍니다.
**회복 선(Recovery lines)**은 비상구와 같습니다. 만약 로봇이 스펀지를 떨어뜨린다면, 이 선들은 다시 궤도에 오르기 위한 "스펀지 줍기" 동작을 가리킵니다.
**지원 선(Support lines)**은 어떤 기술을 시작하기 전에 필요한 추가적인 도구나 단계가 무엇인지 보여줍니다.

로봇에게 새로운 작업이 주어졌을 때, HiSkill은 자신의 뇌 전체(전체 그래프)를 로봇의 메모리에 쏟아붓지 않습니다! 그것은 너무 많은 정보이기 때문입니다! 대신, 그것은 스마트한 GPS처럼 작동합니다. 작업 내용을 살펴보고, 관련 있는 "기술 역"을 찾은 다음, 그 특정 여정에 필요한 아주 작고 압축된 지도(서브그래프, subgraph)만을 뽑아옵니다. 이는 큰 목표를 작은 단계 및 백업 계획과 함께 하나의 깔끔한 패키지로 연결합니다.

이 논문은 세 가지 서로 다른 디지털 세계에서 이 아이디어를 테스트했습니다: 로봇이 물체를 옮겨야 하는 집(ALFWorld), 물건을 쇼핑해야 하는 웹사이트(WebShop), 그리고 실험을 수행해야 하는 과학 실험실(ScienceWorld)입니다. 결과는 인상적이었습니다. HiSkill 로봇은 다른 방법들보다 더 많은 작업을 해결했을 뿐만 아니라, 훨씬 더 빠르게, 그리고 훨씬 적은 "생각"만으로 과제를 완수했습니다. 실제로, 이 로봇은 기존의 가장 강력한 방법과 비교했을 때 업무를 완수하기 위해 **78.75% 더 적은 단어(토큰)**를 사용했습니다. 이는 기억을 큰 아이디어와 작은 행동 사이의 명확한 연결을 가진 구조화된 지도로 조직함으로써, 로봇이 훨씬 더 효율적이고 신뢰할 수 있게 된다는 것을 시사합니다.

저자들은 또한 지도를 망가뜨리면 어떻게 되는지 확인했습니다. 만약 작은 동작 역(AtomicOps)들을 제거한다면, 로봇은 큰 아이디어만 가질 뿐 길을 잃게 됩니다. 만약 실수로부터 회복하는 방법을 보여주는 특별한 선(에지)들을 제거한다면, 로봇은 상황이 잘못되었을 때 포기해 버립니다. 이는 구조 자체, 즉 큰 기술과 작은 행동들이 연결되는 방식이 핵심 비결임을 증명합니다.

요약하자면, HiSkill은 AI 에이전트가 진정으로 도움이 되기 위해서 단순히 메모 더미를 주는 것이 아니라, 무엇을 해야 하는지뿐만 아니라 단계별로 어떻게 해야 하는지, 그리고 일이 잘못되었을 때 어떻게 해야 하는지까지 보여주는 잘 정리되고 연결된 지도를 주어야 한다고 제안합니다. 이것은 누군가에게 단어 목록을 건네주는 것과 완전히 삽화가 그려진 상호작용 가능한 가이드북을 건네주는 것의 차이입니다.

기술 요약: HiSkill – 계층적 스킬 그래프를 통한 LLM 에이전트 역량 강화

문제 정의

대규모 언가언어모델(LLM) 에이전트는 장기적인 상호작용 과제를 효율적으로 해결하기 위해 과거의 경험을 재사용할 수 있는 능력이 필요합니다. "스킬(skill)"은 이러한 재사용 가능한 경험을 조직화하기 위한 핵심 추상화 개념으로 부상했으나, 기존의 궤적-스킬 변환 방식은 두 가지 주요 한계점을 가집니다:

거친 입도(Coarse-Grained)의 가이드: 대부분의 방법론은 궤적을 고수준의 텍스트 설명들의 평면적인 집합으로 증류합니다. 이러한 설명은 추상적인 전략과 구체적인 실행 동작(예: 특정 인자 및 타이밍) 사이의 간극을 메우는 데 필요한 세밀함이 부족하여, LLM이 충분한 근거 없이 실행 세부 사항을 스스로 추론하게 만듭니다.
관계 활용 미흡: 기존 접근 방식은 일반적으로 스킬을 독립적인 단위로 취급하며, 스킬 간의 다양한 절차적 관계(예: 분해, 시간적 전이, 호환성, 복구 메커니즘 등)나 공유된 행동 패턴을 포착하지 못합니다. 결과적으로, 검색 과정에서 중요한 실행 의존성을 놓치게 됩니다.

방법론: HiSkill 프레임워크

HiSkill은 상호작용 궤적을 구조화된 유향 그래프로 조직하여 과제 실행을 돕는 계층적 스킬 그래프(Hierarchical Skill Graph) 프레임워크를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다:

1. 계층적 스킬 그래프 구축

시스템은 성공( $T^+$ ) 및 실패( $T^-$ ) 집합으로 구분된 과거 상호작용 궤적으로부터 유향 그래프 $G = (V, E)$ 를 구축합니다.

노드(Nodes):
- AtomicOp 노드 ( $V_O$ ): 원시 동작을 정형화(task-specific 엔티티를 플레이스홀더로 대체)하여 도출한 실행 가능한 액션 템플릿입니다.
- 스킬 노드 ( $V_S$ ): 정형화된 메타데이터(적용 가능 상태, 예상되는 변화, 실패 힌트 등)가 풍부하게 포함된, 순서가 있는 AtomicOp 노드 시퀀스로 구성된 재사용 가능한 절차적 추상화입니다.
유형화된 엣지 (Typed Edges, $E$ ): 그래프는 궤적 통계와 상태 호환성으로부터 유도된 다섯 가지 특정 관계 유형을 인코딩합니다:
- decomposes to: 스킬을 그 구성 요소인 AtomicOps에 연결합니다.
- can follow: 스킬 또는 AtomicOps 간의 방향성 있는 시간적 연속성을 포착합니다.
- compatible with: 호환 가능한 전/후 상태와 빈번하게 공존하는 스킬들을 연결합니다.
- supports: 스킬에 필요한 전제 조건을 충족시키는 보조적인 AtomicOps를 연결합니다.
- recovers with: 실패 패턴으로부터 추론된, 실패하거나 중단된 노드에 대한 복구 동작/스킬을 연결합니다.

2. 과제 관련 스킬 서브그래프 검색

HiSkill은 전체 그래프를 사용하는 대신, 주어진 과제 쿼리 $q$ 에 대해 압축되고 과제와 관련된 서브그래프 $G_q$ 를 검색합니다:

시드 노드 검색: 밀집 의미론적 유사성(dense semantic similarity)과 희소 어휘 매칭(BM25)을 결합한 하이브리드 전략을 사용하여 상위 $K$ 개의 관련 스킬 및 AtomicOp 시드 노드를 식별합니다.
그래프 하이드레이션(Graph Hydration): 시드 세트를 특정 엣지 유형(예: AtomicOps를 얻기 위한 decomposes to 엣지 추적, 또는 후속 스킬을 얻기 위한 can follow 엣지 추적)을 따라 1-홉 탐색을 통해 확장하여 완전한 실행 컨텍스트를 형성합니다.

3. 서브그래프 가이드 과제 실행

추론 시, 에이전트는 기호적 과제 상태(symbolic task state, $z_t$ )와 활성 스킬(active skill, $s_t$ )을 모니터링하며 반복적으로 과제를 수행합니다:

상태 관리: 과제 상태는 진행 상황, 보유 객체, 위치를 추적하며 각 동작 후에 업데이트됩니다.
스킬 전환: 현재 스킬이 완료되었을 때(can follow/compatible with 엣지 사용) 또는 실행이 중단되었을 때(recovers with 엣지 사용) 활성 스킬을 전환합니다.
AtomicOp 선택: 활성 스킬 내에서 아직 실행되지 않은 다음 AtomicOp를 선택합니다. 만약 전제 조건이 누락되었다면 supports AtomicOp를 선택하고, 막혔다면 recovers with AtomicOp를 선택합니다.
액션 그라운딩(Action Grounding): 선택된 타겟(AtomicOp 또는 LLM 생성 동작)은 현재 관측값 및 상태를 기반으로 구체적인 실행 가능 동작으로 그라운딩되며, 이는 다음 단계를 위한 과제 상태를 업데이트합니다.

주요 기여

계층적 그래프 프레임워크: 상호작용 궤적을 스킬 노드, AtomicOp 노드, 유형화된 엣지를 포함하는 유향 그래프로 변환하는 새로운 방법론을 제시하며, 이를 통해 고수준 스킬 추상화와 실행 가능한 액션 템플릿 사이의 간극을 효과적으로 메웁니다.
실행 파이프라인: 계층적 스킬 그래프 구축, 과제 관련 서브그래프 검색, 그리고 런타임 상태에 따라 스킬을 동적으로 전환하고 동작을 선택하는 서브그래프 가이드 과제 실행을 수행하는 완전한 파이프라인을 제공합니다.
경험적 우월성: ALFWorld, WebShop, ScienceWorld의 세 가지 상호작용 환경에 대한 종합적인 평가를 통해, 최신 기술(SOTA) 베이스라인 대비 성공률의 유의미한 향상과 추론 토큰 소비의 대폭적인 감소를 입증했습니다.

실험 결과

본 논문은 Gemini-2.5-Pro 및 GPT-5.2-Codex를 사용하여 프롬프트 기반(ReAct, Reflexion), 메모리 기반(ExpeL, Mem0, MemP), 스킬 기반(Vector Skills, SkillNet, GoS) 베이스라인과 HiSkill을 비교 평가합니다.

성능: HiSkill은 모든 데이터셋에서 최고의 전반적인 성능을 달elle합니다. 가장 강력한 베이스라인들과 비교했을 때, 성공률에서 평균 17.33%, 점수에서 22.95%의 상대적 개선을 보여주었습니다. ALFWorld의 경우 6개 서브태스크 중 5개에서 최고 또는 공동 최고 결과를 달성했습니다.
효율성: HiSkill은 추론 토큰 소비를 크게 줄입니다. 각 설정에서 가장 낮은 토큰을 사용한 베이스라인과 비교했을 때, 토큰 사용량을 ALFWorld에서 61.10%, WebShop에서 94.12%, ScienceWorld에서 66.76% 감소시켰습니다.
절제 연구(Ablation Studies): 주요 구성 요소(AtomicOp 노드, 유형화된 엣지, 지원/복구 메커니즘 또는 과제 상태)를 제거하면 성능 저하가 발생하며, 이는 계층적 구조와 런타임 메커니즘이 정밀한 실행 및 실패 처리에 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 HiSkill이 구조화된 계층적 경험 표현을 도입함으로써 고수준 스킬 설명과 실행 가능한 동작 사이의 결정적인 간극을 해결한다고 주장합니다. 스킬을 유형화된 관계를 가진 그래프로 조직함으로써, 이 방법은 LLM 에이전트가 다음과 같은 능력을 갖추게 합니다:

길고 구조화되지 않은 컨텍스트 윈도우에 의존하지 않고 과거의 경험을 더 효과적으로 재사용할 수 있습니다.
명시적인 복구 및 지원 경로를 통해 실행 실패에 동적으로 적응할 수 있습니다.
추상적인 절차적 지식을 줄어든 토큰 소비와 함께 구체적이고 실행 가능한 단계로 그라운딩할 수 있습니다.

저자들은 스킬 기반 에이전트의 병목 현상이 이제 스킬의 가용성에서 **스킬 오케스트레이션(skill orchestration)**으로 이동했다고 상정하며, HiSkill의 구조적 접근 방식이 장기적인 상호작용 과제에 대해 더 효율적이고 견고한 솔루션을 제공한다고 주장합니다. 향-후 연구로는 온라인 스킬 그래프 진화 및 적응형 정교화에 대한 탐구를 제안합니다.