기술 요약: SkillDAG

1. 문제 정의

LLM(대규모 언어 모델) 에이전트가 광범위한 외부 스킬 라이브러리를 채택함에 따라, 병목 현상은 스킬 저작(authoring)에서 **스킬 선택(selection)**으로 이동하고 있습니다. 라이브러리가 수천 개의 항목으로 확장될 때, 전통적인 검색 방식은 스킬 간의 복잡한 구조적 관계를 포착하는 데 실패합니다.

• 평면적 검색(Flat Retrieval)의 한계: 표준 접근 방식(예: top-$K$ 코사인 유사도 또는 BM25)은 스킬을 독립적인 벡터로 취급합니다. 이는 구조적으로 필수적인 전제 조건이 누락되거나, 중복되거나 간섭을 일으키는 스킬이 선택되거나, 시너지 효과를 내는 쌍을 놓치는 "침묵하는 실패(silent failures)"로 이어집니다.
• 정적 그래프(Static Graph)의 한계: *Graph of Skills (GoS)*와 같은 기존 연구는 스킬 간의 관계를 모델링하지만, 고정된 오프라인 검색 파이프라인(예: 개인화된 페이지랭크)에 의존합니다. 그 결과 생성된 스킬 번들은 에이전트에게 불투명합니다. 즉, LLM은 그래프 구조를 쿼리하거나, 왜 특정 스킬이 선택되었는지 추론하거나, 노이즈가 섞인 검색 결과를 철회하거나, 실행 중에 발견된 새로운 관계를 기록할 수 없습니다.

핵심 문제는 현재의 시스템들이 라이브러리의 관계적 구조를 에이전트로부터 숨김으로써, 에이전트가 추론 과정에서 정보에 입각한 구조적 결정을 내리는 것을 방해한다는 점입니다.

2. 방법론: SkillDAG

SkillDAG은 근본적인 역전을 제안합니다. 그래프를 고정된 랭킹 알고리즘 내부의 요소로 두는 대신, **타입이 지정된 스킬 관계 그래프(typed skill relation graph)**를 에이전트 호출 가능한 구조적 검색 인터페이스로 노출합니다. 그래프는 실행 중에 LLM에 의해 쿼리되고, 검사되며, 진화됩니다.

2.1. 타입 지정 스킬 관계 그래프

스킬 라이브러리는 다섯 가지 운영 유형 중 하나가 할당된 유향 그래프 $G = (V, E, \tau)$로 모델링됩니다:

1. depends_on: 스킬 $A$는 전제 조건 $B$를 필요로 함.
2. specializes: 스킬 $D$는 $A$의 더 좁고 선호되는 변형임.
3. composes_with: 스킬 $A$와 $B$는 시너지 효과를 내는 공동 사용 관계임.
4. similar_to: 기능적 중복; 에이전트는 둘 중 하나만 선택해야 함.
5. conflicts_with: 스킬 $A$와 $B$는 함께 선택되어서는 안 됨 (가지치기 신호).

핵심 설계 결정: conflicts_with는 에이전트가 명시적으로 피하도록 지시받은 방향으로 탐색하는 것을 방지하기 위해, 트래버설(traversal) 엣지가 아닌 가지치기(pruning) 신호로 취급됩니다. 백본(depends_on, specializes)은 순환이 없는 구조(acyclic)로 제한됩니다.

2.2. 에이전트 호출 가능 인터페이스

에이전트는 단일 랭킹 번들이 아닌 세 가지 뚜렷한 증거 채널을 반환하는 search 함수를 통해 그래프와 상호작용합니다:

• Matches (매치): 쿼리 노드 임베딩 유사도에 기반한 상위-$K$ 스킬.
• Neighbors (이웃): 네 가지 "긍정적" 엣지 유형(depends_on, specializes, composes_with, similar_to)을 통한 제한된 BFS 탐색(깊이 $D$)으로 도달하는 스킬들.
• Conflicts (충돌): 매치된 항목에 인접한 one-hop conflicts_with 엣지.

이러한 분해를 통해 에이전트는 타이트한 컨텍스트 예산 하에서 특정 필드를 제외하거나, 검색을 동적으로 스케줄링하고, 선택/배제 결정에 대한 추론 흔적(reasoning trace)을 유지할 수 있습니다.

2.3. 콜드 스타트 구축 (Cold-Start Construction)

에이전트 실행 전 그래프를 초기화하기 위해, 단일 뷰 유사성이 놓칠 수 있는 교차 기능적 쌍을 복구하는 **이중 뷰 임베딩 전략(two-view embedding strategy)**이 사용됩니다:

1. $e_{self}$: 스킬의 식별자, 설명 및 본문(무엇을 수행하는가)을 임베딩함.
2. $e_{needs}$: LLM이 상상된 호출 태스크를 바탕으로 무엇을 필요로 하는가(전제 조건)에 대한 HyDE 스타일의 요약을 생성하고 이를 임베딩함.

두 랭킹 중 하나라도 적응형 임계값을 초과하면 후보 쌍이 형성되며, 이후 LLM 쌍 분류기를 통해 엣지 타입을 할당합니다. conflicts_with는 실행 증거가 필요하므로 이 정적 단계에서는 제외됩니다.

2.4. 온라인 그래프 진화

SkillDAG은 온라인 그래프 업데이트를 위한 제안-후-커밋(propose-then-commit) 프로토콜을 도입합니다:

1. propose-edge: 에이전트가 잠재적인 엣지 변경을 미리 보고하고 해당 스킬 쌍에 대한 기존 이력을 검토하는 드라이 런(dry-run).
2. edit-edge: 에이전트가 자연어 이유와 실행 트레이스를 포함하여 변경 사항을 확정(commit)함.

구조적 불변성(Structural Invariants): 일관성을 유지하기 위해 모든 커밋은 세 가지 검사를 통과해야 합니다:

• 비순환성(Acyclicity): depends_on/specializes 백본에서 사이클 발생을 방지함.
• 비모순성(Non-contradiction): 한 쌍이 동시에 양의 엣지(예: depends_on)와 conflicts_with 엣지를 갖는 것을 방지함.
• 가역성(Reversibility): 추가 전용(append-only) 이력 로그를 통해 잘못된 편집을 롤백할 수 있음.

3. 주요 기여

1. 구조적 실패 모드 식별: 본 논문은 평면적 검색이 구조적으로 필요한 스킬을 침묵 속에 누락시키고 중복된 것들을 결합한다는 점을 식별하며, 이는 유사도 매칭만으로는 보이지 않는 실패임을 밝힙니다.
2. 에이전트 호출 가능 인터페이스: SkillDAG은 search/show/propose-edge/edit-edge를 통해 타입 지정된 관계 그래프를 노출하여, 고정된 랭킹 정책을 에이전트가 직접 추론할 수 있는 구조적 증거로 대체합니다.
3. 온라인 진화 프로토콜: 엄격한 구조적 불변성 하에 에이전트가 단일 에피소드 증거로부터 그래프를 성장시킬 수 있는 메커니즘과, 교차 기능적 쌍을 복구하기 위한 이중 뷰 콜드 스타트 생성기를 제공합니다.
4. 실증적 검증: 다양한 모델 백본에 대해 ALFWorld 및 SkillsBench에서 성능 향상을 입증했습니다.

4. 실험 결과

실험은 MiniMax-M2.7 및 gpt-5.2-codex를 사용하여 ALFWorld(텍스트 기반 체화된 환경)와 SkillsBench(컨테이너화된 코드 생성 작업)에서 수행되었습니다.

• 성능 향상 (MiniMax-M2.7):
  • ALFWorld: 성공률이 GoS 베이스라인의 **54.3%**에서 **67.1%**로 증가했습니다 (+12.8 포인트).
  • SkillsBench: 보상(Reward)이 **18.7%**에서 **27.3%**로 증가했습니다 (+8.6 포인트).
  • 내재적 검색(Intrinsic Retrieval): SkillsBench의 Ret@K가 **65.5%**에서 **78.2%**로 상승하여, 실행 전의 검색 파이프라인 자체가 더 정확함을 보여주었습니다.
• 성능 향상 (gpt-5.2-codex):
  • SkillDAG은 ALFWorld에서 GoS 베이스라인(93.6%)과 대등한 성과를 보였고, SkillsBench에서는 **34.4% $\to$ 36.8%**로 개선되었습니다.
  • 논문은 "라우팅 보조(routing aid)"로서의 특징이 백본 모델이 불투명한 번들을 처리할 수 있을 만큼 강력해지면 사라지는 반면, 백본 모델이 좋지 않은 번들을 넘어 추론하지 못하는 지점에서 가장 크게 나타난다고 언급합니다.
• 확장성: SkillDAG의 검색 품질은 스킬 풀이 10배(200개에서 2000개로) 확장되어도 안정적(Ret@K $\approx$ 78.2%)으로 유지된 반면, GoS 베이스라인은 크게 저하되었습니다.
• 편집 지속성(Edit Persistence): 훈련 중에 커밋된 온라인 편집은 홀드아웃(held-out) 테스트 에피소드로 효과적으로 전이되었으며, 편집된 그래프는 이전 히트를 축출하지 않고도 쿼리당 더 많은 정답 스킬을 검색하는 집합 단조성(set-monotone) 속성을 보였습니다.

5. 의의 및 주장

본 논문은 그래프 구조가 불투명한 정책이 아니라 라우팅 결정을 위한 인터페이스로 작동할 때 가장 효과적이다라는 가설을 검증합니다.

• 설계의 역전: 그래프를 고정된 리트리버의 기질이 아닌 에이전트 호출 가능한 인터페이스로 만듦으로써, 시스템이 LLM이 구조적 증거가 실행에 어떻게 영향을 미칠지 결정할 수 있게 합니다.
• 강건성: 이 접근 방식은 검색 파이프라인의 이득을 격리하여, 라이브러리가 확장될 때 디퓨전 기반 랭킹(PPR)보다 타입 지정 그래프 검색이 우수함을 보여주며, 에이전트의 실행이 깨진 검색 시스템을 수정하는 것에 의존하지 않습니다.
• 자기 진화: 시스템은 실행 증거를 바탕으로 스킬 구조를 정밀하고 감사 가능한 방식으로 업데이트할 수 있게 하여, 인간의 큐레이션 없이도 에피소드 전반에 걸쳐 지식을 축적할 수 있게 합니다.

저자들은 단일 관찰 기반의 자기 진화가 갖는 장기적 행동에 관한 한계를 인정하며, 집합적 편집 효과는 긍정적이지만 이러한 진화의 안정성이 매우 긴 타임라인 동안 유지될지는 향후 연구 과제로 남겨두었습니다.