기술 요약: SkillLens: 비용 효율적 LLM 에이전트를 위한 적응형 다중 세분도 기술 재사용

문제 제기

대형 언어 모델 (LLM) 에이전트는 절차적 경험을 외부화하기 위해 기술 라이브러리에 점점 더 의존하고 있으며, 모든 작업마다 처음부터 행동을 재발견할 필요가 없습니다. 그러나 기존 시스템 (예: Voyager, Reflexion, SkillAct) 은 일반적으로 기술을 단일 해상도의 평면 프롬프트 블록으로 취급합니다. 이러한 원자적 접근 방식은 관련성과 비용 사이에 근본적인 긴장을 조성합니다:

• 거친 주입 (Coarse Injection): 검색된 기술을 전체로 주입할 경우, 해당 기술이 현재 작업과 부분적으로만 호환될 때 관련 없거나 오해의 소지가 있는 맥락을 도입하여 컨텍스트 창을 불필요하게 늘리고 환각을 유발할 수 있습니다.
• 전부 아니면 전무식 폐기: 기술이 완벽한 매칭이 아닐 경우, 에이전트는 종종 이를 완전히 폐기하여 처음부터 다시 해결하도록 강제하고 재사용 가능한 하위 구조를 낭비합니다.
• 비효율적인 재작성: 새로운 맥락에 맞게 전체 기술을 재작성하는 것은 계산 비용이 많이 들고 종종 불필요합니다. 왜냐하면 특정 구성 요소만 적응이 필요할 수 있기 때문입니다.

해결된 핵심 질문은 다음과 같습니다: 검색된 기술을 어떤 해상도로 재사용해야 하는가? 저자들은 기술이 균일하게 유용하거나 무용한 경우는 드물다고 주장합니다. 고수준 계획은 일치하지만 저수준 단계는 그렇지 않거나 그 반대의 경우가 있을 수 있습니다.

방법론: SkillLens 프레임워크

SkillLens는 기술을 4 계층 그래프로 구성하고 혼합 세분도에서 검색 및 적응시키는 계층적 기술 진화 프레임워크를 제안합니다.

1. 계층적 기술 그래프

기술 라이브러리 $S$는 옵션 프레임워크와 HTN 계획에서 차용한 4 개 추상화 계층을 가진 그래프 $G = (S, E)$로 구조화됩니다:

1. 정책 ($\ell=1$): 하위 전략으로 작업을 라우팅합니다.
2. 전략 ($\ell=2$): 장기 계획을 제공합니다.
3. 절차 ($\ell=3$): 분기 및 재시도 로직이 포함된 재사용 가능한 표준 운영 절차 (SOP) 입니다.
4. 원시 ($\ell=4$): 원자적 실행 단위 (도구 호출, 환경 작업) 입니다.

간선은 인접 계층 (부모 - 자식) 과 형제 (측면) 를 연결하며, 의미적 유사성과 구조적 관계에 따라 가중치가 부여됩니다.

2. 혼합 세분도 적응 (추론 시)

작업 쿼리 $Q$가 주어지면 SkillLens는 2 단계 프로세스를 통해 컴팩트한 기술 컨텍스트 $K(Q)$를 구성합니다:

• 시드 검색 및 확장: 상위 $K$개 임베딩 시드를 검색하고, 기술 그래프를 통한 차수 보정 랜덤 워크를 통해 확장하여 절차적으로 관련된 후보를 식별합니다.
• 검증기 주도 탐색: 검증기 $V_\phi$는 부분적으로 관련된 후보의 분해 하위 트리를 재귀적으로 탐색합니다. 각 단위 $u$에 대해 검증기는 다음 네 가지 동작 중 하나를 결정합니다:
  • 수용 (ACCEPT): 단위가 호환 가능함; 이를 유지하고 해당 하위 트리의 탐색을 중단합니다.
  • 분해 (DECOMPOSE): 단위가 너무 거침; 자식으로 확장하여 추가 평가합니다.
  • 재작성 (REWRITE): 단위는 유용하지만 불일치함; 작성기 $W_\phi$가 이를 로컬로 적응시킵니다.
  • 생략 (SKIP): 단위는 관련 없음; 폐기합니다.

최종 컨텍스트 $K(Q)$는 수용된 단위와 로컬로 재작성된 단위만으로 구성되므로, 에이전트는 전체 검색 블록이 아닌 작업별 컨텍스트를 받게 됩니다.

3. 이중 레지스트리 진화적 정제

SkillLens는 추론 시 적응과 진화 시 정제를 두 개의 결합된 레지스트리를 사용하여 결합합니다:

• 에이전트 레지스트리 ($S$): 에이전트가 참조하는 절차적 지식.
• 검증기 레지스트리 ($S_V$): 라우팅 정책 (언제 수용/분해/재작성/생략할지) 을 매개변수화합니다.

프로세스:

1. 갭 리포트 구성: 진화 분할에서 실패한 궤적을 분석하여 오류 유형, 탐색 경로, 라우팅 결정을 기록합니다.
2. 결합 업데이트: 작성기 $W_\phi$가 갭 리포트를 기반으로 레지스트리에 편집을 제안합니다. 먼저 검증기 레지스트리 $S_V$를 업데이트하여 라우팅 결정을 정제합니다. 그런 다음 에이전트 레지스트리 $S$는 이러한 라우팅 결정에서 유도됩니다 (필요한 절차적 편집을 구체화함).
3. 목적: 시스템은 반복적으로 작업 정확도 ($M$) 와 추론 비용 ($C$) 을 균형 잡는 목적 함수 $J(S) = \mathbb{E}[M(Y, O_S(Q)) - C(Q, S)]$를 최대화합니다.

4. 이론적 보장

본 논문은 세 가지 주요 이론적 결과를 제공합니다:

• 아선형 비용: 희소 불일치 가정 하에서, 검증기가 호환되는 하위 트리를 탐색하지 않으므로 검색된 기술 트리의 크기에 비해 적응 비용은 아선형 ($o(n)$) 입니다.
• 단조 개선: 진화적 업데이트 규칙은 지역 최적점에 도달할 때까지 검증 목적 함수의 단조 개선을 보장합니다.
• 근사 보장: 구성된 알고리즘 (검색 + 재작성) 은 검색, 랜덤 워크 점수 매기기, 검증기 라우팅의 오류에 의해 제한되는 대리 목적 함수에 대해 $(1 - 1/e)$-근사 보장을 제공합니다.

주요 기여

1. 형식화: 기술 재사용을 컨텍스트 선택 및 적응 문제로 재정의하여, 평면 프롬프트 주입을 넘어 검색된 지식의 유용한 하위 부분을 식별하고 구성하는 것으로 확장합니다.
2. 프레임워크: 계층적 검색, 검증기 유도 분해, 로컬 적응을 활용하는 해상도 인식 프레임워크인 SkillLens를 도입합니다. 이를 통해 부분적으로 관련된 기술을 적절한 세분도로 재사용할 수 있습니다.
3. 증거: 아선형 비용과 단조 수렴을 보여주는 이론적 분석과 함께 효율성 및 성능 향상에 대한 실증적 증거를 제시합니다.

실험 결과

본 프레임워크는 MuLocbench(레포지토리 수준 버그 국소화) 와 ALFWorld(장기 상호작용 텍스트 작업) 에서 평가되었습니다.

• MuLocbench: SkillLens는 모든 세분도에서 최고의 Acc@1을 달성했습니다:
  • 파일 수준: 61.13% (기준 58.87% 대비).
  • 모듈 수준: 59.26% (기준 55.56% 대비).
  • 함수 수준: 43.68% (기준 37.37% 대비).
  • 관찰: 전체 기술 주입이 가장 거칠 가능성이 높은 더 정교한 세분도 (함수 수준) 에서 개선 효과가 가장 두드러졌습니다.
• ALFWorld: SkillLens는 전체 성공률을 45.00%(Vanilla) 에서 **51.31%**로 높여, 평면 기술 기준 (AutoSkill, EvoSkill) 보다 4.17 퍼센트 포인트 더 높은 성능을 보였습니다.
• 애블레이션 연구:
  • 차수 보정 RWR: 랜덤 워크를 제거하면 성능이 저하되어, 그래프 전파가 텍스트적으로 멀지만 구조적으로 관련된 기술을 표면화함을 확인했습니다.
  • 선택적 재작성: 제안된 선택적 드릴다운 전략은 "전체 재작성" 및 "부모만" 기준보다 우수한 성능을 보였으며, 훨씬 적은 토큰 (전체 재작성 대비 16.4M 대 115.5M) 과 시간을 사용했습니다.

중요성 및 주장

본 논문은 SkillLens가 현재 에이전트 시스템의 구조적 한계인 다양한 해상도에서 기술을 재사용하지 못하는 문제를 해결한다고 주장합니다. 기술을 원자적 블록이 아닌 계층적 절차적 객체로 취급함으로써 SkillLens는 에이전트가 다음과 같은 기능을 수행할 수 있게 합니다:

• 호환되는 하위 기술을 수정 없이 직접 재사용합니다.
• 로컬 불일치 구성 요소만 적응하여 토큰 비용과 환각 위험을 줄입니다.
• 절차적 내용과 라우팅 논리를 동시에 진화시켜 시간이 지남에 따라 더 견고한 기술 라이브러리를 구축합니다.

저자들은 이러한 이점이 기존 시스템의 "전부 아니면 전무" 방식이 부분적 관련성의 뉘앙스를 포착하지 못하는 정교하거나 구성적인 기술 사용이 필요한 작업에서 가장 중요하다고 강조합니다. 향후 작업은 이를 멀티모달 설정 및 다중 에이전트 환경으로 확장하는 것으로 언급됩니다.