기술 요약: CoCoDA – 도구 증강 에이전트를 위한 공진화적 구성 DAG

1. 문제 정의

도구 증강 언어 모델 (LLM) 은 외부 실행 가능한 기술을 작은 플래너에 확장하여 계산과 기호 조작을 외부로 위임할 수 있게 합니다. 그러나 도구 라이브러리의 확장화는 근본적인 긴장 관계를 초래합니다. 라이브러리는 새로운 재사용 가능한 서브루틴을 포착하기 위해 플래너와 함께 진화해야 하지만, 성장하는 라이브러리에서의 검색은 고정된 컨텍스트 예산 내에서 이루어져야 합니다.

기존 접근법은 이러한 결합을 해결하지 못합니다. 정적 도구 사용 시스템은 고정된 재고 목록을 가정하는 반면, 기술 라이브러리 방법은 일반적으로 도구를 평탄한 텍스트 레코드나 자연어 기억으로 저장합니다. 이러한 평탄한 구조는 라이브러리 크기에 비례하여 프롬프트 비용을 선형적으로 증가시키고, 실행 가능한 코드의 타입 지정 및 구성적 구조를 흐리게 만듭니다. 반면, 코드 라이브러리 방법은 구조를 활용하지만 토큰 예산이 제한된 검색 하에서 작동하는 LLM 플래너를 위해 설계되지 않았습니다. 핵심적인 과제는 코드 인식적, 검색 효율적, 그리고 온라인 학습이 가능한 메커니즘을 설계하여 두 가지 결합된 문제를 해결하는 것입니다: 정책과 함께 라이브러리를 어떻게 확장할 것인지, 그리고 고정된 컨텍스트 윈도우 하에서 그 성장하는 라이브러리에서 어떻게 검색할 것인지입니다.

2. 방법론: CoCoDA 프레임워크

CoCoDA 는 단일 코드 네이티브 구조인 구성 코드 DAG(Directed Acyclic Graph, 방향성 비순환 그래프) 를 통해 이러한 과제를 해결합니다. 이 프레임워크는 Typed DAG Retrieval(타입 지정 DAG 검색) 과 온라인 공진화 절차라는 두 가지 주요 구성 요소를 통해 플래너 ($\pi_\theta$) 와 도구 라이브러리 ($L$) 를 공진화시킵니다.

2.1 구성 도구 DAG 구조

라이브러리 $L$은 DAG $G=(V, E)$로 조직화되며, 여기서:

• 노드 ($V$): 원시 노드 (원자적 실행 가능 함수) 와 복합 노드 (기존 도구를 호출하는 매크로 액션) 로 분할됩니다.
• 간선 ($E$): 호출 종속성을 인코딩하여 표면적 유사성이 아닌 추상화 수준에 따라 라이브러리를 계층화합니다.
• 노드 레코드 ($I(v)$): 각 노드는 4 단계 레코드를 저장합니다:
  1. $L_1$: 타입 지정 시그니처 (기호적).
  2. $L_2$: 자연어 설명.
  3. $L_3$: 전/후 조건 명세 및 복잡도.
  4. $L_4$: 해결된 입력 - 출력 예시.

2.2 타입 지정 DAG 검색

추론 시, CoCoDA 는 비싼 LLM 비용을 발생시키기 전에 기호적으로 후보를 제거하는 coarse-to-fine 검색 캐스케이드를 사용합니다. 쿼리로 유도된 하위 목표가 주어지면, 이 과정은 $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$의 중첩된 생존 집합 시퀀스를 구성합니다:

1. $L_1$(기호적 가지치기): 하위 목표 시그니처를 도구의 타입 지정 시그니처와 통일하여 도구를 필터링합니다. 이 단계는 기호적이며 프롬프트 토큰 비용을 전혀 발생시키지 않습니다.
2. $L_2$(의미적 확장): 설명을 사용하여 생존자들의 의미적 관련성으로 순위를 매깁니다. 결정적으로, 이 단계는 DAG 구조에 따라 포괄하는 복합체로 상승하거나 원시 노드로 하강할 수 있으며, 이는 평탄한 텍스트 검색이 갖지 못하는 능력입니다.
3. $L_3$(명세 필터링): 전/후 조건 및 복잡도制약을 검증합니다. 생존한 복합체들은 그들의 원시 서브궤적과 동등한 매크로 액션으로 인증됩니다.
4. $L_4$(예시 모호성 제거): 해결된 예시를 사용하여 생존자들의 순위를 다시 매겨 동점을 깨뜨립니다.

이 캐스케이드는 비싼 LLM 청구 레코드가 점진적으로 작아지는 후보 집합에 대해서만 구체화되도록 보장하여, 라이브러리 크기에 대해 검색 비용을 아선형 (sublinear) 으로 유지합니다.

2.3 온라인 공진화

프레임워크는 성공적인 궤적을 기반으로 플래너와 라이브러리를 동시에 업데이트합니다:

• 라이브러리 성장: 성공적인 궤적은 고정된 교사 추상화기 ($M_T$) 로 전달되어 복합 도구를 제안합니다. 제안은 비순환성을 유지하고 종속성/명세 검사를 충족할 때만 ( INSERTTOOL 을 통해) 확정됩니다.
• 플래너 업데이트: 플래너는 DAG 유도 보상을 사용하여 업데이트됩니다. 표준 결과 보상 ($R_{res}$) 을 넘어, 구성적 보상 ($R_{comp}$) 은 "저장된 호출" 수 ($\Phi$) 로 도구에 크레딧을 부여합니다. 여기서 $\Phi$는 복합체가 대체하는 원시 호출 수로 정의됩니다.
  • $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$.
  • 이 보상은 플래너가 더 깊은 복합체를 통과하도록 장려하여, 작업에 필요한 도구 호출 수 ($T(\tau)$) 를 효과적으로 줄입니다.

3. 주요 기여

1. 문제 정의: 저자들은 명시적인 검색 비용 및 컨텍스트 윈도우 제약과 함께 정책과 라이브러리의 결합된 성장을 해결하는 공동 최적화 문제로 소형 LLM 을 위한 도구 라이브러리 학습을 제시합니다.
2. 타입 지정 DAG 검색: 시그니처, 호출 간선, 명세, 예시를 활용하여 라이브러리 크기에 대해 프롬프트 비용을 아선형으로 유지하는 코드 네이티브 검색 캐스케이드입니다.
3. 공진화 절차: 검증된 복합 도구를 삽입하고 구조적 "저장된 호출" 보상과 함께 플래너를 학습시켜 새로 학습된 추상화의 활용을 장려하는 온라인 메커니즘입니다.
4. 이론적 보장: 논문은 다음에 대한 증명을 제공합니다:
   • 검색 비용 감소 및 아선형 검색 시간.
   • 형태화된 보상 하에서의 구성적 우위 (복합체 사용이 동등한 원시 시퀀스보다 엄격히 더 높은 보상을 산출함을 증명).
   • 보수적 업데이트 하의 단조 공진화.
   • DAG 잘 형성됨 (비순환성 및 깊이 한계).

4. 실험 결과

CoCoDA 는 수학적 추론 (GSM8K, MATH), 표 분석 (WikiTableQuestions, FinQA), 코드 작업 (EvalPlus, MBPP) 에 걸쳐 6 개의 벤치마크에서 평가되었습니다.

• 성능: CoCoDA 로 학습된 8B 학생 모델은 GSM8K(93.67 대 93.40) 와 MATH(63.18 대 61.62) 에서 32B 교사 모델을 일치하거나 능가했습니다.
• 확장성: 일반 체인 오브 씽킹 (CoT) 대비 이득은 더 작은 규모에서 가장 두드러졌습니다 (예: 0.6B 모델의 GSM8K 에서 +10.7).
• 베이스라인: CoCoDA 는 강력한 도구 사용 베이스라인 (ReAct, ToRL, ReTool) 과 라이브러리 학습 방법 (CREATOR, TroVE) 을 일관되게 능가했습니다. 특히, 긴밀한 학생 - 교사 루프가 없는 라이브러리 구성 베이스라인은 수학 및 코드 작업에서 일반 CoT 보다 낮은 성능을 보여 공진화의 필요성을 확인시켰습니다.
• 효율성: 라이브러리 크기가 1,600 노드로 성장함에 따라 CoCoDA 의 검색 비용은 평탄한 검색보다 약 11.4 배, 텍스트 계층적 RAG 보다 4.7 배 낮았습니다.
• 애블레이션: 구성 도구 DAG(CTD) 를 제거하면 가장 큰 성능 저하 (2~4 포인트) 가 발생하여 종속성 간선의 중요성을 강조했습니다. 타입 지정 DAG 검색 (TDR) 을 비활성화하면 표 작업이 가장 큰 타격을 입었고, 그래프 인식 보상 (GAR) 을 제거하면 성능이 균일하게 감소했습니다.

5. 중요성 및 주장

이 논문은 CoCoDA 가 실행 가능한 코드의 고유한 구조적 특성을 활용함으로써 라이브러리 성장과 컨텍스트 제약 간의 긴장 관계를 해결한다고 주장합니다. 라이브러리를 구성 DAG 로 표현함으로써, 프레임워크는 다음을 가능하게 합니다:

• 아선형 검색: 컨텍스트 비용을 선형적으로 증가시키지 않고도 복잡하고 재사용 가능한 추상화를 표출할 수 있는 능력.
• 구조적 학습: 원시 시퀀스를 복합체로 압축한 것에 대해 플래너를 명시적으로 크레딧하는 보상 신호로, 정책과 라이브러리의 공진화를 주도합니다.
• 확장성: 외부 진화적 절차적 기억을 효과적으로 활용함으로써 소형 모델 (8B) 이 훨씬 더 큰 모델 (32B) 의 성능을 달성할 수 있는 능력.

저자들은 이 접근법이 도구들의 실행 가능한 본질을 존중하는 구조를 통해 정책과 함께 공진화하는 라이브러리가 제공된다면, 소형 언어 모델이 계산과 기호 조작을 효율적으로 위임할 수 있는 실현 가능한 경로라고 결론지었습니다. 향후 작업은 이를 멀티모달 설정 및 멀티 에이전트 시나리오로 확장하는 것으로 언급되었습니다.