기술 요약: VineLM

문제 정의

현대 AI 애플리케이션은 increasingly 에이전트 워크플로우에 의존하고 있으며, 이는 구성 가능한 대규모 언어 모델 (LLM) 단계를 도구 단계 (예: SQL 실행, 검색) 와 교차시키고 종종 출력 품질을 향상시키기 위해 정제 루프 (재시도) 를 포함합니다. Murakkab 과 같은 기존 워크플로우 관리자는 거친 입자성 (coarse-grained) 제어를 사용합니다. 이러한 시스템은 오프라인에서 전체 워크플로우 구성을 프로파일링하고, 들어오는 각 요청에 대해 정적인 워크플로우 수준의 계획을 할당합니다. 이러한 패러다임에서 특정 모델은 요청의 전체 지속 기간 동안 단계 템플릿에 바인딩됩니다. 결과적으로 워크플로우에 정제 루프가 포함되어 있다면, 중간 실행 피드백이나 변경되는 예산 제약 조건과 관계없이 해당 루프의 모든 반복에 대해 동일한 모델을 재사용해야 합니다.

이러한 정적 접근 방식은 두 가지 중요한 측면에서 성능을 제한합니다:

1. 정제 루프의 비유연성: 초기 수리 시도 (종종 저렴하고 빠른 모델) 에 최적인 모델은 후기 시도 (복잡한 실패를 해결하기 위해 더 강력한 모델이 필요할 수 있음) 에 최적인 모델과 다를 수 있습니다. 거친 입자성 제어는 동일한 루프의 반복 간에 모델을 혼합할 수 없습니다.
2. 런타임 적응 부족: 정적 계획은 오프라인 평균에 기반합니다. 런타임 변동성으로 인해 초기 단계 호출이 예상보다 더 많은 지연 시간이나 비용을 소비하는 경우, 사전 약속된 다운스트림 계획은 실행 불가능해지거나 (SLO 위반) 비최적이 될 수 있습니다. 현재 시스템은 각 단계 호출 후 모델 선택을 재고려하지 않습니다.

방법론: VineLM

저자들은 VineLM 을 제안합니다. VineLM 은 실행이 전개됨에 따라 각 단계 호출에 대해 모델을 동적으로 선택함으로써 세밀한 입자성 (fine-grained) 제어를 가능하게 하는 워크플로우 관리자입니다.

1. 실행 트리 (Execution Trie) 공식화

VineLM 은 실행 가능한 실행의 공간을 주석 달린 실행 트리로 표현합니다:

• 구조: 각 노드는 워크플로우 실행 중 지금까지 접한 모델 선택의 접두사에 해당합니다. 완전한 트리와 달리, 트리는 워크플로우 의미론 (예: 유효한 전이, 루프 경계) 을 존중합니다.
• 공유 접두사: 노드는 많은 후보 전체 경로에 걸쳐 공유되는 접두사를 나타내어, 시스템이 대규모 의사결정 공간을 효율적으로 추론할 수 있게 합니다.
• 주석: 노드는 예상 누적 비용 ($\bar{C}$), 예상 누적 지연 시간 ($\bar{T}$), 예상 정확도 ($\bar{A}$) 와 같은 추정된 지표로 주석이 달립니다.

2. 오프라인 트리 구성 (희소 프로파일링)

경로의 조합적 폭발로 인해 모든 요청을 모든 경로에서 완전히 프로파일링하는 것은 불가능합니다. VineLM 은 희소 프로파일링 파이프라인을 통해 이를 해결합니다:

• 체크포인팅: 공유 접두사를 재실행하지 않기 위해, 시스템은 공통 접두사 후 상태를 체크포인트로 저장하고 이를 재사용하여 다양한 접미사를 평가합니다.
• 캐스케이드 샘플링: 각 샘플링된 요청에 대해 시스템은 랜덤한 깊이-1 모델을 실행합니다. 실패하면 깊이-2 확장으로 진행되고, 이후에도 마찬가지입니다. 이는 **서브트리 채우기 (subtree fill-in)**를 통해 "무료" 레이블을 생성합니다: 쿼리가 접두사에서 성공하면, 해당 접두사의 모든 확장은 성공으로 표시됩니다.
• 캐스케이드 분해: 관찰 패턴이 **무작위성이 아닌 누락 (Missing Not At Random, MNAR)**이기 때문에 표준 행렬 완성법은 여기서 실패합니다. 즉, 더 깊은 경로는 이전 단계가 실패한 요청에서만 관찰됩니다. VineLM 은 이 편향을 수정하기 위해 캐스케이드 분해 추정기를 사용합니다. 이는 깊이-$d$ 경로의 관찰된 성공률을 이전 모든 단계가 실패했다는 조건 하에서의 성공 조건부 확률로 간주하고, 이를 이전 단계들의 무조건부 성공과 결합하여 실제 경로 정확도를 추정합니다.
• 저랭크 평활화: 샘플이 적은 깊은 경로의 노이즈를 줄이기 위해, 시스템은 조건부 정확도 추정에 랭크-1 SVD 투사를 적용합니다.

3. 온라인 모델 선택

런타임에서 VineLM 은 실행과 제어를 교차시킵니다:

• 리루팅 (Re-rooting): 각 단계 호출이 완료된 후, 컨트롤러는 실현된 실행 접두사에서 트리를 다시 루팅합니다.
• 동적 재계획: 컨트롤러는 현재까지 실현된 지연 시간/비용과 남은 예산을 기반으로 최적의 접미사를 찾기 위해 남은 서브트리 (현재 노드의 후손) 를 검색합니다.
• 부하 인식: 부하 추정치가 사용 가능한 경우, 컨트롤러는 혼잡한 백엔드에 대한 지연 시간 추정치를 증가시켜 SLO 위반 가능성이 높은 경로에서 요청을 유도합니다.
• 가지치기: 검색은 지표의 단조성 (경로를 따라 비용과 지연 시간이 증가하고 정확도는 감소하지 않음) 을 활용하여 실행 불가능하거나 비최적인 분기를 제거합니다.

주요 기여

1. 거친 입자성 제어의 한계 시연: 이 논문은 단일 모델을 정제 루프에 바인딩하는 것이 비용/지연 시간 제약을 만족하면서 정확도를 극대화하기 위해 혼합 모델 궤적이 필요한 경우 상당한 성능 손실을 초래함을 보여줍니다.
2. 트리 기반 공식화: 워크플로우 접두사의 주석 달린 실행 트리에 대한 검색으로서 세밀한 입자성 워크플로우 제어를 공식화하여, 효율적인 오프라인 추정과 온라인 적응을 가능하게 합니다.
3. VineLM 시스템: 트리 공식화와 체크포인팅, 캐스케이드 프로파일링, 동적 리루팅을 결합하여 호출별 모델 선택을 가능하게 하는 VineLM 의 설계 및 구현.
4. 실증적 검증: NL2SQL 및 수학 추론 워크플로우에 대한 평가를 통해 최소 프로파일링 오버헤드로 비용 - 지연 시간 - 정확도 프론티어에서의 개선을 입증했습니다.

결과

이 논문은 NL2SQL(8 개 및 2 개의 후보 모델 포함) 과 MathQA(자기 반성) 워크플로우에서 VineLM 을 평가하고, Murakkab 스타일의 베이스라인과 비교합니다.

• 정확도 향상: VineLM 은 동일한 요청당 예산에서 거친 워크플로우 수준 베이스라인보다 최대 18% 높은 정확도를 달성합니다.
• 프로파일링 효율성: 희소 프로파일링 접근 방식은 포괄적 프로파일링에 비해 오프라인 프로파일링 비용을 98~99.8% 줄입니다. 2% 프로파일링 커버리지에서 VineLM 의 추정기는 경로 정확도를 예측할 때 약 1% 의 평균 절대 오차 (MAE) 를 달성하여 완전히 프로파일링된 트리의 성능과 밀접하게 일치합니다.
• 지연 시간 SLO 준수: 동적 리루팅은 런타임 부하 변동 하에서 정적 계획에 비해 지연 시간 SLO 위반을 최대 85% 줄입니다. 부하 인식 재계획은 고부하 하에서 위반을 추가로 줄입니다.
• 오버헤드: 동적 재계획의 런타임 오버헤드는 무시할 수 있습니다 (예: MathQA 워크플로우의 경우 가장 빠른 LLM 호출 시간의 0.592%).

중요성 및 주장

이 논문은 에이전트 워크플로우는 고정된 워크플로우 구성이 아닌 실행 접두사에 대한 온라인 정책을 통해 제어되어야 한다고 주장합니다. 거친 입자성, 정적 할당에서 세밀한 입자성, 동적 선택으로 이동함으로써 시스템은 루프와 런타임 변동성이 존재하는 상황에서 비용, 지연 시간, 정확도 간의 트레이드오프를 더 잘 탐색할 수 있습니다. VineLM 은 이러한 수준의 제어가 실제로 가능함을 보여주며, 포괄적 방법에 필요한 프로파일링 비용의 일부로 거의 최적의 성능을 달성합니다. 이 연구는 워크플로우 관리자의 의사결정 입자성이 에이전트 시스템을 최적화하는 데 중요한 요소이며, 세밀한 경로의 "조합적 폭발"은 구조화된 검색 공간 (트리) 과 효율적인 추정 기법을 통해 효과적으로 관리될 수 있음을 시사합니다.