A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

문제 정의

에이전트 기반 비디오 질의응답(VideoQA) 시스템은 현재 고정된 도구 라이브러리에 의존하고 있습니다. 이러한 에이전트들은 추론 과정에서 도구를 동적으로 선택하고 순서를 정하지만, 반복되는 절차를 매 새로운 질문마다 원시 연산(primitive operations)으로부터 다시 구축해야 합니다. 이러한 중복성은 상당한 추론 오버헤드를 발생시킵니다.

복합 도구(재사용 가능한 시퀀스 형태의 원시 연산 집합)를 합성하는 것은 이러한 계획 및 선택 비용을 분담(amortize)할 수 있습니다. 그러나 표준적인 지표를 사용하여 이러한 합성의 가치를 평가하는 것은 어렵습니다. 최종 답변의 정확도만으로는 추론 노력을 무시하게 됩니다. 즉, 시스템이 훨씬 더 많은 계산 자원을 소비하여 더 높은 정확도를 달고 얻을 수도 있고, 반대로 정확도를 희생하면서 효율성을 개선할 수도 있습니다. 기존의 평가는 행동 공간(action space)의 확장이 정확성과 비용 사이의 트레이드오프를 어떻게 변화시키는지 밝혀내지 못합니다.

방법론

1. Dynamic-SAGE 프레임워크

저자들은 기존의 SAGE 에이전트 기반 VideoQA 시스템을 확장한 Dynamic-SAGE를 제안합니다. 정적 도구 세트를 사용하는 SAGE와 달리, Dynamic-SAGE는 평가 전에 재사용 가능한 행동 공간을 동적으로 확장합니다.

• 오프라인 합성 파이프라인: 150개의 홀드아웃(held-out) VideoQA 질문 세트를 사용하여 멀티 에이전트 시스템이 복합 도구를 합성합니다:
  • Signature Agent (시그니처 에이전트): 반복되는 다단계 추론 패턴을 식별하고 도구 인터페이스(이름, 설명, 입력/출력)를 제안합니다.
  • Implementation Agent (구현 에이전트): 기존의 원시 연산(예: ground event, transcribe speech, analyze)을 실행 가능한 Python 함수로 구성합니다. 이 에이전트는 새로운 외부 모델이나 능력을 추가하지 않고 오직 기존의 원시 연산만을 사용하도록 제한됩니다.
  • Verification Agent (검증 에이전트): 후보 도구들을 안전성, 계약 준수 여부, 정확성을 검증하며, 중복되거나 형식이 잘못된 코드, 또는 최종 답변을 확정하려는 시도를 하는 도구를 거절합니다(답변 확정은 오케스트레이터의 역할로 남겨둡니다).
• 추론: 평가 중에 에이전트(GPT-4o에 의해 오케스트레이션됨)는 원래의 정적 도구($T_s$)와 합성된 동적 도구($T_d$)의 합집합에서 도구를 선택합니다. 합성된 도구는 오케스트레이터에게는 단일 동작으로 나타나지만, 내부적으로는 고정된 원시 연산 시퀀스를 실행합니다.

2. 비용 인식 쌍 기반 평가 프로토콜 (Cost-Aware Paired Evaluation Protocol)

도구 합성의 영향을 엄격하게 평가하기 위해 저자들은 비용 인식 쌍 기반 프로토콜을 도입합니다.

• 쌍 비교 (Paired Comparison): 집계된 정확도를 비교하는 대신, 이 프로토콜은 동일한 입력 질문에 대해 Static-SAGE와 Dynamic-SAGE 시스템을 쌍으로 비교합니다.
• 6개 그룹 분류: 각 쌍의 결과는 공동의 정답 여부(Static vs. Dynamic)와 가시적인 도구 호출의 변화($\Delta e_i$)를 기준으로 다음과 같이 분류됩니다:
  1. $G_{safe}$: 둘 다 정답이며, Dynamic이 더 적은 호출을 사용함.
  2. $G_{neutral}$: 둘 다 정답이며, 호출 수의 변화가 없음.
  3. $G_{overhead}$: 둘 다 정답이며, Dynamic이 더 많은 호출을 사용함.
  4. $G_{ideal}$: Static은 오답이나, Dynamic은 정답이며 호출 수가 더 적음.
  5. $G_{costly-gain}$: Static은 오답이나, Dynamic은 정답이며 호출 수가 같거나 더 많음.
  6. $G_{loss}$: Static은 정답이나, Dynamic은 오답임 (효율성과 관계없이 실패로 간주).
• 유의성 검정: 프로토콜은 통계적 유의성을 위해 McNemar 검정을 사용하며, 하위 그룹 전반의 신뢰도를 보고하기 위해 쌍을 이룬 부트스트랩 신뢰 구간(paired bootstrap confidence intervals)을 채택합니다.

주요 기여

1. 비용 인식 쌍 기반 프로토콜: 정확도와 비용 변화를 결합하여 보고함으로써, 도구 증강 에이전트를 감사하고 효율성 이득과 해로운 퇴보를 구분하는 재사용 가능한 평가 관행을 제공합니다.
2. Dynamic-SAGE 테스트베드: 새로운 모델이나 원시 능력을 도입하지 않고도, 새로운 질문에 재사용할 수 있도록 복합 도구를 합성, 검증 및 지속적으로 등록하는 프레임워크입니다.
3. 다축 감사 (Multi-Axis Audit): SAGE-Bench에 대한 경험적 분석을 통해, 도구 합성이 정확도를 개선하지만 비용 구조를 단순히 줄이는 것이 아니라 변화시킨다는 것을 보여줍니다.

결과

SAGE-Bench의 1,304개 샘플(150개 질문의 합성 홀드아웃 제외)을 대상으로 평가한 결과는 다음과 같습니다:

• 정확도: Dynamic-SAGE는 전체 정확도를 7.52 퍼센트 포인트 향상시켰습니다 (60.43%에서 67.94%로, $p < 0.001$).
  • 이득은 시각적(visual) 질문(+9.29%)과 개방형(open-ended) 질문(+9.17%)에서 가장 컸습니다.
  • 언어적(verbal) 및 혼합 모달리티(mixed-modality) 질문에서는 통계적으로 중립적이었습니다.
  • 개선 효과는 난이도에 따라 증가하며, "어려움(hard)" 및 "매우 어려움(very hard)" 문제에서 가장 큰 이득을 보였습니다.
• 효율성 및 비용 트레이드오프:
  • 오케스트레이션 감소: Dynamic-SAGE는 추론 턴(reasoning turns)과 가시적인 도구 호출을 약 28% 감소시켰습니다 (3.34회에서 2.40회로).
  • 토큰/비용 증가: 복합 도구는 여러 원시 연산을 캡슐화하기 때문에, 총 원시 연산의 수는 증가합니다. 이에 따라 원시 연산의 수는 31% 증가했습니다. 결과적으로 토큰 사용량은 34% 증가했고, 금전적 비용은 26% 증가했습니다.
• 실패 분석:
  • 대부분의 정확도 손실은 파이프라인이 가장 많은 작업을 수행하는 어려운 개방형 질문에서 발생했습니다.
  • 실패의 대부분(53%)은 Dynamic-SAGE가 Static-SAGE보다 더 많은 도구 호출을 사용할 때 발생했으며, 이는 확장된 궤적이 조기 압축(premature over-compression)이 아니라 여전히 오답에 도달함을 나타냅령니다.
  • 채택 양상은 편중되어 있습니다. 두 개의 depth-2 도구가 대부분의 호출을 차지하는 반면, 더 깊은 단계의 도구는 거의 사용되지 않으며 정확도도 낮았습니다.

의의 및 주장

본 논문은 주요 기여가 단순한 시스템 구축이 아니라, 스칼라 형태의 정확도 비교가 놓치는 "다축 프로필(multi-axis profile)"을 드러내는 프로토콜에 있다고 주장합니다.

저자들은 도구 합성을 통한 행동 공간의 확장이 도움이 되기는 하지만, 그 이득은 조건부적이라고 결론짓습니다. 이는 비용 부담을 오케스트레이션 단계(추론 턴, 가시적 호출)에서 호출당 토큰 소비로 전환합니다. 즉, 시스템은 더 높은 정확도와 더 적은 상호작용 단계를 달성하지만, 더 높은 금전적 및 토큰 비용을 치릅니다.

저자들은 현재의 접근 방식이 보편적인 해결책은 아니라는 점을 겸허히 언급하며, 특히 어려운 개방형 질문에서 신뢰성 위험이 남아있음을 지적합니다. 이들은 향후 연구가 단순히 행동 공간을 확장하는 것이 아니라, 합성된 도구의 품질, 차별성 및 라우팅을 개선하는 데 집중해야 한다고 제안합니다. 이 논문은 VideoQA를 완전히 해결한다고 주장하는 것이 아니라, 동적 도구 합성의 트레이드오프를 감사하기 위한 엄격한 방법을 제공합니다.