💻 computer science

ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning

ParaVT 는 강화 학습에서 병렬 비디오 도구 호출을 위한 새로운 다중 에이전트 프레임워크를 도입하여 PARA-GRPO 알고리즘을 통해 "도구 우선 역설"을 극복함으로써 순차적 베이스라인에 비해 향상된 형식 안정성과 내결함성을 갖춘 우수한 장편 비디오 이해를 달성합니다.

원저자: Zuhao Yang, Kaichen Zhang, Sudong Wang, Keming Wu, Zhongyu Yang, Bo Li, Xiaojuan Qi, Shijian Lu, Xingxuan Li, Lidong Bing

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zuhao Yang, Kaichen Zhang, Sudong Wang, Keming Wu, Zhongyu Yang, Bo Li, Xiaojuan Qi, Shijian Lu, Xingxuan Li, Lidong Bing

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

ParaVT 논문에 대한 설명을 일상적인 비유와 함께 간단한 개념으로 나누어 정리합니다.

큰 그림: 로봇에게 영화 감시법 가르치기

90 분짜리 축구 경기 영상에 대한 질문에 답해야 하는 매우 똑똑한 로봇 (대규모 다중 모달 모델) 이 있다고 상상해 보세요. 로봇은 데이터가 너무 많기 때문에 한 번에 전체를 볼 수 없습니다. 그래서 로봇에게 정답을 찾기 위해 영상의 특정 부분을 자르기(확대하여 초점을 맞추기) 위해 '리모컨' 도구를 사용하도록 가르칩니다.

문제는 로봇이 현재 이 리모컨을 사용하는 데 매우 서툴다는 점입니다. 로봇은 확대를 시도하지만, 실수를 하면 오류의 순환 고리에 갇히게 됩니다. 새로운 논문인 ParaVT는 로봇에게 리모컨을 더 잘 사용하는 법을 가르치고, 로봇이 실제로 학습할 수 있도록 훈련 과정을 수정합니다.

1. 구식 방식: '한 번에 하나씩' 교통 체증

문제점:
이전에는 로봇이 영상을 차례로 보도록 훈련되었습니다.

1 번째 턴: "첫 10 초를 확대해 보자." (로봇이 수행).
2 번째 턴: "좋아, 이제 다음 10 초를 확대해 보자." (로봇이 수행).

비유:
한 명의 형사가 한 가지 단서를 보고, 적어두고, 폴더에 넣은 다음, 다음 단서를 요청하며 범죄를 해결하려는 상황을 상상해 보세요.

위험: 형사가 첫 번째 단서를 잘못 해석하면, 거짓말을 바탕으로 전체 이론을 세우게 됩니다. 이를 수정해 줄 사람이 없습니다.
비용: 모든 단서를 얻는 데 시간이 매우 오래 걸립니다. 다음 단계를 시작하기 전에 각 단계를 끝내야 하기 때문입니다.

ParaVT 의 해결책:
단서를 하나씩 요청하는 대신, 로봇은 형사 팀처럼 행동합니다. 한 번의 턴에서 주 로봇이 "너는 10 분을 봐! 너는 20 분을 봐! 너는 30 분을 봐!"라고 말합니다.

병렬 처리: 세 명의 '서브 로봇'이 할당된 시간을 정확히 동시에 봅니다.
동료 교정: 한 서브 로봇이 잘못된 시간을 본다면, 나머지 두 로봇이 "아니, 그게 아니야"라고 말할 수 있고, 주 로봇은 나쁜 단서를 무시합니다.
결과: 더 빠른 답변과 더 적은 오류.

2. 숨겨진 함정: '도구 사전 역설 (Tool Prior Paradox)'

이 부분이 이 논문에서 가장 흥미로운 부분입니다. 연구자들은 이러한 로봇을 훈련시키다가 이상한 모순을 발견했습니다.

역설:
로봇들은 이전의 코드 및 데이터 훈련을 통해 도구를 사용하는 '근육 기억'으로 사전 훈련되어 있습니다.

이 근육 기억에 너무 의존하면: 로봇은 도구를 사용하게 되지만, 엉뚱한 글자를 입력하기 시작합니다. 게임의 규칙 (형식) 을 잊고 '확대' 명령 대신 지저분한 코드를 작성합니다.
근육 기억을 막으려 하면: 로봇은 규칙을 완벽하게 따르지만, 도구를 전혀 사용하는 것을 두려워하게 됩니다. 그냥 보지 않고 답을 추측할 뿐입니다.

비유:
시험을 치르는 학생을 생각해 보세요.

시나리오 A: 학생은 정답 키 (사전 지식) 를 알고 있지만, 너무 자신감 있어 "파란색 잉크로 작성하라"는 지시를 무시합니다. 정답은 맞지만 빨간색 잉크로 써서 선생님 (컴퓨터) 이 채점할 수 없습니다.
시나리오 B: 학생은 '파란색 잉크' 규칙을 완벽하게 따르지만 너무 긴장해서 어려운 문제조차 풀려고 시도하지 않습니다.

이 논문은 이를 도구 사전 역설이라고 부릅니다. 로봇이 도구를 사용하게 만드는 그 자체가 규칙을 위반하게 만드는 요인이 됩니다.

3. 해결책: PARA-GRPO ('안전망'과 '도전')

이를 해결하기 위해 연구자들은 PARA-GRPO라는 새로운 훈련 방법을 고안했습니다. 로봇이 제자리를 지키도록 유지하는 두 가지 교묘한 트릭을 사용합니다.

트릭 1: '안전망' (탐색 고정)

문제점: 로봇은 문장을 닫는 것 (예: </answer> 닫는 태그) 을 잊어버리는 경우가 많습니다.
해결책: 훈련 시스템이 로봇 아래에 '안전망'을 설치합니다. 로봇이 태그를 올바르게 닫을 때만 아주 작은 보너스 보상을 줍니다.

비유: 줄타기 공연자를 상상해 보세요. 그들이 흔들리면 중앙으로 부드럽게 밀어줍니다. 로봇은 문장을 마무리하는 것에 대해 특별히 '잘했다'는 신호를 받아 지저분한 코드의 절벽에서 떨어지지 않도록 합니다.

트릭 2: '도전' (nFrames 게이트)

문제점: 때로 로봇은 몇 장의 흐릿한 프레임만 봐도 답을 추측할 수 있습니다. '도구 건너뛰기'가 더 쉽고 같은 보상을 받는다는 것을 배우므로, 아예 도구를 사용하지 않게 됩니다.
해결책: 훈련 시스템이 규칙을 무작위로 변경합니다. 때로는 선명한 영상을 주고, 다른 때는 확대하지 않으면 답을 추측하기 불가능 한 흐릿하고 저화질의 영상을 줍니다.

비유: 비디오 게임을 상상해 보세요. 레벨이 너무 쉬우면 플레이어는 특수 능력을 쓰려고 노력하지 않습니다. 개발자들이 어둡고 안개가 자욱한 레벨을 만듭니다. 이제 플레이어는 이기려면 반드시 손전등 (도구) 을 사용해야 합니다. 이는 로봇이 도구 사용이 실제로 필요하다는 것을 학습하도록 강제합니다.

4. 결과: 더 똑똑하고 빠른 로봇

병렬 팀 접근법과 안전망, 도전을 결합함으로써 ParaVT 로봇은 훨씬 더 나아졌습니다.

정확도: 이전 모델들보다 긴 영상 테스트에서 훨씬 높은 점수를 기록했습니다 (평균 약 8% 향상).
신뢰성: 규칙 위반이 멈췄습니다 (형식 오류가 실패율 87% 에서 36% 로 감소).
효율성: 턴이 끝날 때까지 기다릴 필요가 없으므로 문제를 더 빠르게 해결했습니다.

요약

이 논문은 AI 가 여러 부분을 동시에 확대하여 긴 영상을 보도록 가르치는 ParaVT 시스템을 소개합니다. 이를 가능하게 하기 위해, AI 가 너무 지저분하거나 너무 게으른 어려운 훈련 문제를 해결했습니다. AI 에게 문법을 올바르게 유지하는 '안전망'과 실제로 도구를 사용하도록 강제하는 '도전'을 제공하여 이를 고쳤습니다. 그 결과, 긴 영상을 이해하는 데 더 빠르고, 똑똑하며, 신뢰할 수 있는 로봇이 탄생했습니다.

and rewards the presence of a final <answer> block even if intermediate structure is imperfect.
* Selective Anchoring: 구조적 토큰 위치 (예: </answer>, </tool>과 같은 닫는 태그) 에 적용되어, 붕괴가 집중되는 지점에서 표적 보상/페널리를 적용합니다. 이는 추론 내용을 제한하지 않으면서 롤아웃의 파싱 가능성을 안정화합니다.

nFrames Gating (도구 필요성 격차 해결):
- 각 프롬프트에 대해 모델이 보는 개요 프레임의 수 ( $n \in \{4, 8, 16, 32, 64\}$ ) 를 무작위화합니다.
- 이는 개요 프레임만으로는 일부 프롬프트에 답할 수 없는 커리큘럼을 생성하여, 도구 호출에 대한 측정 가능한 보상 신호를 보장합니다. 이를 통해 정책이 도구 보상 기울기를 평균화하는 것을 방지합니다.

3. 주요 기여

ParaVT 프레임워크: 장비 비디오 추론을 위해 단일 턴에서 병렬 다중 도구 호출을 분배할 수 있는 도구 네이티브 LMM 을 가능하게 하는 최초의 프레임워크로, 취약한 순차적 체인을 동료 수정 가능한 증거 집계로 대체합니다.
도구 사전 지식 역설 식별: 도구 탐색을 위해 사전 훈련된 도구 사전 지식이 필요하지만, 구조적 형식을 불안정하게 만들고 보상 해킹 단서를 노출시킨다는 트레이드오프의 형식화입니다. 이는 교차 모델 비교 (Qwen3-VL 대 Qwen2.5-VL) 를 통해 검증되었습니다.
PARA-GRPO 알고리즘: 형식 안정화를 위한 탐색 앵커링과 도구 필요성을 보장하기 위한 nFrames Gating을 결합한 새로운 RL 알고리즘으로, 역설을 성공적으로 해결합니다.
실증적 검증: 오픈소스 7–8B 모델 간 최첨단 성능을 입증하는 여섯 가지 장비 비디오 벤치마크에 대한 광범위한 평가.

4. 실험 결과

저자들은 ParaVT 를 여섯 가지 장거리 비디오 이해 벤치마크 (VideoMME, LongVideoBench, LVBench, MLVU, MMVU, Charades-STA) 에서 평가했습니다.

성능: ParaVT(Qwen3-VL-8B 기반) 는 일곱 가지 평가 분할 중 여섯 가지에서 비교 가능한 모든 오픈소스 7–8B 베이스라인을 능가합니다.
- Qwen3-VL 베이스라인 대비 평균 상대적 향상 **+7.9%**를 달성합니다.
- 주목할 만한 개선 사항으로는 LongVideoBench 에서 +15.7%, LVBench 에서 +20.2%, MLVU 에서 **+11.5%**의 향상이 있습니다.
- 시간적 그라운딩 (Charades-STA) 에서는 50.1 mIoU에 도달하여 기본 모델 (49.3) 과 다른 에이전트 베이스라인을 능가합니다.
- 특정 벤치마크 (예: LVBench: 39.8 대 34.7) 에서는 GPT-4o 와 같은 독점 모델을 능가합니다.
학습 역학:
- Vanilla GRPO 는 형식을 유지하지 못하며 (보상 $\approx 0.13$ ), 7 단계 이내에 도구 사용을 거의 0 으로 붕괴시킵니다.
- PARA-GRPO 는 학습 시간 형식 보상을 0.13 에서 0.64 로 끌어올리고 moderate 한 도구 호출율 ( $\kappa \approx 0.21$ ) 을 유지합니다.
- 제거 실험 (Ablation studies) 은 탐색 앵커링과 nFrames Gating 이 모두 필요하며, 어느 하나라도 제거하면 형식 붕괴나 도구 회피로 이어짐을 확인합니다.

5. 중요성과 주장

본 논문은 현대 LMM 에서 도구 기능이 점점 더 내부화됨에 따라, RL 훈련은 이를 무시하기보다 이러한 결과적 사전 지식과 능동적으로 협력해야 한다고 주장합니다. ParaVT 는 다음과 같이 에이전트 RL 을 위한 일반적인 레시피를 제공합니다:

병렬 분배가 증거 집계 및 컨텍스트 관리를 위한 우월한 추론 시간 패러다임임을 입증합니다.
형식 안정성이 RL 에서 도구 사용 학습의 전제 조건이며, 표적 구조 보상을 통해 달성 가능함을 보여줍니다.
도구 필요성이 보상 해킹을 방지하기 위해 입력 예산 무작위화를 통해 설계될 수 있음을 증명합니다.

저자들은 ParaVT 를 에이전트 RL 을 위한 전이 가능한 솔루션으로 위치시키며, 해당 분야의 추가 연구를 촉진하기 위해 코드, 데이터, 모델 가중치를 공개했다고 명시합니다. 또한 현재 평가가 crop_video 도구와 Qwen3-VL 에 대한 특정 검증으로 제한된다는 한계를 인정하며, 더 큰 모델과 다른 도구 계열로 확장하는 향후 작업을 제안합니다.