기술 요약: 신뢰도 인지형 도구 오케스트레이션을 위한 Robust-TO

1. 문제 정의: 맹목적 신뢰(Blind Trust) 문제

본 논문은 현대 비디오 대규모 언어 모델(Video-LLM)의 치명적인 결함인 **맹목적 신뢰 문제(Blind Trust Problem)**를 식별합니다. 현재의 모델들은 모든 입력 프레임이 동일하게 신뢰할 수 있고 정보가 풍부하다고 암묵적으로 가정합니다. 모션 블러(motion blur), 눈부심(glare), 저조도 노이즈 또는 폐쇄(occlusion)와 같은 섭동(perturbation)이 발생하는 실제 시나리오에서 이러한 가정은 심각한 성능 저하를 초래합니다. 최첨단 모델들은 이러한 조건 하에서 엠보디드(embodied) 벤치마크 상에서 정확도가 15~30 퍼센티지 포인트 하락할 수 있음에도 불구하고, 모델이 스스로 보고하는 신뢰도는 거의 변하지 않습니다. 이러한 "침묵하는 실패(silent failure)"는 포렌식 분석, 감시, 자율 주행과 같은 안전이 중요한 영역에서 특히 위험하며, 모델이 저하된 시각적 증거에도 불구하고 높은 신뢰도를 유지하며 진행되는 현상을 야기합니다.

기존 방식은 일반적으로 프레임의 고유한 품질을 평가하지 않고 균일하거나 쿼리 유사도 기반의 프레임 샘플링에 의존합니다. 결과적으로, 손상된 프레임이 유효한 증거로 취급되어 최종 예측을 왜곡하게 됩니다.

2. 방법론: Robust-TO 프레임워크

이를 해결하기 위해, 저자들은 매 프레임의 신뢰성을 추론의 모든 단계에 명시적으로 통합하는 에이전트 기반 비디오 이해 프레임워크인 Robust-TO를 제안합니다. 이 시스템은 Group Relative Policy Optimization(GRPO)으로 학습된 호스트 비디오 언어 모델(VLM)의 안내를 받는 3단계 파이프라인을 통해 작동합니다.

A. 품질 프로파일링을 통한 프레임 선택

추론에 앞서, 시스템은 비디오 스트림 $\tilde{V}$의 품질을 평가합니다.

• 품질 프로파일링(Quality Profiling): 파라미터가 필요 없는 도구(assess_quality)가 세 가지 주요 섭동 유형인 블러(blur), 밝기 편차(brightness deviation), 폐쇄(occlusion)를 기준으로 각 프레임을 분석하여 섭동 프로필 $d(f_i)$를 추정합니다. 이는 학습 데이터 없이 신호 수준의 통계(예: 블러 측정을 위한 역 라플라시안 분산, 폐쇄 측정을 위한 Sobel-magnitude)를 통해 계산됩니다.
• 신뢰도-관련성 점수(Reliability-Relevance Scoring): 프레임은 시각적 신뢰성과 쿼리 관련성의 균형을 맞추는 복합 지표 $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$를 사용하여 점수가 매겨집니다.
• 선택: 하위 프로세싱을 위해 가장 신뢰할 수 있는 상위-$K$개의 프레임이 선택되며, 이를 통해 쿼리 유사도가 높더라도 손상된 프레임이 선택되는 것을 필터링합니다.

B. 신뢰도 가이드 도구 라우팅(Confidence-Guided Tool Routing)

호스트 VLM은 원래의 쿼리를 원자적 하위 쿼리로 분해하고 이를 특화된 인지 도구로 라우팅합니다.

• 적응형 라우팅(Adaptive Routing): 라우팅 결정은 선택된 프레임의 지배적인 섭동 유형을 고려합니다. 예를 들어, 블러가 지배적이라면 시스템은 날카로운 경계가 필요한 도구(예: 객체 탐지)보다 공간적 저하에 강한 도구(예: 캡셔닝)를 선호합니다.
• 교정된 신뢰도 출력(Calibrated Confidence Output): 각 도구는 결과 $r_j$와 교정된 신뢰도 점수 $c_j$를 포함하는 튜플 $(r_j, c_j)$를 반환합니다.
  • $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
  • $c_j^{\text{intrinsic}}$은 도구의 자기 평가(예: 탐지 점수)입니다.
  • $\rho(F_j)$는 입력 신뢰도로서, 해당 도구 호출에 사용된 프레임 중 최악의 성능을 보이는 서브셋의 평균 신뢰도로 계산됩니다. 이는 몇 개의 깨끗한 프레임이 심하게 손상된 입력의 존재를 가리는 것을 방지합니다.

C. 신뢰도 인지 증거 합성(Reliability-Aware Evidence Synthesis)

최종 답변은 증거를 High(높음), Medium(중간), **Low(낮음)**의 세 단계로 그룹화하여 합성됩니다.

• High-tier: 주요 결론을 도출합니다.
• Medium-tier: High-tier 결론과 일치하는 경우에만 유지되며, 그렇지 않으면 폐기됩니다.
• Low-tier: 더 강력한 증거가 없을 때만 폴백(fallback)으로 사용되며, 명시적인 불확실성 보고를 동반합니다.
  이 계층적 접근 방식은 최종 예측이 사용 가능한 가장 신뢰할 수 있는 시각적 증거에 근거하도록 보장합니다.

D. 학습 목표: Confidence-Cost GRPO

호스트 VLM은 네 가지 신호를 균형 있게 조절하는 복합 보상 함수 $R_{\text{total}}$을 사용하여 GRPO로 엔드투엔드(end-to-end) 학습됩니다:

1. 정확성 ($R_{\text{acc}}$): 최종 답변의 정확도.
2. 신뢰도-비용 ($R_{\text{cc}}$): 높은 신뢰도의 출력을 장려하는 동시에, 저하된 프레임에 대한 비용이 많이 드는 도구 호출에 페널티를 부여합니다 ($c_j - \lambda \cdot \text{cost}(T_j)$).
3. 하위 쿼리 효율성 ($R_{\text{subq}}$): 고정된 VLM에 의해 추정된 목표 개수에 맞춰, 과도한 분해(낭비적인 호출)와 미흡한 분해(정보 공백) 모두에 페널티를 부여합니다.
4. 포맷 보상 ($R_{\text{fmt}}$): 구조화된 출력 형식 준수를 보장합니다.

3. 주요 기여

1. 맹목적 신뢰 문제의 공식화: 본 논문은 실제 환경의 섭동 상황에서 모델의 신뢰도와 시각적 증거의 신뢰성 사이의 단절을 명시적으로 정의하고 정량화합니다.
2. Robust-TO 프레임워크: 프레임 수준의 품질 프로파일링을 적응형 도구 라우팅 및 계층적 증거 합성과 결결한 새로운 에이전트 파이프라인을 제안합니다.
3. 통합 신뢰도 인터페이스: 도구의 확실성에 입력 프레임의 신뢰도를 곱하여 교정된 신뢰도 점수를 출력하는 메커니즘을 통해, 추론 모델이 증거의 가중치를 동적으로 조절할 수 있게 합니다.
4. Confidence-Cost 최적화: 정확도, 증거 신뢰성 및 추론 효율성을 공동으로 최적화하는 GRPO 학습 전략을 통해, 모델이 손상된 데이터에 대해 값비싼 도구에 과도하게 의존하는 것을 방지합니다.

4. 실험 결과

프레임워크는 UrbanVideo-Bench와 VSI-Bench에서 평가되었으며, 깨끗한 조건과 (RoVA를 통해 생성된) 손상된 조건 모두에서 8가지 작업(예: 랜드마크 위치, 경로 계획, 동작 생성)을 다루었습니다.

• 깨끗한 데이터 성능: Qwen3-VL-7B 백본을 사용한 Robust-TO는 평균 정확도 **56.4%**를 달성하여, 가장 강력한 오픈 소스 베이스라인(Video-R1)보다 10.6% 높았고 Gemini-2.5-Pro(46.2%)를 능가했습니다.
• 손상된 데이터 성능: 다섯 가지 실제적인 섭동 유형(모션 블러, 가우시안 노이즈, 눈부심, 폐쇄, 저조도) 하에서 Robust-TO는 **54.3%**의 평균 정확도를 유지했습니다. 이는 가장 강력한 오픈 소스 베이스라인(Video-R1)보다 5.8%, Gemini-2.5-Pro보다 16.2% 향상된 수치입니다.
• 강건성(Robustness): Robust-TO는 비교된 모든 방법 중 깨끗한 조건에서 손상된 조건으로 넘어갈 때의 정확도 하락 폭이 가장 작았습니다.
• 효율성: 적응형 키 프레임 선택기는 처리되는 평균 프레임 수를 35%(32개에서 20.7개로) 줄였으며, 샘플당 추론 시간을 35% 이상 단축하는 동시에 정확도를 개선했습니다.

5. 의의 및 주장

본 논문은 Robust-TO가 비디오 추론의 패러다임을 "맹목적 신뢰"에서 "신뢰도 인지"로 근본적으로 전환한다고 주장합니다. 시각적 증거의 신뢰성을 명시적으로 모델링함으로써, 시스템은 실제 비디오 섭동에 직면했을 때 침묵하는 실패 대신 **우아한 성능 저하(graceful degradation)**를 달성합니다.

저자들은 이 접근 방식이 단순히 파라미터나 데이터를 확장하는 것이 아니라, 증거를 획득하고 합성하는 방식에 대한 구조적 변화를 도입한다는 점을 강조합니다. 결과는 적응형 시각 도구 사용이 깨끗한 비디오와 손상된 비디오 모두에 이점을 제공하며, 안전이 중요한 애플리케이션을 위한 더욱 강력하고 신뢰할 수 있는 멀티모달 추론 시스템을 향한 경로를 제시함을 보여줍니다. 본 연구는 향후 오픈 월드 비디오 추론 확장을 지원하기 위해 코드와 체크포인트와 함께 공개되었습니다.