기술 요약: CAVE – 분산된 시각적 증거 추론을 위한 구조화된 크레딧 할당 접근법

1. 문제 정의: 분산된 시각적 추론 (FVR)

시각 - 언어 모델 (VLM) 은 일반적인 멀티모달 추론에서 상당한 발전을 이루었으나, 비국소적 시각 정보를 낮은 의미적 사전 지식과 통합해야 하는 작업에서는 취약성을 보입니다. 저자들은 이러한 과제를 **분산된 시각적 추론 (FVR)**으로 정의합니다. FVR 에서 작업에 중요한 증거는 공간적으로 분산되어 있으며, 서로 다른 이미지 영역 간에 의미적으로 약하게 분리되어 있습니다.

현재의 VLM 들은 다음과 같은 이유로 이러한 설정에서 실패하는 경우가 많습니다:

• 대략적인 전역 인식: 전역 표현에 의존하면 장거리 의존성과 미묘한 지역적 차이를 포착하지 못합니다.
• 언어화 편향: 모델은 증거의 언어화된 부분집합으로 추론을 편향시키는 경향이 있어, 일관성은 있지만 시각적 근거가 부족한 연쇄를 생성합니다.
• 오류 전파: 증거 선택의 초기 오류는 후속 추론 단계에서 연쇄적인 실패로 이어집니다.

기존의 인터리브된 추론 방법 (예: "Think-with-Image") 은 국소적 재관찰을 허용하지만 작업별 프로세스 감독이 부족합니다. 현재 프로세스 보상 방법들은 일반적으로 최종 답변의 개선이나 전체 궤적의 품질을 기준으로 중간 단계를 평가하여, 증거 획득이나 영역 집중과 같은 특정 추론 행위에 대한 표적 지침을 제공하지 못합니다.

2. 방법론: CAVE (시각적 증거를 위한 크레딧 할당)

이러한 한계를 해결하기 위해 저자들은 인터리브된 시각적 추론을 위해 설계된 그룹 상대적 정책 최적화 (GRPO) 기반의 구조화된 프로세스 보상 방법인 CAVE를 제안합니다.

2.1 인터리브된 추론 궤적

모델의 해결 과정은 $\tau = \{(M_t, a_t, o_t)\}_{t=1}^{T_\tau}$로 궤적으로 모델링되며, 여기서:

• $M_t$: 멀티모달 컨텍스트 상태 (원본 이미지, 질문, 히스토리, 국소 관찰).
• $a_t$: 어시스턴트 행동 (텍스트 추론, 줌 도구 호출, 또는 최종 답변).
• $o_t$: 환경 관찰 (예: 확대된 하위 이미지).

2.2 구조화된 프로세스 크레딧

단일 상태 - 유틸리티 보상과 달리 CAVE 는 중간 단계의 가치를 세 가지 보완적인 행동 수준 신호로 분해합니다:

1. 신념 업데이트 크레딧 ($c_{bu}$):

   • 목표: 정답으로 향하는 진전을 측정합니다.
   • 메커니즘: 교사 강제 (teacher forcing) 를 사용하여 상태 $M_t$와 $M_{t+1}$ 사이의 정답 본문 ($A$) 의 조건부 로그 가능도 증가분을 계산합니다.
   • 기능: 모델의 상태를 정답에 더 가깝게 이동시키는 단계를 보상하여 답변 지향적 상태 업데이트를 제한합니다.

2. 증거 획득 크레딧 ($c_{ea}$):

   • 목표: 중요한 시각적 단서가 답변 신념에 완전히 통합되기 전에 이용 가능해지는 선행 진전을 포착합니다.
   • 메커니즘: 작업에 대해 주석된 $K$개의 텍스트화된 시각적 증거 단위 집합 ($P = \{p_1, ..., p_K\}$, 예: "삼각형 건물") 을 사용합니다. 상태 간 이러한 단위의 복원성 점수 증가분을 측정합니다.
   • 기능: 필요한 시각적 세부 정보를 점진적으로 획득하는 궤적을 보상하여 맹목적인 추측과 구별합니다.

3. 적응형 초점 제어 크레딧 ($c_{af}$):

   • 목표: 증거 커버리지와 시각적 잡음 사이의 균형을 맞추기 위해 줌 기반 시각적 탐색을 제한합니다.
   • 메커니즘:
     • 답변 토큰의 엔트로피를 통해 상태 불확실성 ($u_t$) 을 추정합니다.
     • 불확실성에 기반하여 목표 줌 스케일 $\hat{\rho}_t$를 정의합니다.
     • 보상 게이트: 줌 행동은 양의 신념 또는 증거 이득 ($g_t$) 을 산출하고 AND 그 스케일이 현재 불확실성과 일치할 때 ($1 - |\rho_t - \hat{\rho}_t|$) 만 보상을 받습니다.
   • 기능: 모델이 상태 진전을 유도하는 국소 관찰을 선택하도록 장려하면서 관련 없는 잡음을 피하도록 합니다.

2.3 최적화

총 보상은 집계된 궤적 수준 크레딧의 가중 합입니다:
$$R_{CAVE}(\tau) = \lambda_{bu}C_{bu}(\tau) + \lambda_{ea}C_{ea}(\tau) + \lambda_{af}C_{af}(\tau)$$
정책은 $R_{CAVE}$에 기반한 그룹 상대적 이점을 계산하여 GRPO 를 사용하여 최적화됩니다. 최적화는 어시스턴트가 생성한 토큰에만 적용되며, 도구 관찰은 컨텍스트로 제공되지만 정책 기울기에는 참여하지 않습니다.

3. 벤치마크: TRACER-Bench

제어된 평가와 프로세스 수준 분석을 가능하게 하기 위해 저자들은 TRACER-Bench(텍스트 저항성 교차 영역 증거 추론) 를 구축했습니다.

• 범위: 네 가지 시나리오를 다루는 980 개의 VQA 샘플:
  1. 규칙 전환 내비게이션 (VJump): 규칙 전환 간 상태를 유지해야 함.
  2. 비의미적 추적 (LT): 의미적 단서 없이 경로 추적.
  3. 임베디드 매칭 (Match): 세밀한 템플릿 - 그리드 대응.
  4. 원격 감지 하위 이미지 매칭 (MME-RS): 실제 세계의 잡음이 있는 이미지에서 패치 매칭.
• 주요 특징: 각 샘플은 오프라인 분석 및 보상 계산에 사용되는 핵심 중간 시각적 증거 (텍스트화됨) 를 포함하는 지각 필드를 포함하지만, 추론 중 모델 입력으로는 제공되지 않습니다.
• 격리: 학습 코퍼스는 무작위 시드, 레이아웃, 인스턴스에 대해 테스트 세트와 엄격하게 격리되어 누출을 방지합니다.

4. 실험 결과

저자들은 CAVE(Qwen2.5-VL 기반) 를 일반 VLM, 추론 지향 모델, 도구 증강 방법 등 다양한 베이스라인과 비교 평가했습니다.

• 분산된 시각 성능: CAVE 는 비교 가능한 오픈 소스 베이스라인 중 최고의 전체 평균 성능을 달성했습니다.
  • TRACER-Bench에서 CAVE-7B 는 기본 Qwen2.5-VL-7B 대비 평균 점수를 +15.5% 향상시켰습니다.
  • 이는 ThinkLite-VL, VLAA-Thinker 와 같은 전문 추론 모델과 DeepEyes 와 같은 도구 지원 방법보다 훨씬 뛰어납니다.
  • 제거 실험 ("Belief-Only") 은 답변 신념 이득이 효과적이지만 증거 획득과 초점 제어 없이는 불충분함을 보여주어, 세 부분으로 구성된 구조화된 크레딧의 필요성을 확인했습니다.
• 일반 멀티모달 성능: CAVE 는 일반 벤치마크 (MMStar, RealWorldQA, HallusionBench 등) 에서 경쟁력 있는 성능을 유지하며, 6 개 벤치마크 중 4 개에서 최상위 또는 최상위 근처 결과를 달성했습니다. 이는 시각적 증거 탐색을 최적화하는 것이 일반 능력을 저하시키지 않음을 나타냅니다.
• 강건성: CAVE 는 추론 깊이 (홉) 와 교차 영역 거리가 증가함에 따라 성능 저하가 더 느리게 발생하여 장거리 의존성에서 향상된 안정성을 시사합니다.
• 효율성: CAVE 는 베이스라인과 동등하거나 더 낮은 토큰/도구 예산으로 더 높은 정확도를 달성하며, 이는 더 높은 "유용한 줌 비율"(양수 이득을 산출하는 줌의 비율) 로 입증됩니다.

5. 중요성과 주장

이 논문은 CAVE 가 VLM 추론의 특정 격차, 즉 공간적으로 분산되고 의미적으로 약한 증거를 신뢰성 있게 통합하지 못하는 문제를 해결한다고 주장합니다.

• 구조화된 크레딧 할당: 주요 기여는 중간 추론 가치를 신념 업데이트, 증거 획득, 적응형 초점 제어로 분해하는 것입니다. 이는 기존 궤적 수준 보상이 놓치는 표적화된 행동 수준 감독을 제공합니다.
• 프로세스 지향 최적화: 결과는 성능 향상이 더 큰 모델 규모나 특정 도구 형식에서 비롯된 것이 아니라 시각적 증거 진행 과정의 구조화된 모델링에서 비롯됨을 시사합니다.
• 일반화 가능성: 이 방법은 일반 멀티모달 능력을 유지하면서 분산된 작업의 성능을 향상시켜, 학습된 시각적 증거 탐색 및 통합 능력이 전이 가능함을 나타냅니다.
• 벤치마킹: TRACER-Bench 는 검증 가능한 중간 증거 체인을 가진 교차 영역 의존성 추론을 평가하기 위한 필수 프레임워크를 제공하며, Tunnel Vision 나 BabyVision 과 같은 기존 벤치마크의 프로세스 - 증거 분석 부재를 해결합니다.

저자들은 CAVE 가 모델이 작업에 중요한 증거를 발견하고, 추론 상태를 업데이트하며, 정보 풍부한 영역에 초점을 맞추도록 효과적으로 안내하여, 낮은 의미적 분리성과 장거리 의존성 조건에서 더 견고한 시각적 추론을 이끌어낸다고 결론지었습니다.