기술 요약: ROVER

문제 제기

다중 모달 대규모 언어 모델 (MLLM) 은 특히 사고의 사슬 (Chain-of-Thought, CoT) 패러다임을 통해 비전 - 언어 추론 분야에서 크게 발전했습니다. 그러나 기존 근거 기반 다중 이미지 추론 접근법은 구조적 한계에 직면해 있습니다:

1. 영역 중심적 한계: 현재 "비전 CoT" 방법론은 종종 추론 흐름에 자른 관심 영역 (Regions of Interest, RoIs) 이나 RoI 특정 특징을 주입하는 방식에 의존합니다. 이러한 설계는 영역들을 고립시키는 경향이 있어, 모델의 전체적 장면 이해 능력과 객체 간 관계를 모델링하는 능력을 약화시킵니다. 또한, 디코딩 비용은 RoI 의 공간적 크기와 수에 따라 비례하여 증가하므로, 고해상도 및 다중 객체 처리는 비용이 많이 듭니다.
2. 적응형 선택의 어려움: 적응형 비전 특징 선택 또는 가지치기를 포함하는 대안적 접근법은 종종 세밀한 감독, 복잡한 휴리스틱을 요구하거나 단일 이미지 시나리오에 국한되어, 다중 이미지 추론의 확장성을 저해합니다.
3. 도구 증강의 복잡성: 외부 도구나 실행 가능한 프로그램을 사용하여 증거를 반복적으로 획득하는 방법론은 종종 높은 지연 시간, 복잡성 및 실행의 취약성을 초래합니다.

따라서, 가변 길이 디코딩 오버헤드를 발생시키지 않으면서 고립된 영역을 넘어 전체적 장면 이해와 객체 간 관계 모델링을 촉진하는 디코딩 효율적인 메커니즘이 필요합니다.

방법론: ROVER

저자들은 ROVER(근거 기반 다중 이미지 추론을 위한 라우팅 객체 중심 비전 증거) 를 제안합니다. 이는 자동 autoregressive 생성 동안 전역 비전 증거를 라우팅하도록 설계된 경량 학습 가능 플러그인입니다. ROVER 는 각 객체 근거 예측 시 추론 흐름에 고정 길이의 토큰 삼중항을 추가함으로써 작동합니다.

핵심 구성 요소

1. 트리거 및 삽입 인터페이스:

   • ROVER 는 유효한 근거 이벤트 (예: <obj>...</obj><box>...</box>) 를 감지하면 라우팅을 시작합니다.
   • 가변 길이의 이미지 패치를 주입하는 대신, 입력 임베딩 시퀀스에 고정된 Link/Sift/Weave (LSW) 토큰 삼중항 ($T_k \in \mathbb{R}^{3 \times d}$) 을 추가합니다. 이는 객체의 공간적 크기와 무관하게 근거가 있는 객체당 일정한 디코딩 오버헤드 (3 개 토큰) 를 보장합니다.

2. 라우팅 원시 연산자 (토큰 삼중항):

   • Link 토큰 ($t_{Link}$): 진화하는 디코딩 컨텍스트를 흡수하여 현재 추론 상태를 간결하게 캡슐화합니다.
   • Sift 토큰 ($t_{Sift}$): 이미지 내 단서를 증류합니다. 이는 객체 중심 차분 어텐션 (Object-Centric Differential Attention) 메커니즘을 활용하여 RoI 영역이 아닌 영역에서 보완적 컨텍스트를 집계하고 관련 없는 방해 요소를 억제합니다.
   • Weave 토큰 ($t_{Weave}$): 역사 인식 증거를 통합합니다. 이는 서로 다른 이미지에서 이전에 근거된 객체들로부터 관련 정보를 라우팅하고 결합합니다.

3. 라우팅 모듈:

   • Sift (DiffAttn 을 통해): 객체 바운딩 박스가 주어지면, 모듈은 평균 풀링을 통해 간결한 RoI 쿼리를 계산합니다. 그런 다음 차분 어텐션 (Differential Attention) 을 사용하여 방해 요소를 억제하면서 보완적 컨텍스트 (박스 외부 패치) 를 쿼리합니다. 어텐션 연산자는 다음과 같이 정의됩니다:
     $$\text{DiffAttn}(Q, K, V) = \left(\text{softmax}\left(\frac{Q_1 K_1^\top}{\sqrt{d_h}}\right) - \lambda \cdot \text{softmax}\left(\frac{Q_2 K_2^\top}{\sqrt{d_h}}\right)\right)V$$
     이를 통해 모델은 전체 이미지를 다시 인코딩하지 않고도 장면 컨텍스트 (예: 제동 중인 자동차 근처의 신호등) 를 추출할 수 있습니다.
   • Weave (VWS 를 통해): 모든 라우팅 이벤트 간에 공유되는 통합된 역사 순서 메모리 (Visual Working Space, VWS, $W_k$) 를 유지합니다. Weave 토큰은 자동 autoregressive 마스킹을 사용하여 이 VWS 를 어텐션하여 객체 및 이미지 간 역사적 증거를 통합하며, 이는 인간 시각 인지에서의 "되돌아보기 (return fixations)"를 모방합니다.

4. 학습 파이프라인:

   • 저자들은 ROVER 를 Qwen2.5-VL-7B에 통합하고 통일된 Interleaved SFT-to-GRPO 파이프라인을 사용합니다.
   • Interleaved SFT: 모델이 정확한 근거 패턴과 작업별 응답을 생성하도록 학습시키며, 근거 완료 시 자동으로 LSW 삼중항을 삽입합니다.
   • Interleaved GRPO: 그룹 상대 정책 최적화 (Group Relative Policy Optimization) 를 사용하여 응답 정확도라는 궤적 보상을 최적화하되, 삽입된 라우팅 토큰을 손실 계산에서 제외하여 안정적인 정책 업데이트를 보장합니다.

주요 기여

1. ROVER 플러그인: 각 근거 예측 후 고정 길이의 토큰 삼중항을 추가하여 전역 객체 중심 비전 증거 라우팅을 구현하는 경량 학습 가능 메커니즘으로, 가변 길이 RoI 주입의 오버헤드를 방지합니다.
2. 새로운 아키텍처: 방해 요소를 억제하면서 보완적 단서를 증류하는 객체 중심 차분 어텐션 메커니즘의 도입과, 객체 및 이미지 간 역사 인식 라우팅을 위한 시각 작업 공간 (VWS) 의 결합.
3. 학습 프레임워크: 통제된 환경 하에서 단일 이미지 및 다중 이미지 근거 추론 작업 모두에서 일관된 개선을 제공하는 통일된 인터리브드 SFT-to-GRPO 학습 파이프라인.

실험 결과

이 방법은 원래 데이터셋과 평가 프로토콜을 엄격히 준수하여 VideoEspresso(다중 이미지 추론) 와 MM-GCoT(단일 이미지 근거 추론) 에서 평가되었습니다.

• VideoEspresso: ROVER 는 통제된 환경에서 최상의 성능을 달성하여 이전 최우수 기준선보다 답변 정확도에서 +8.6% 더 높은 성과를 거두었습니다. 또한 VideoEspresso 에서만 파인튜닝되었음에도 불구하고 다양한 벤치마크 (예: Mantis, V-Star, TreeBench) 에서 기본 모델을 평균 +4.7% 개선하는 강력한 전이성을 보여주었습니다.
• MM-GCoT: 이 방법은 최첨단 결과를 달성하여 기준선 대비 답변 정확도를 +4.8%, 근거 정확도를 +14.6% 개선했습니다.
• 효율성: RoI 재샘플링 방법과 비교하여 ROVER 는 추론 품질을 향상시키면서 총 출력 토큰을 57.9% 감소시켜 우수한 디코딩 효율성을 입증했습니다.
• Ablation 연구: 실험은 차분 어텐션 (Sift) 이 방해 요소를 억제함으로써 근거 정확도를 크게 향상시키고, VWS(Weave) 가 여러 이미지 간 역사적 증거 통합에 필수적임을 확인했습니다.

중요성 및 주장

이 논문은 ROVER 가 근거 추론에서 전체적 장면 이해와 디코딩 효율성 사이의 트레이드오프를 해결한다고 주장합니다. 이중 처리 인지 프레임워크 (신속한 프론트엔드 집계 followed by 의도적인 백엔드 추론) 와 개념적으로 정렬함으로써, ROVER 는 MLLM 이 다음과 같은 능력을 갖추도록 합니다:

• 대규모 이미지 패치를 다시 인코딩하는 비용 없이 동적으로 비전 증거를 재방문하고 재구성할 수 있습니다.
• 시각 작업 공간을 통해 객체 간 관계를 모델링하고 여러 이미지 간 전역 컨텍스트를 유지할 수 있습니다.
• 작업별 파인튜닝이나 복잡한 외부 도구가 필요 없이 다양한 다중 모달 도메인 (TreeBench 및 HallBench 와 같은 벤치마크에 대한 제로샷 전이 포함) 으로 강력한 일반화를 달성할 수 있습니다.

저자들은 ROVER 를 시각 인식의 대체물이 아닌, 국소적 세부 사항과 전역적 추론을 연결하는 구조화된 라우팅 메커니즘으로 위치시키며, 복잡하고 다단계인 비전 추론 작업을 위한 확장 가능한 솔루션을 제시합니다.