기술 요약: CASHEW – 반복적 궤적 집계를 통한 멀티모달 추론의 안정화

1. 문제 정의

시각-언어 모델(VLM)은 멀티모달 이해 및 추론 작업에서 상당한 성공을 거두었습니다. 그러나 이들의 다단계 추론 과정은 여전히 취약하고 불안정합니다. 주요 이슈는 다음과 같습니다:

• 불안정성: 동일한 입력에 대해 반복적으로 샘플링할 경우, 서로 다른 추론 궤적과 일관되지 않은 최종 예측이 나타나는 경우가 많습니다.
• 환각(Hallucinations): 모델은 추론 단계가 실제 시각적 증거에 근거하지 않는 시각적 환각 현상을 일으키기 쉽습니다.
• 현재 테스트 타임 스케일링(Test-Time Scaling)의 한계: 기존 방식은 대개 "샘플링 후 선택(sample-and-select)" 패러다임을 따르며, 이는 여러 독립적인 체인을 생성하고 기각된 궤적에서 부분적인 통찰을 버리는 방식입니다. 또한, 명시적인 근거 제시 없이 단순히 추론 길이나 샘플링 횟수를 늘리는 것은 초기 지각 오류를 교정하기보다는 오히려 증폭시켜, 모델이 "더 잘 생각하게" 만드는 것이 아니라 "더 오래 생각하게" 만들 뿐입니다.

2. 방법론

본 논문은 이러한 한계를 해결하기 위해 두 가지 상호 보완적인 접근 방식인 CASHEW(추론 프레임워크)와 CASHEW-RL(학습된 변형 모델)을 제안합니다.

CASHEW: 반복적 집계 프레임워크

CASHEW는 추론을 후보 궤적 집단이 반복적으로 합성되고 정제되는 진화 과정으로 취급합니다. 이는 네 단계로 작동합니다:

1. 집단 초기화: 기본 VLM이 $N$개의 후보 추론 궤적을 포함하는 초기 집단을 생성합니다.
2. 서브셋 샘플링: 각 반복 단계에서, 다양성을 도입하고 단일 추론 모드로 수렴하는 것을 방지하기 위해 참조 후보로서 무작위로 추출된 피어(peer) 궤적 서브셋을 샘플링합니다.
3. 시각적 검증: 집계 전, 경량 시각-텍스트 그라운딩 모듈(Grounding DINO를 사용하여 구현)이 객체 및 속성 수준의 주장을 시각적 입력과 대조하여 검증합니다. 이후 단계들을 가이드하기 위해 근거가 확인된 증거만을 유지합니다.
4. 근거 기반 집계: 모델은 샘플링된 궤적들과 검증된 시각적 증거를 합성하여 업데이트된 고품질의 추론 궤적을 생성합니다. 이 과정은 $T$번의 반복을 거치며, 최종적으로 통합된 궤적을 산출합니다.

CASHEW-RL: GSPO를 통한 학습된 집계

CASHEW-RL은 2단계 사후 학습 과정을 통해 집계 동작을 단일 모델 내로 내재화합니다:

1. 지도 미세 조정(SFT): 모델은 추론 흔적(<thought>), 검증된 시각적 키 세트(<visual_keys>), 그리고 최종 답변(<answer>)의 세 가지 구성 요소를 포함하는 구조화된 집계 형식으로 학습됩니다. 이를 통해 참조 정책($\pi_{ref}$)을 구축하고 모델이 증거를 명시하고 출력 형식을 갖추도록 가르칩니다.
2. GSPO를 통한 강화 학습(RL): 모델은 다음 세 가지 목적을 균형 있게 맞추는 복합 보상 함수를 사용하여 최적화됩니다:
   • 정답 정확도 ($R_{acc}$): 정답과의 정확한 일치 여부.
   • 증거 선택 품질 ($R_{key}$): 관련 있는 시각적 키를 선택하도록 장려하면서도 무분별한 확산을 방지하는 균형 잡힌 정밀도-재현율(precision-recall) 공식.
   • 난이도 인지 길이 페널티 ($R_{len}$): 높은 해결률이 관찰되는 쉬운 작업에서는 과도한 장황함을 억제하고, 어려운 작업에서는 유연성을 허용하는 적응형 페널티.

학습에는 오프라인 교사 생성 궤적과 온-폴리시(on-policy) 궤적의 커리큘럼 기반 혼합 방식이 사용되며, 견고성을 높이고 분포 변화(distribution shift)를 줄이기 위해 자기 생성 데이터의 비율을 점진적으로 높입니다.

3. 주요 기여

• CASHEW: 후보 궤적을 명시적인 시각적 검증과 함께 반복적으로 집계함으로써 환각을 효과적으로 필터링하고 추론을 증거에 근거하게 하여 멀티모달 추론을 안정화하는 플러그 앤 플레이 방식의 추론 타임 프레임워크입니다.
• CASHEW-RL: GSPO와 복합 보상을 통해 궤적 집계를 내재화하여, 모델이 적응형 제어를 통해 강건하고 시각적으로 근거 있는 집계를 수행할 수 있도록 하는 학습된 변형 모델입니다.
• 실증적 검증: 다양한 모델 백본과 모달리티에 걸쳐 일관된 성능 향상을 입증하는 광범-한 실험을 수행했습니다.

4. 실험 결과

본 방법론은 이미지 이해, 비디오 이해 및 비디오 추론을 다루는 13개의 벤치마크에서 평가되었습니다.

• 성능 향상:
  • 이미지 벤치마크: CASHEW-RL은 ScienceQA(Qwen3-VL-4B)에서 +26.2 퍼센트 포인트, EgoSchema(InternVL3.5-8B)에서 +9.1 퍼센트 포인트를 포함한 유의미한 성능 향상을 달お성했습니다.
  • 비디오 벤치마크: Video-MME, LongVideoBench, MVBench 전반에서 일관된 이득이 관찰되었습니다. 예를 들어, CASHEW-RL은 InternVL3.5-8B의 EgoSchema 점수를 +9.1 포인트 향상시켰습니다.
• SOTA와의 비교: CASHEW는 모든 지표에서 기존의 테스트 타임 스케일링 베이스라인(Self-Consistency, Self-Selector, Self-Synthesizer)보다 우수한 성능을 보였습니다. 특히 MME 벤치마크에서 가장 강력한 베이스라인인 Self-Synthesizer보다 지각(perception) 점수에서 +48.2, 인지(cognition) 점수에서 +82.6 포인트 앞섰습니다.
• 절제 연구(Ablation Studies): 시각적 그라운딩 모듈(Grounding DINO)을 제거하더라도 기본 VLM보다 개선된 성능을 보였는데, 이는 반복적 집계가 성능 향상의 주요 동력이며 시각적 그딩이 신뢰성을 더욱 강화한다는 것을 나타냅니다.
• 효율성: CASHEW-RL은 더 깊은 설정의 CASHEW와 대등한 성능을 더 적은 집계 반복 횟수로 달성하여, 집계 효율성이 향상되었음을 시사했습니다.

5. 의의 및 주장

본 논문은 CASHEW와 CASHEW-RL이 멀티모달 추론의 불안정성에 대한 강력한 해결책을 제공한다고 주장합니다. "샘플링 후 선택" 패러다임에서 "반복적 집계" 패러다임으로 전환함으로써, 추론의 합의가 시각적 증거에 기반하도록 보장합니다. 저자들은 이 접근 방식이 모델이 단순히 "더 오래 생각하는 것"이 아니라 "함께 생각하게(think together)" 함으로써 환각을 효과적으로 완화하고 일관성을 높인다고 강조합니다. 시각적 검증과 GSPO를 통한 적응형 추론 노력의 통합은 모델이 정답을 맞힐 뿐만 아니라 최소한의 충분한 시각적 증거에 근거하여 답을 낼 수 있게 합니다.

6. 한계점

저자들은 현재 작업이 통제된 비교를 가능하게 하기 위해 고정된 집계 예산을 사용했음을 인정하며, 이는 광범위한 집계가 필요하지 않을 수 있는 자원 제한적인 애플리케이션에는 최적이 아닐 수 있습니다. CASHEW-RL이 집계 동작을 내재화함으로써 이를 부분적으로 해결하긴 했으나, 적응형 예산 할당에 대한 체계적인 연구를 향후 과제로 식별하였습니다.