기술 요약: SPARC – 시각-언어 모델(VLM)의 테스트 타임 스케일링을 위한 지각 및 추론 회로 분리

1. 문제 정의

최근의 발전에도 불구하고, 테스트 타임 스케일링(test-time scaling)—추론 중에 토큰 예산을 동적으로 확장하여 성능을 향提升하는 것—은 시각-언어 모델(VLM)에서 여전히 취약한 상태입니다. 특히 "이미지로 생각하기(thinking with images)" 패러다임에 기반한 현재의 접근 방식들은 지각(perception)과 추론(reasoning) 토큰이 뒤엉킨 비구조화된 시각적 추론 사슬에 의존합니다. 이러한 얽힘은 다음과 같은 몇 가지 심각한 문제를 야기합니다:

• 연쇄 오류(Cascading Errors): 초기 추론 단계에서의 작은 지각적 실수가 전파되어, 최종 답변이 완전히 틀리게 되는 현상(환각 또는 "신기루 추론(mirage reasoning)")을 초래합니다.
• 계산 효율성 저하: 비구조화된 사슬은 종종 길고 무질서한 컨텍스트를 생성하며, 이를 최적화하기 위해 수작업으로 설계된 보상을 사용하는 값비싼 강화 학습(RL)이 필요합니다.
• 유연성 부족: 단일 구조(Monolithic) 방식은 작업 난이도에 따라 계산 할당을 조절하는 메커니즘이 부족합니다. 응답 종료 결정이 LLM에 맡겨져 있어, 단순한 지각 작업에는 과도한 토큰을 사용하거나 복잡한 세부 사항에는 충분한 집중을 하지 못하는 경우가 발생합니다.
• 학습 복잡성: 시각 및 추론 토큰이 혼합된 멀티턴 대화를 관리하도록 학습하는 것은 계산 비용이 많이 들며, 특히 작은 모델의 경우 사전 학습된 능력을 망각하는 파괴적 망각(catastrophic forgetting)이 발생하기 쉽습니다.

2. 방법론: SPARC 프레임워크

생물학적 뇌의 계층적 정보 처리(특히 전전두엽 피질으로 수렴하는 "무엇(what)"과 "어디(where)" 시각 경로의 분리)에서 영감을 받아, 저자들은 SPARC(Separating Perception And Reasoning Circuits)를 제안합니다. 이는 시각적 지각과 추론을 명시적으로 분리하는 모듈형 2단계 파이프라인입니다.

1단계: 암시적 관련성 탐지(Implicit Relevance Detection, IRD) - 지각 회로

모델에게 질문에 직접 답하도록 유도하는 대신, 첫 번째 단계에서는 모델에게 명시적인 시각적 탐색을 수행하도록 과업을 부여합니다.

• 입력: 원본 이미지와 질문.
• 출력: 쿼리와 관련된 이미지 영역을 식별하는 좌표(경계 상자 또는 점).
• 메커니즘: 모델은 지각 회로로서 작동하며, 핵심적인 영역을 엄격하게 국지화(localization)합니다. 이는 모델이 표준적인 참조 표현 이해(Referring Expression Comprehension)처럼 명시적인 객체 이름을 부여받는 것이 아니라, 높은 수준의 프롬프트로부터 잠재적인 시각적 관련성을 추론해야 하므로 "암시적 관련성 탐지"라고 불립니다.
• 최적화: 이 단계는 **비대칭적 계산 할당(asymmetric compute allocation)**으로 실행될 수 있습니다. 예를 들어, 전체 추론 사슬의 비용을 들이지 않고도 가중 박스 융합(Weighted Box Fusion, WBF)을 통해 견고한 국지화를 보장하기 위해 공유된 KV-캐시를 사용하여 여러 롤아웃(예: $N=8$)을 생성할 수 있습니다.

2단계: 지각적 추론 - 추론 회로

두 번째 단계는 첫 번째 단계의 출력에 기반하여 추론 과정을 조건화합니다.

• 입력: 원본 이미지(또는 글로벌 뷰)와 1단계에서 식별된 고해상도 크롭(crop) 이미지들.
• 출력: 최종 답변.
• 메커니즘: 모델은 (전전두엽 피질과 유사하게) 오직 관련성 높은 고충실도 시각적 증거만을 바탕으로 사고 사슬(Chain-of-Thought, CoT)을 합성하는 추론 회로로서 작동합니다.
• 컨텍스트 엔지니어링: 필요한 고해상도 콘텐츠만을 포함하는 구조화된 컨텍스트를 제공함으로써, SPARC는 길고 무질서한 멀티모달 롤아웃과 관련된 "터널 시야(tunnel vision)"나 컨텍스트 붕괴를 방지합니다.

학습 전략

SPARC는 독립적인 최적화를 가능하게 합니다. 저자들은 지각 회로가 추론 백본의 사전 학습된 능력을 저하시키지 않으면서 IRD 작업을 위해 특정적으로 미세 조정(예: LoRA)될 수 있음을 입로 보여줍니다. 이는 복잡한 멀티턴 추론 궤적에 대해 단일 구조 모델을 미세 조정할 때 흔히 발생하는 파괴적 망각을 방지합니다.

3. 주요 기여

1. SPARC 프레임워크: 최소한의 계산 오버헤드로 제로샷 모드에서 지각 작업의 신뢰할 수 있는 테스트 타임 스케일링을 가능하게 하는 프롬프팅 기법을 제공합니다.
2. 비대칭적 계산 할당: 지각과 추론을 독립적으로 스케일링할 수 있는 능력입니다. 저자들은 지각 브랜치에 선택적으로 자기 일관성(self-consistency, 여러 롤아웃)을 적용하는 것이 단순한 전체 추론 사슬의 앙상블에 비해 훨씬 적은 토큰 비용으로 상당한 성능 향상을 가져온다는 것을 보여줍니다.
3. 효율적인 학습: 지각 모델을 전문화된 LoRA 어댑터(대규모 교사 모델이 생성한 합성 데이터 사용)를 통해 미세 조정함으로써, 추론 모델의 원래 능력을 해치지 않고도 효율적이고 표적화된 미세 조정을 할 수 있음을 입증했습니다.
4. 해상도 보상: 정확한 지각적 가이드(정밀한 크로핑)가 글로벌 시각적 디테일의 손실을 완전히 보상할 수 있음을 보여주며, 이를 통해 저해상도 모델이 올바른 크롭 이미지를 제공받았을 때 고해상도 모델의 성능을 따라잡을 수 있게 합니다.

4. 실험 결과

저자들은 V* (고해상도 객체 국지화), HRBench-4K/8K, 그리고 OOD(Out-of-Distribution) 환경인 XLRS 원격 탐사 벤치마크를 포함한 도전적인 시각적 추론 벤치마크에서 SPARC를 평가했습니다.

• 성능 향상:
  • V* 벤치마크에서, SPARC는 네이티브 베이스라인과 비교하여 Qwen3-VL 4B의 성능을 6.7 포인트 (256px 해상도에서 41.7에서 51.0으로) 향상시켰습니다.
  • OOD 설정(XLRS)에서, SPARC는 "이미지로 생각하기" 패러다임보다 4.6 포인트 더 높은 성능을 기록하면서도 200배 더 적은 토큰 예산을 사용했습니다.
  • SPARC는 테스트된 모든 모델 제품군(Qwen3-VL 및 Molmo2)과 크기(4B 및 8B)에 걸쳐 단일 구조 베이스라인 및 강력한 시각적 접지(visual-grounding) 접근 방식보다 일관되게 우수한 성능을 보였습니다.
• 효율성:
  • SPARC는 훨씬 적은 토큰으로 우수한 정확도를 달성합니다. 예를 들어, 256px 해상도 설정에서 SPARC는 종종 전체 해상도로 실행되는 "이미지로 생각하기"보다 더 나은 성능을 보입니다.
  • 지각 단계에서 8개의 롤아웃과 함께 WBF를 사용한 결과, Qwen3-VL 4B의 최종 크롭 수가 약 3.3개로 줄어들어 추론 단계를 위한 시각적 토큰 수를 획기적으로 감소시켰습니다.
• 학습 효율성:
  • 전문화된 LoRA 어댑터를 사용하여 지각 모듈을 미세 조정함으로써 성능을 더욱 높였습니다. 역설적이게도, **낮은 해상도(256px)**에서 학습하는 것이 전체 해상도 학습보다 더 나은 일반화 성능을 보였는데, 이는 모델이 고주파 세부 사항에 과적합되는 대신 견고한 구조적 특징을 배우도록 강제하는 정규화 역할을 했습니다.
• 강건성:
  • SPARC는 글로벌 또는 관계형 쿼리에 대해 "터널 시야" 문제를 겪지 않았습니다. 즉, 추론 단계 동안 글로벌 이미지 컨텍스트를 유지하여, 필요한 경우 모델이 전체 뷰로 돌아갈 수 있도록 합니다.

5. 의의 및 주장

본 논문은 SPARC가 비구조화되고 얽힌 추론에서 구조화되고 모듈화된 지각-추론 파이프라인으로 전환함으로써 VLM 추론의 패러다임 변화를 나타낸다고 주장합니다.

• 생물학적 타당성: 이 아키텍처는 뇌에서 발견되는 감각 처리와 고차원 인지 통합의 분리를 반영하며, 더 견고하고 효율적인 추론 전략을 제공합니다.
• 확장성: 회로를 분리함으로써, SPARC는 동적인 자원 할당(예: 어려운 시각적 작업을 위해 지각에 더 많은 계산량을 할당하는 동시에 추론 비용은 낮게 유지)을 가능하게 합니다.
• 실용성: 이 방법은 주로 학습이 필요 없는(프롬프팅에 의존하는) 방식이지만, "이미지로 생각하기" 접근 방식에 필요한 복잡한 강화 학습 프레임워크의 불안정성 없이 효율적이고 표적화된 미세 조정도 지원합니다.
• 한계점: 저자들은 SPARC가 현재 네이티브 공간 접지 능력(좌표 또는 점 출력)을 가진 VLM에 의존한다는 점을 인정합니다. 이를 순수 텍스트 생성형 VLM에 적용하려면 외부 객체 탐지 모델을 통합해야 합니다.

요약하자면, SPARC는 "어디(where)"(지각)와 "왜(why)"(추론)를 명시적으로 분리함으로써, VLM이 효과적으로 스케일링하고 환각을 줄이며, 현저히 낮은 계산 비용으로 최첨단 성능을 달 수 있음을 입증했습니다.