기술 요약: 의미 풍부 잠재 시각 추론 (SLVR)

1. 문제 제기

다중 모달 잠재 공간 추론은 반복적인 자르기, 도구 호출 등 계산 비용이 많이 드는 명시적 "이미지로 사고하기"를 대체하기 위해, 컴팩트한 잠재 공간 내에서 직접 시각적 추론을 수행하는 것을 목표로 합니다. 그러나 기존 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 의미 풍부함 부족: 현재 방법들은 일반적으로 시각적 감독에만 의존하여, 잠재 표현이 외관 수준의 단서만 인코딩하고 다양한 추론 작업에 필요한 세밀한 의미 내용 (예: 객체 속성, 상태, 상호작용) 을 명시적으로 보존하지 못합니다.
2. 단일 작업 최적화: 잠재 학습은 종종 단일 쿼리나 작업 형식에 의해 주도됩니다. 동일한 시각 영역에 기반한 다양한 쿼리 유형과 추론 세밀도를 지원하도록 단일 풍부화된 잠재 표현이 어떻게 정렬되어야 하는지에 대한 통합 메커니즘이 부재합니다.

결과적으로 기존 잠재 표현은 여러 의미 관점을 동시에 다뤄야 하는 영역 수준 추론 작업을 견고하게 처리하는 데 필요한 구조적 의미 정보를 결여하고 있습니다.

2. 방법론

저자들은 속성 수준 시각 의미로 잠재 표현을 풍부하게 하고, 이를 다양한 추론 목표와 정렬하도록 설계된 2 단계 학습 프레임워크인 **의미 풍부 잠재 시각 추론 (SLVR)**을 제안합니다.

2.1. 데이터 구축 (SLV-Set)

프레임워크를 지원하기 위해 저자들은 Visual-CoT 기반의 두 가지 상호 보완적 구성 요소로 이루어진 SLV-Set을 구축했습니다:

• 속성 수준 의미 데이터셋: 약 40 만 개의 영역 수준 속성 주석입니다. Qwen3-VL-235B 를 사용하여 주요 영역에 대한 구조화된 의미 프로파일을 생성하며, 외관 (색상, 모양, 재질), 동작, 상호작용, 공간 속성 및 텍스트를 포괄합니다. 이들은 세밀한 감독 신호로 활용되기 위해 4096 차원 의미 임베딩으로 인코딩됩니다.
• 다중 쿼리 데이터셋: 동일한 시각 영역에 기반하여 서로 다른 의미적 측면을 탐구하는 약 80 만 개의 질문 - 답변 쌍입니다.

또한, 동일한 영역을 여러 의미 관점에서 질의함으로써 의미 변화 하의 잠재 추론 견고성을 평가하기 위해 기존 벤치마크 (V*, HRBench-4K, HRBench-8K) 를 확장한 SV-QA를 벤치마크 (591 개의 쌍을 이룬 샘플) 로 도입했습니다.

2.2. 1 단계: 구조화된 잠재 학습

첫 번째 단계에서 모델은 시각적 증거를 속성 수준 의미와 명시적으로 통합하는 영역 중심 잠재 표현을 학습합니다.

• 입력 구성: 이미지와 질문이 처리됩니다. 관심 영역 (ROI) 은 시각 잠재 세그먼트 ($H_{vis}$) 로 인코딩됩니다. 특수 토큰 <sem> 이 삽입되어 단일 의미 잠재 ($z_{sem}$) 를 생성합니다.
• 시각 정렬: 시각 잠재 토큰은 세밀한 시각적 세부 사항을 보존하기 위해 평균 제곱 오차 (MSE) 손실을 사용하여 비전 인코더의 특징과 정렬됩니다.
• 의미 정렬: 의미 잠재 ($z_{sem}$) 는 투사되어 사전 계산된 속성 수준 의미 임베딩 ($e$) 과 MSE 손실을 사용하여 정렬됩니다. 이는 잠재가 구조화된 속성 (예: "카메라를 들고 있음", "초록색 재킷") 을 포착하도록 강제합니다.
• 목적 함수: $L_{stage1} = L_{vis} + L_{sem}$.

2.3. 2 단계: 다중 쿼리 그룹 상대 정책 최적화 (M-GRPO)

두 번째 단계는 학습된 잠재가 일관되게 다양한 추론 목표를 지원하도록 정제합니다.

• 메커니즘: 동일한 영역에 기반한 여러 질문 ($q_1, q_2$) 이 주어지면 모델은 해당하는 잠재 쌍을 생성합니다. M-GRPO 는 이러한 잠재들을 공동으로 최적화하기 위해 정책 업데이트를 수행합니다.
• 보상 구성 요소:
  1. 답변 정확도: 외부 판정자에 의해 평가된 각 쿼리에 대한 정확한 답변에 보상을 부여합니다.
  2. 잠재 일관성: 동일한 영역에 기반한 서로 다른 쿼리 ($q_1$ 대 $q_2$) 에 대해 생성된 잠재 간의 편차를 패널티로 부과하여, 의미 변화 전반에 걸쳐 잠재 표현이 안정적으로 유지되도록 합니다.
  3. 안정성 정규화: 과도한 이탈을 방지하기 위해 마진 기반 형식을 사용하여 최적화된 잠재들을 1 단계에서 학습된 분포에 고정합니다.
• 최적화: 프레임워크는 그룹 상대 정책 최적화 (GRPO) 목적 함수를 사용하여, 영역 기반 쿼리 그룹에 대한 정책을 업데이트함으로써 여러 의미 쿼리에 동시에 효과적인 표현을 장려합니다.

3. 주요 기여

1. SLVR 프레임워크: 세밀한 속성 수준 시각 의미로 잠재 표현을 풍부하게 하고 M-GRPO 를 통해 다양한 추론 요구와 정렬하는 2 단계 학습 패러다임.
2. SLV-Set 데이터셋: 의미 풍부화와 잠재 정렬에 필요한 감독을 제공하는 약 40 만 개의 영역 수준 속성 주석과 약 80 만 개의 다중 쿼리 QA 샘플을 포함한 대규모 자원.
3. SV-QA 벤치마크: 동일한 시각 영역을 여러 의미 관점에서 질의함으로써 의미 변화 하의 잠재 추론 견고성을 테스트하도록 설계된 새로운 평가 벤치마크.
4. 실증적 검증: 기존 잠재 추론 베이스라인 및 "이미지로 사고하기" 접근법과 비교하여 SLVR 이 추론 견고성과 의미 일관성을 향상시킨다는 것을 보여주는 광범위한 실험.

4. 실험 결과

실험은 표준 VQA 벤치마크 (OKVQA, GQA, VizWiz, ChartQA, TextVQA, AI2D) 와 제안된 SV-QA 벤치마크에서 수행되었습니다.

• 표준 벤치마크: SLVR-7B 는 기존 잠재 추론 방법 (예: LVR) 보다 우수한 성능을 보였으며, "이미지로 사고하기" 베이스라인 (예: GRIT, DeepEyes) 과도 경쟁력 있는 결과를 유지했습니다. OKVQA(+11.2%, LVR 대비) 과 VizWiz(+24.7%) 에서 주목할 만한 향상이 관찰되었습니다.
• SV-QA 벤치마크: SLVR 은 V*, HRBench-4K, HRBench-8K 전반에 걸쳐 "둘 다 정확 (Both Correct)" 지표 (동일 영역에 대한 두 개의 서로 다른 질문에 대한 공동 정확도) 에서 우수한 성과를 거두었습니다. 예를 들어, HRBench-8K 에서 SLVR 은 LVR 대비 "둘 다 정확" 점수를 +4.0% 향상시켰습니다.
• VisualPuzzles: SLVR 은 LVR(29.4%) 대비 전체 정확도 34.2% 로 최상의 성과를 거두었으며, 추론 (+5.0) 과 공간 (+7.4) 추론 카테고리에서 유의미한 개선을 보였습니다.
• 절대 실험 (Ablation Studies): 1 단계 의미 감독과 M-GRPO 일관성 제약이 결정적임을 결과가 확인했습니다. 텍스트 전용 베이스라인은 다중 쿼리 학습을 수행하더라도 여러 의미 관점에 걸쳐 일관된 기반을 유지하는 데 있어 잠재 추론 변형보다 뒤처졌습니다.

5. 중요성과 주장

이 논문은 SLVR 이 순수한 시각적 감독을 넘어 의미가 풍부해진 잠재 표현으로 이동함으로써 현재 다중 모달 추론의 중요한 간극을 해소한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 명시적 시각 작업 (자르기) 은 계산적으로 비효율적인 반면, 순수한 시각 잠재들은 의미적 깊이가 부족합니다.
• 속성 수준 의미로 잠재들을 명시적으로 감독하고 여러 쿼리 전반에 걸쳐 일관성을 강제함으로써, 모델들은 명시적 시각 조작의 오버헤드 없이 더 견고하고 의미적으로 일관된 추론을 달성할 수 있습니다.
• 제안된 프레임워크는 동일한 시각 증거에 기반한 다양한 작업과 추론 세밀도를 유연하게 지원할 수 있는 잠재 표현을 가능하게 하여, 명시적 "이미지로 사고하기"에 대한 확장 가능한 대안을 제공합니다.

이 연구는 기계 학습 분야, 특히 다중 모달 잠재 추론의 효율성과 의미 충실도를 향상시키는 측면에서의 진전으로 위치 지어집니다.