기술 요약: Look on Demand (CSMR)

1. 문제 제기

현재의 다중 모달 추론 접근법은 일반적으로 시각적 증거의 통합과 관련하여 심각한 구조적 한계를 보이는 두 가지 패러다임 중 하나를 따릅니다.

1. 추론 전 시각 - 텍스트 변환: 이러한 방법들은 추론이 시작되기 전에 이미지를 텍스트 설명으로 변환합니다. 대규모 언어 모델 (LLM) 의 강력한 추론 능력을 활용하지만, 이러한 정적 변환은 필연적으로 세밀한 시각적 디테일을 압축합니다. 결정적으로, 추론 경로가 아직 전개되지 않았기 때문에 초기 텍스트화는 후속 단계에서 결정적일 수 있는 증거를 포착하지 못합니다.
2. 통합 비전 - 언어 표현: 이러한 방법들은 명시적인 변환을 피하며 통합된 임베딩 공간 내에서 엔드 - 투 - 엔드 추론을 수행합니다. 그러나 저자들은 이 패러다임이 언어적 지배성으로 고통받는다고 주장합니다. LLM 의 자기 주의 (self-attention) 메커니즘과 표준 학습 목표로 인해 시각적 표현은 언어적 사전 지식 (priors) 에 편향됩니다. 이는 원래 이미지 증거에 대한 충실도를 약화시켜, 모델이 시각적 근거 대신 텍스트에 의존하는 환각 (hallucinations) 을 초래합니다.

식별된 핵심 과제는 정보 손실과 표현 편향을 모두 피하기 위해 시각적 증거가 추론 과정에 언제 그리고 어떻게 도입되어야 하는지를 결정하는 것입니다.

2. 방법론: CSMR 프레임워크

저자들은 지각과 추론을 분리하고 시각적 증거 획득을 동적이며 상태 기반의 과정으로 취급하는 CSMR(다중 모달 추론을 위한 인지 스케줄링) 을 제안합니다. 이 프레임워크는 두 개의 명확한 모듈로 구성됩니다.

A. 인지 추론 코어 (CRC)

• 역할: 인지 컨트롤러로 작용하는 LLM 입니다. 이는 추론 흔적과 누적된 시각적 증거를 포함하는 명시적 전역 추론 상태 ($h_t$) 를 유지합니다.
• 기능: CRC 는 현재 증거가 질문에 답하기에 충분한지 아니면 추가 시각 정보가 필요한지 반복적으로 결정합니다.
• 결정 메커니즘: 각 단계에서 CRC 는 두 가지 의도 중 하나로 파싱되는 출력을 생성합니다.
  1. 쿼리 ($q^v_t$): 특정 증거를 요청하는 타겟팅된 시각 쿼리.
  2. 답변 ($a_{final}$): 최종 결론.
• 동적 제어: 정적 접근법과 달리 CRC 는 진화하는 추론 상태에 기반하여 쿼리를 동적으로 스케줄링하여 반복적 검증과 조기 종료를 가능하게 합니다.

B. 주 시각 지각 모듈 (PVP)

• 역할: 전문화된 지각 도구로 작용하는 독립적인 비전 - 언어 모델 (VLM) 입니다.
• 기능: CRC 로부터 시각 쿼리 ($q^v_t$) 를 받으면, PVP 는 원본 이미지 ($I$) 를 분석하고 텍스트화된 시각적 증거 ($a^v_t$) 를 반환합니다.
• 설계 선택: PVP 는 추론 코어와 독립적으로 유지되어 시각적 표현이 추론 과정의 언어적 사전 지식에 영향을 받지 않도록 합니다.

추론 워크플로우

1. CRC 는 빈 상태로 초기화됩니다.
2. 현재 상태를 기반으로 중간 출력을 생성합니다.
3. 쿼리가 발행되면 PVP 는 이미지를 분석하여 텍스트 증거를 반환합니다.
4. CRC 는 이 새로운 증거로 상태를 업데이트하고 과정을 반복합니다.
5. CRC 가 최종 답변을 출력하기로 결정하거나 최대 토큰 예산에 도달하면 루프가 종료됩니다.

3. 주요 기여

1. 구조적 분석: 이 논문은 통합 다중 모달 추론의 구조적 한계를 식별하고 경험적으로 입증합니다. 즉, 주의 메커니즘과 학습 목표로 인해 시각적 표현이 언어적 사전 지식에 의해 체계적으로 편향되어 시각적 근거가 약화됩니다.
2. CSMR 프레임워크: LLM 이 명시적 추론 상태를 유지하여 독립적 지각 모듈로부터 작업 관련 시각적 증거의 획득을 동적으로 지배하는 인지 스케줄링 프레임워크를 제안합니다.
3. 경험적 검증: 추가 학습 없이 제로샷 (zero-shot) 설정에서 CSMR 이 대표적인 베이스라인보다 일관되게 우수한 성능을 보임을 여러 벤치마크 (M3CoT, ScienceQA, LLaVA-W) 를 통한 광범위한 평가를 통해 입증했습니다.

4. 실험 결과

저자들은 No-CoT, 캡션 기반 추론, DDCoT, CCoT, SCAFFOLD, ICoT 를 포함한 베이스라인에 대해 CSMR 을 평가했습니다.

• 정확도: CSMR 은 세 가지 벤치마크 전반에서 최첨단 (state-of-the-art) 결과를 달성했습니다. 예를 들어, ScienceQA에서 CSMR 은 **78.2%**의 정확도를 기록하여 통합 패러다임 베이스라인인 ICoT(56.8%) 와 텍스트 중심의 DDCoT(71.9%) 를 크게 앞섰습니다. M3CoT에서는 ICoT 의 44.1% 대비 **45.7%**에 도달했습니다.
• Ablation 연구:
  • 동적 쿼링: 시스템을 단일 시각 쿼리로 제한하면 정확도가 45.7% 에서 40.0% 로 하락하여 반복적이고 피드백 기반의 획득의 필요성을 입증했습니다.
  • 사전 계획: 중간 추론 없이 모든 쿼리를 첫 단계에서 생성하도록 강제하면 정확도가 40.1% 로 감소하여 동적 스케줄링의 필요성을 강조했습니다.
  • 종료: 상호작용 단계 수를 높은 숫자 (7) 로 고정하면 정확도가 42.7% 로 감소하여 불필요한 정보와 의미적 편향을 피하기 위해 유연하고 조기 종료가 중요함을 나타냈습니다.
• 환각 감소: CSMR 은 증거 조건부 추론 경로로 인해 DDCoT 대비 환각이 없는 샘플에서 9 퍼센트 포인트 증가를 보였습니다.
• 효율성: CSMR 은 여러 모델 호출을 포함하지만, 조기 종료를 통해 불필요한 추론 단계 생성을 피하므로 DDCoT 보다 더 효율적 (샘플당 소요 시간이 더 짧음) 이었습니다.

5. 중요성과 주장

저자들은 이 작업의 주요 중요성이 더 긴밀한 다중 모달 융합에서 원칙적인 증거 스케줄링으로 초점을 이동하는 데 있다고 주장합니다.

• 분리 이점: 지각과 추론을 분리함으로써 CSMR 은 통합 모델이 겪는 "언어적 지배성"을 방지하여 추론 코어가 시각적 증거에 충실하도록 합니다.
• 확장성: 이 프레임워크는 추론 모듈 (LLM) 을 지각 모듈 (VLM) 과 독립적으로 업그레이드할 수 있는 능력 확장 경로를 제공합니다. 이는 통합 모델을 재학습하는 것보다 학습 효율성이 더 높은 것으로 제시됩니다.
• 학습 불필요 (Training-Free): 현재 구현은 미세 조정 없이 기존 LLM 과 VLM 의 고유한 능력에 의존하여 이러한 이점을 달성합니다.
• 한계와 향후 작업: 저자들은 다중 모델 협업이 단일 패스 통합 모델에 비해 추론 오버헤드를 도입한다는 점을 인정합니다. 그들은 효율성을 개선하기 위해 양자화 (quantization) 를 탐구하는 향후 작업을 제안합니다. 또한 현재 버전은 학습이 필요 없으나, 프레임워크는 향후 매개변수 최적화 (예: 정보 탐색 행동을 위한 CRC 학습) 와 구조적으로 호환된다고 지적합니다.

이 논문은 효과적인 다중 모달 추론이 교차 모달 융합의 깊이에 덜 의존하고 시각적 증거가 언제 그리고 어떻게 획득 및 통합되는지를 스케줄링하는 인지 능력에 더 의존할 수 있다고 결론지었습니다.