When More Is Less: A Systematic Analysis of Spatial and Commonsense Information for Visual Spatial Reasoning

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 비주얼 스페이셜 리저닝 (Visual Spatial Reasoning, VSR) 은 이미지 내 객체 간의 좌/우, 전/후, 중첩, 근접성 등의 관계를 이해하는 작업으로, 현대의 비주얼 - 언어 모델 (VLM) 에게 여전히 어려운 과제입니다.
• 기존 접근법: 모델의 추론 능력을 보완하기 위해 추론 시 (Inference-time) 명시적인 공간 단서 (Spatial Cues), 외부 상식 지식 (Commonsense Knowledge), 또는 체인 오브 씽킹 (CoT) 지시사항을 입력에 주입하는 전략이 널리 사용됩니다.
• 핵심 문제: 직관적으로는 더 많은 정보가 더 나은 추론을 이끌 것이라고 생각되지만, 실제로는 추가된 정보가 중복되거나, 작업과 잘 맞지 않거나, 모델이 통합하기 어려워 '노이즈'로 작용하여 성능을 저하시킬 수 있습니다.
• 연구 질문: "어떤 상황에서 정보 주입이 VSR 을 진정으로 향상시키며, 언제는 해가 되는가?"

2. 연구 방법론 (Methodology)

이 연구는 새로운 아키텍처를 제안하는 대신, 기존 VLM 을 고정된 블랙박스 시스템으로 간주하고 입력 조건 (주입되는 정보의 유형과 양) 만 체계적으로 변형하여 가설 기반 실증 분석을 수행했습니다.

• 평가 대상 모델: Qwen-2-VL, LLaVA-Next-1.6, BLIP-3 등 3 개의 대표적인 VLM.
• 평가 데이터셋: VSR (66 가지 세밀한 공간 관계), EmbSpatial ( cluttered 한 장면에서의 추론) 등 2 개의 공개 벤치마크.
• 주요 실험 변수 (입력 개입):
  1. 공간적 맥락 (Spatial Context, SC): 바운딩 박스, 방향, 깊이, 좌우/상하 관계 등 3 가지 수치적 값과 6 가지 해석 가능한 공간적 맥락 추출.
  2. 상식 지식 (Commonsense Knowledge, CK): ATOMIC2020 지식베이스에서 추출된 객체 간 상호작용에 대한 상식 문장 (물리적, 사건 중심, 사회적 상호작용).
  3. 공간 추론 지시 (Spatial Reasoning, SR): 단계별 추론을 유도하는 CoT 프롬프트.
• 가설 설정:
  • H1: 모든 공간적 맥락이 동등하게 기여하지 않으며, 단일하고 표적화된 단서가 다중 맥락 집계보다 효과적이다.
  • H2: 과도하거나 관련성이 약한 상식 지식은 정보 과부하로 인해 추론을 저하시킨다.
  • H3: CoT 프롬프팅은 공간적 그라운딩 (Grounding) 이 충분히 정밀할 때만 성능을 향상시킨다.

3. 주요 결과 (Key Results)

가설 1: 공간적 맥락 (Spatial Contexts)

• 단일 vs. 다중: 단일하고 작업에 적합한 공간 단서 (예: 특정 객체의 깊이 또는 방향) 를 주입하는 것이 성능을 크게 향상시켰습니다. 반면, 여러 공간 맥락을 누적하여 주입하면 성능이 감소하거나 체감수익이 감소하는 (diminishing returns) 현상이 관찰되었습니다.
• 수치 vs. 텍스트: 원시 수치 (예: 정확한 각도, 깊이 값) 를 직접 입력하는 것은 모델의 통합 부담을 증가시켜 오히려 성능을 저하시켰습니다. 반면, 이를 자연어 (텍스트) 로 변환하여 제공했을 때 안정적인 성능 향상을 보였습니다.
• 모델별 차이: 모델과 데이터셋에 따라 가장 효과적인 공간 단서의 유형이 달랐습니다 (예: Qwen 은 깊이 정보, LLaVA 는 방향 정보에 민감).

가설 2: 상식 지식 (Commonsense Knowledge)

• 관련성의 중요성: 상식 지식은 높은 관련성 임계값 (Similarity Threshold) 에서만 성능을 향상시켰습니다.
• 과부하 효과: 관련성이 낮거나 과도한 양의 지식을 주입하면 (낮은 임계값), 모델이 노이즈로 인식하여 Zero-shot 성능보다 오히려 떨어지는 결과를 초래했습니다. 특히 LLaVA 모델은 추가적인 관계 정보가 오히려 성능을 저하시켰습니다.

가설 3: 체인 오브 씽킹 (Chain-of-Thought, CoT)

• 그라운딩의 정밀도 의존성: CoT 프롬프팅은 모델이 명확한 전제 (정확한 객체 위치, 모호하지 않은 관계) 를 가지고 있을 때만 추론을 명확히 하고 정답률을 높였습니다.
• 오류 증폭: 공간적 그라운딩이 불완전하거나 프레임 (관점) 이 모호한 경우 (예: 카메라 관점 vs 객체 관점), CoT 는 모델로 하여금 일관성 있지만 잘못된 추론 체인을 구축하게 만들어 오류를 더욱 확고히 했습니다.

종합적 발견

• 인지 과부하 (Cognitive Overload): SC, CK, SR 을 모두 동시에 주입하는 경우, 단순한 주입보다 오히려 정확도가 크게 하락했습니다. 이는 현재 VLM 이 여러 외부 신호를 동시에 통합하는 데 어려움을 겪고 있음을 시사합니다.

4. 주요 기여 (Contributions)

1. 가설 기반 실증 분석: 3 개의 VLM 과 2 개의 벤치마크를 통해 정보 주입의 효과를 체계적으로 분석했습니다.
2. 체계적 평가: 공간 맥락의 유형, 집계 방식, 상식 지식의 관련성 임계값, CoT 프롬프팅의 상호작용을 통제된 환경에서 평가했습니다.
3. "더 많은 정보가 더 좋은 것은 아니다"는 증거: 정보 과부하, 체감수익 감소, 그리고 그라운딩에 의존하는 CoT 행동에 대한 실증적 증거를 제시했습니다.
4. 실무적 통찰: 신뢰할 수 있는 멀티모달 추론 파이프라인을 설계하기 위해, 무분별한 맥락 축적이 아닌 선택적이고 작업에 정렬된 (Task-aligned) 정보 주입 전략의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 모델의 성능 향상을 위해 단순히 외부 정보를 많이 주입하는 것이 해결책이 아님을 명확히 보여줍니다.

• 선택적 주입의 중요성: 모델이 처리할 수 있는 단일하고 명확한 공간적 단서와 고도로 관련성 있는 상식 지식만 선별적으로 제공해야 합니다.
• 표현 방식의 최적화: 수치적 데이터보다는 모델이 이해하기 쉬운 자연어 형태의 공간 설명이 더 효과적입니다.
• CoT 의 조건부 적용: CoT 는 공간적 사실 관계가 명확할 때만 사용해야 하며, 모호한 상황에서는 오히려 해가 될 수 있음을 경고합니다.

결론적으로, 신뢰할 수 있는 비주얼 스페이셜 리저닝을 위해서는 정보의 양 (Quantity) 이 아닌 정보의 질과 적시성 (Quality and Timing), 그리고 모델의 내부 표현과의 정렬 (Alignment) 이 핵심 요소임을 시사합니다.